JP4270146B2 - カラオケシステム及びプログラム - Google Patents

Description

本発明は、カラオケシステムにおいてリモコン端末によって歌詞、背景画像等の表示及びカラオケ演奏の出力を行うための技術に関する。

従来、カラオケ装置において楽曲のカラオケ演奏に合わせてモニタなどの表示装置に歌詞を表示させるとともに、リモコン端末においても液晶モニタ等の表示装置に楽曲の歌詞及び背景画像を表示させるよう構成されたカラオケシステムが知られている。

このようなカラオケ装置においては、歌詞データ及び背景画像データをカラオケ装置本体からリモコン端末へ無線ＬＡＮ等の無線通信によって送信する。そして、リモコン端末は、送信されたデータを受信しながら同時に再生を行うストリーミング処理によって、歌詞及び背景画像を表示装置に表示する。

上述のような無線通信によってデータを送受信する場合、通信帯域幅（ここでは、通信速度と同義とする。）は、無線アクセスポイントに同時に接続しているリモコン端末の数や、無線アクセスポイントとリモコン端末との距離、他の電子機器等から発生するノイズ等の影響により刻々と変化する。即ち、無線アクセスポイントに多数のリモコン端末が同時に接続している場合や、無線アクセスポイントとリモコン端末との距離が遠い場合、他の電子機器等からノイズが発生している場合等の通信状況の影響により通信帯域幅が減少することがある。このような状況においては、歌詞及び背景画像を適切に表示するために伝送すべきデータ量に見合った通信速度を確保できない可能性がある。

一方、特許文献１には、複数の画像情報を表示する際の通信負荷や表示処理の負荷を軽減するため、各画像をユーザの関心度に応じて画像の表示品質を変化させる技術が記載されている。つまり、関心度が高い画像は高い表示品質で表示を行い、関心度の低い画像は低い表示品質で表示を行うことで、通信負荷や表示処理の負荷を軽減している。
特開平６−３２４６６２号公報

しかし、上記従来技術では、ネットワークの通信状況に応じて刻々と変化する通信帯域幅の影響については配慮されておらず、通信状況の影響によって通信帯域幅が小さくなるような状況においては、必要な通信速度が得られない可能性がある。したがって、上述のようなカラオケ装置の場合、楽曲のカラオケ演奏中にリモコン端末の表示装置に歌詞及び背景画像を表示できなくなる可能性がある。

また、カラオケ装置の表示においては、歌唱に必須な表示である歌詞と、歌唱に必須な表示ではない（表示がなくても歌唱が可能である）背景画像とを同一画面上に表示している。つまり、歌唱にとっての重要度の異なる表示が同一画面に表示されている。このような場合、データ伝送時の通信負荷を軽減するために表示品質を一様に低下させた場合、歌唱に必須ではない（即ち、重要度が低い）表示である背景画像とともに歌唱に必須な（即ち、重要度が高い）表示である歌詞の表示品質も一様に低下してしまう。あるいは通信帯域幅等の通信状況の影響によってはデータ送信不能となる可能性もある。このような場合、背景画像の表示品質が低下するだけでなく、歌唱にとって重要な表示であるはずの歌詞も見づらかったり表示されなかったりすることで歌唱できなくなってしまう可能性がある。

本発明は、上記のような問題に鑑みなされており、データの重要度を加味した表示品質の変更を通信状況に応じて行うことで、歌詞データ、背景画像データ等をカラオケ装置からリモコン端末へと伝送し、リモコン端末において歌詞及び背景画像等を滞りなく表示することができるカラオケシステムを提供することを目的とする。

上記問題を解決するためになされた請求項１に記載のカラオケシステムは、通信状況データに基づき判定した通信速度に応じて、背景画像データを間引いてリモコン端末へデータを送信することで歌詞画像データを優先的にリモコン端末へ送信することを特徴とする。

具体的に、上記カラオケシステムは、選曲された楽曲の演奏データに基づいてカラオケ演奏を行うカラオケ装置と、使用者からの指示を受け付け、この受け付けた指示をカラオケ装置に通知する通知機能を有するリモコン端末とを備えており、カラオケ装置とリモコン端末との間でデータ通信可能に構成されている。

このうちカラオケ装置は、楽曲の歌詞を示す文字及びこの文字の表示色が一方から他方へ所定幅ずつ変化する色変わりを表示するための歌詞画像データと、背景画像を表示するための背景画像データとを記憶する記憶手段と、リモコン端末が備えるリモコン側通信部との間でデータを送受信するカラオケ装置側通信部と、リモコン端末に対して歌詞画像と背景画像とを同時に表示させるための歌詞画像データと背景画像データとを記憶手段から読み出し、この読み出した歌詞画像データと背景画像データとを併せて、カラオケ装置側通信部を介してリモコン端末へ送信するデータ送信手段とを備えている。

なお、ここでの背景画像データとは、例えば、複数の静止画像（フレーム）を連続的に表示することで映像を動画として構成するための画像データ等のことをいう。具体的には、例えば通常状態でのフレームレートが８ｆｐｓの画像データ等が用いられる。また、歌詞画像データは、歌詞を示す文字及びこの文字に対する色変わりを、上記の背景画像データと同様形式の画像データで記録したものである。

一方、リモコン端末は、カラオケ装置が備えるカラオケ装置側通信部との間でデータを送受信するリモコン側通信部と、カラオケ装置側から送信されてきた歌詞画像データ及び背景画像データをリモコン側通信部を介して受信するデータ受信手段と、データ受信手段が受信したデータの受信状況に基づいて通信状況データを生成し、この通信状況データをリモコン側通信部を介してカラオケ装置へ送信する通信状況データ送信手段と、画像を表示する表示部と、データ受信手段によって受信した歌詞画像データ及び背景画像データで示される歌詞及び背景画像を表示部に表示させる表示制御手段とを備えている。

更にカラオケ装置は、リモコン端末側から送信されてきた通信状況データに基づいて通信速度を判定する通信速度判定手段と、データ送信手段によって歌詞画像データ及び背景画像データを送信する際に、通信速度判定手段によって判定された通信速度と、送信する歌詞画像データ及び背景画像データの単位当たりに送信すべきデータ量の合計とを比較する第１の比較手段と、第１の比較手段による比較の結果、歌詞画像データ及び背景画像データの単位当たりに送信すべきデータ量の合計が通信速度より大きい場合、送信する歌詞画像データ及び背景画像データのうち、一方の背景画像データに代えて当該背景画像データより単位当たりに送信すべきデータ量が小さい圧縮背景画像データを送信する背景画像データとして選択するデータ選択手段と、通信速度判定手段によって判定された通信速度と、送信する歌詞画像データ及びデータ選択手段により選択された圧縮背景画像データの単位当たりに送信すべきデータ量の合計とを比較する第２の比較手段と、第２の比較手段による比較の結果、歌詞画像データ及び圧縮背景画像データの単位当たりに送信すべきデータ量の合計が通信速度より大きい場合、送信する歌詞画像データ及び圧縮背景画像データのうち、一方の圧縮背景画像データを所定の割合で間引くデータ間引き手段と、通信速度判定手段によって判定された通信速度と、送信する歌詞画像データ及びデータ間引き手段により間引きされた間引き圧縮背景画像データの単位当たりに送信すべきデータ量の合計とを比較する第３の比較手段と、第３の比較手段による比較の結果、歌詞画像データ及び間引き圧縮背景画像データの単位当たりに送信すべきデータ量の合計が通信速度より大きい場合、通信速度と、送信する歌詞画像データの単位当たりに送信すべきデータ量とを比較する第４の比較手段とを備えている。
そして、データ送信手段は、第１の比較手段による比較の結果、歌詞画像データ及び背景画像データの単位当たりに送信すべきデータ量の合計が通信速度以下である場合、当該歌詞画像データ及び背景画像データをリモコン端末へ送信する。一方、第２の比較手段による比較の結果、歌詞画像データ及び圧縮背景画像データの単位当たりに送信すべきデータ量の合計が通信速度以下である場合、当該歌詞画像データ及び圧縮背景画像データをリモコン端末へ送信する。一方、第３の比較手段による比較の結果、歌詞画像データ及び間引き圧縮背景画像データの単位当たりに送信すべきデータ量の合計が通信速度以下である場合、当該歌詞画像データ及び間引き圧縮背景画像データをリモコン端末へ送信する。一方、第４の比較手段による比較の結果、歌詞画像データの単位当たりに送信すべきデータ量の合計が通信速度以下である場合、当該歌詞画像データのみをリモコン端末へ送信する。

なお、ここでいう通信状況データとは、例えばデータ受信手段が受信した一回あたりの受信データ量や画像データのフレームごとの受信所要時間等、通信速度を推定するのに用いる種々の情報を含むデータである。

また、上記のように通信速度判定手段によって判定された通信速度に基づいて、当初の背景画像データより単位当たりに送信すべきデータ量が小さい圧縮背景画像データを送信する背景画像データとして選択するには、単位時間当たりに送信すべきデータ量（ビットレートともいう）が異なる複数の背景画像データを予め記憶手段に記憶しておき、その中から送信する背景画像データを選択するようにすればよい。

本発明のカラオケシステムによれば、通信状況データに基づき判定した通信速度と、送信する歌詞画像データ及び背景画像データの単位当たりに送信すべきデータ量の合計とを比較し、単位当たりに送信すべきデータ量の合計が通信速度より大きい場合、当該背景画像データより単位当たりに送信すべきデータ量が小さい圧縮背景画像データを選択したり、更にその圧縮背景画像データを間引いたりして、この背景画像データ及び歌詞画像データをリモコン端末へ送信する。具体的には、何らかの事情で通信帯域幅が狭まり通信速度が低下した場合、その通信速度に応じて、送信する背景画像データをビットレートが大きい背景画像データから、よりビットレートが小さい圧縮背景画像データへ切り替えたり、更にその圧縮背景画像データを間引いたりする（即ち、送信するデータ量を低減する）ことで、その通信速度に見合ったデータ量で歌詞画像データ及び背景画像データをリモコン端末へ送信する。即ち、通常時よりも帯域幅が狭く通信速度が遅い状況においては、カラオケの歌唱にとって重要度が低い背景画像の表示品質を低下させ、重要度がより高い歌詞表示については表示品質を低下させることなく表示することができる。また、通信速度の低下の度合いによっては、背景画像データのすべてを間引いて（即ち、背景画像データを送信しない。）歌詞画像データのみを送信するといった対応も可能である。反対に、通信帯域幅が広くなり、伝送容量が十分に確保できるまでに通信速度が回復した場合には、送信する背景画像データをビットレートが小さいものからビットレートが大きいものへ切り替える、もしくは、背景画像データを間引くことなくリモコン端末へ送信してもよい。

このようにすることで、通信速度に応じて送信する背景画像データのデータ量を低減し、歌詞画像データを優先してこれらのデータをカラオケ装置からリモコン端末へと送信し、リモコン端末において歌詞及び背景画像を滞りなく表示することができる。

ところで、通信帯域幅が狭まることで通信速度が著しく低下し、背景画像データを送信することのみならず歌詞画像データを単独で送信することすらできなくなるような事態も考えられる。このような事態に備えて、以下のような対策を講じることが考えられる（請求項５に相当）。

まず、楽曲の歌詞を示すテキストデータ及びこのテキストデータで示される文字の色変わりを制御するための制御データ等からなる「歌詞テキストデータ」を記憶手段に記憶させておく。そして、通信速度が著しく低下し、歌詞画像データを送信することができない場合、データ送信手段は、この歌詞画像データの代わりに歌詞テキストデータをリモコン端末へ送信する。

上記の歌詞テキストデータは、歌詞の文字をテキスト形式で示し、更に歌詞の色変わりを、色変わりの位置や時間等を規定する制御データによって示している。このようなテキストデータ及び制御データからなる歌詞テキストデータは、歌詞の文字及び色変わりを画像形式で示している歌詞画像データと比較して、データ量が大幅に少ない（一般的には、数十〜数百分の一程度）。したがって、通信速度が低下して歌詞画像データを送信できない場合、データ量の少ない歌詞テキストデータ送信することで、リモコン端末側で歌詞表示を継続することができる。ただし、この歌詞テキストデータは、リモコン端末側でデータから画像を再生する際に必要な処理の量が歌詞画像データの場合よりも多い。その結果、リモコン端末側の処理負荷が増大してしまう。

そこで、通信帯域幅が広く、歌詞画像データを送信するのに十分な通信速度を確保することができる状況においては、歌詞画像データをリモコン端末へ送信すれば、リモコン端末側で画像を表示する際の処理負荷を減らすことができる。一方、通信帯域幅が狭く、歌詞画像データを送信するのに十分な通信速度を確保することができない状況においては、歌詞テキストデータをリモコン端末側へ送信することで、通信速度が著しく低下した状況であってもリモコン端末側での歌詞表示を継続することができる。

また、上述のデータ間引き手段が行う間引き処理の具体例としては、請求項２に記載のカラオケシステムのように、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引く方法が挙げられる。例えば、間引き対象データ（背景画像データ又は歌詞画像データ）がデフォルトにて０．１２５秒間隔でフレームを切り替える８ｆｐｓの画像データであるならば、通信速度に応じて、０．２５秒ごと（４ｆｐｓ）にフレームを抽出し、他のフレームを間引くといった具合に間引き処理を実行する。

このようにすることで、等間隔でフレームを間引くことができ、表示品質を低下させても、画像を極力滑らかに表示することができる。
また、請求項３に記載のカラオケシステムのように、データ間引き手段が間引き対象である背景画像データから、シーンが変化する際のフレームデータを抽出し、他のフレームデータを間引くように構成されていてもよい。具体的には、記憶手段に記憶されている背景画像データに対して、背景画像のシーン（例えば、楽曲のタイトル表示、景色、時間等）が変化するフレームのデータにシーン変化フラグデータを予め付加しておき、データ間引き手段は、このシーン変化フラグデータが付加されたフレームデータを抽出し、他のフレームデータを間引くといった方法が挙げられる。

このようにすることで、間引きされた背景画像データによって背景画像をシーンの変化ごとに表示することができ、背景画像におけるストーリー展開や演出等を重視した表示を行うことができる。

また、請求項４に記載のカラオケシステムのように、データ間引き手段が通信速度判定手段によって判定された通信速度に基づき、送信可能フレーム最大数を判定し、この判定した送信可能フレーム最大数に応じて間引き対象データからフレームデータを間引くように構成されていてもよい。具体的には、通信速度と１フレームあたりのデータ量とから算出した送信可能フレーム最大数が１秒間に７フレームである場合、間引き対象データがデフォルトで８ｆｐｓの画像データであれば、１秒あたり１フレームを間引くといった方法が挙げられる。このようなデータ間引き方法によれば、通信速度が徐々に低下するような状況であれば、その通信速度に応じて送信するフレーム数を徐々に減らすことがでる。また、低下した通信速度が徐々に回復していくような状況では、その通信速度に応じて送信するフレームの数を徐々に増やして、最終的にデフォルトの送信フレーム数（例えば、８ｆｐｓ）に戻すといった柔軟な対応が可能である。

なお、上記の間引き処理を実行する際には、間引き処理後の画像データにおけるフレームデータ同士の時間的な間隔がなるべく等しくなるようにフレームデータを間引くことが望ましい。このようにすれば、フレームデータを間引くことで表示品質を低下させても、画像を極力滑らかに表示することができる。

ところで、何らかの事情で通信帯域幅が狭まり通信速度が著しく低下しているような状況においては、通信状況データをカラオケ装置へ送信できない可能性がある。また、通信状況データを送信することでその分の通信帯域を占有してしまうと、背景画像データ、歌詞画像データ等を送信するための通信帯域が不足してしまう可能性がある。

そこで、請求項６に記載のカラオケシステムのように構成するとよい。つまり、カラオケ装置は、リモコン端末が備えるリモコン側第二通信部から送信されたデータを受信するカラオケ装置側第二側通信部を備えており、リモコン端末は、カラオケ装置が備えるカラオケ装置側第二通信部へデータを送信するリモコン側第二通信部を備えており、通信状況データ送信手段は、カラオケ装置から歌詞画像データを受信していないと判定した場合、リモコン側第二通信部を介して通信状況データをカラオケ装置側へ送信するように構成する。具体的には、カラオケ装置側通信部とリモコン側通信部とが、例えば「IEEE 802.11b」規格による無線ＬＡＮ通信によって通信を行うのであれば、カラオケ装置側第二通信部及びリモコン側第二通信部は、例えば「IrDA」（登録商標）規格による赤外線通信によって通信を行うといった構成が挙げられる。

本発明のカラオケシステムでは、通信速度に応じて、送信する背景画像データのデータ量を変化させることによって、歌詞画像データを優先的に送信するように構成されている。したがって、リモコン端末側で歌詞画像データを受信できないということは、優先的に送信すべき歌詞画像データすら送信できない程に通信帯域幅が狭まっている（即ち、通信速度が著しく低下している）と考えられる。このような状況において、リモコン端末側でリモコン側第二通信部を介して通信状況データをカラオケ装置側へ送信することで、通信帯域幅が狭まり通信速度が著しく低下しているような状況において、通信状況データを確実にカラオケ装置へ送信することができると共に、通信状況データを送信することでその分の通信帯域を占有してしまうことがない。

また、何らかの事情で通信帯域幅が狭まり通信速度が著しく低下しているような状況において、背景画像データ、歌詞画像データ、演奏データ等のあらゆるデータをリモコン端末へ送信することができない場合、カラオケ装置での演奏が始まっているにも関わらず、リモコン端末の表示部に何も表示されないのでは、「リモコン端末が故障している」といった使用者の誤解を招くおそれがある。

そこで、請求項７に記載のカラオケシステムのように構成してもよい。つまり、リモコン端末は、データ受信手段がカラオケ装置側から所定時間以上データを受信していないか否かを判定する受信判定手段を備えており、受信判定手段によって所定時間以上データを受信していないと判定された場合、表示制御手段は、データを受信できない旨又は歌詞を表示できない旨を表示部に表示するように構成する。

このようにすることで、通信帯域幅が狭まり通信速度が著しく低下しているような状況において、背景画像データ、歌詞画像データ、演奏データ等のあらゆるデータをリモコン端末へ送信することができない場合であっても、使用者の誤解を招くことを防止できる。

なお、請求項８に示すように、請求項１ないし請求項７の何れか１項に記載のカラオケシステムにおけるデータ送信手段、通信速度判定手段、第１の比較手段、第２の比較手段、第３の比較手段、第４の比較手段、データ選択手段及びデータ間引き手段、又は通信状況データ送信手段は、コンピュータを機能させるためのプログラムによって実現できる。また、このようなプログラムの場合、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータによって読み取り可能な記録媒体としてこのプログラムを記録しておき、必要に応じてコンピュータにロードして起動することにより用いることができる。また、ＲＯＭやバックアップＲＡＭに本プログラムを書き込んでおき、これらのＲＯＭやバックアップＲＡＭをコンピュータに組み込んで用いてもよい。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、カラオケシステムの概略構成を示すブッロク図である。
図１に示すように、カラオケシステムはカラオケ装置１とリモコン端末２とがネットワーク１００を介してデータ通信可能に構成されたものである。

［カラオケ装置１の構成の説明］
カラオケ装置１は、図１に示すように、カラオケ装置１全体の作動を制御する制御部１２、カラオケ装置１をネットワーク１００に接続するためのインタフェース部１４、演奏データ、歌詞データ及び背景データ等のコンテンツデータを記憶するハードディスク（ＨＤＤ）１６、複数のキー・スイッチからなり、曲の予約操作等を行うための操作部１８、リモコン端末２や携帯電話から送信された赤外線信号を赤外線通信規格（ＩｒＤＡ（登録商標））に従って受信するための赤外線通信部２０、操作部１８からの信号を処理する操作処理部２２、マイクロフォン２６、ＨＤＤ１６に記憶された演奏データ（ＭＩＤＩデータ）に基づく演奏再生を行うＭＩＤＩ音源３０、ＭＩＤＩ音源３０から出力されたデジタル信号から演奏楽曲のオーディオ信号（音響、音声に関する信号）を生成し、生成されたオーディオ信号及びマイクロフォン２６から入力されたオーディオ信号を増幅してスピーカ２８へ出力する音声制御部２４、画像データを一時的に記憶するビデオＲＡＭ３２、ビデオＲＡＭ３２に記憶された画像データに基づく映像の再生を制御する映像再生部３４、映像再生部３４により再生される映像の表示部３６での表示を制御する映像制御部３８などを備えている。また、制御部１２と音声制御部２４とはＵＳＢ４０によって接続されている。

このうちＨＤＤ１６は、演奏データと、歌詞データとしての歌詞画像データ及び歌詞テキストデータと、背景データとしての背景画像データ及び圧縮背景画像データとを記憶する。ここで演奏データとは、演奏楽曲の伴奏内容を示す情報のことをいう。また歌詞画像データとは、楽曲の歌詞をカラオケ装置１の表示部３６やリモコン端末２の表示部５８に表示させるための画像データである。具体的には、演奏楽曲の歌詞を示す文字情報及びこの文字が表示された際にその表示色を伴奏の流れに沿って一方から他方へ所定幅ずつ変更するためのいわゆる色変わりを示す情報を画像情報として構成したデータことをいう。また、歌詞テキストデータは、画像データである前記歌詞画像データとは異なるデータ形式で構成されており、歌詞の文字をテキスト形式で示し、更に歌詞の色変わりを、色変わりの位置や時間等を規定する制御データによって示す。なお、テキストデータ及び制御データからなる歌詞テキストデータは、歌詞の文字及び色変わりを画像情報として示している歌詞画像データと比較してデータ量が大幅に少ない（一般的には、数十〜数百分の一程度）。ただし、歌詞テキストデータは、データから画像を再生する際に必要な処理の量が歌詞画像データの場合よりも多く、歌詞画像データを再生処理する場合と比較して処理負荷が増大する。

また、背景画像データは、楽曲演奏時にカラオケ装置１の表示部３６やリモコン端末２の表示部５８に楽曲の歌詞画像とともに表示する背景画像を示す画像データである。そして、圧縮背景画像データは、背景画像データを更に高い圧縮率で圧縮して（即ち、画質を低下させて）データ量を低減したものである。なお、本実施形態では、ＨＤＤ１６に記憶されている背景画像データ、圧縮背景画像データ及び歌詞画像データはフレームレートが８ｆｐｓであるＭＰＥＧ２形式の動画データである。また、本実施形態における各画像データのビットレートは、背景画像データで８Ｍｂｐｓ、圧縮背景動画データで４Ｍｂｐｓ、歌詞画像データで２Ｍｂｐｓであり、各データのビットレートはデータテーブルとしてＨＤＤ１６に記憶されている。

一方、制御部１２は、ユーザ側から通知された演奏楽曲に対応する楽曲のカラオケ演奏をする際に、歌詞データ（以下、単に歌詞データと表記する場合は歌詞画像データ又は歌詞テキストデータのことを表す。）及び背景データ（以下、単に背景データと表記する場合は、背景画像データ又は圧縮背景画像データのことを表す。）をＨＤＤ１６から読み出して、これらのデータをリモコン端末２へ無線アクセスポイント１１０を介して送信する機能を有する。

また、制御部１２は、無線アクセスポイント１１０を介してリモコン端末２へデータを送信する際に、ネットワーク１００における通信状況に応じて、送信する背景データ及び歌詞データのデータ量を変更する処理を実行する機能を有する。具体的には、リモコン端末２から送信されてきた通信状況データ（後述）に基づき、通信速度を算出し、その算出した通信速度に応じて、送信する背景データを背景画像データからよりデータ量が小さい圧縮背景画像データに変更したり、更に圧縮背景画像データから通信速度に応じた所定の間引き割合によってフレームデータを間引いたり、送信する歌詞データを歌詞画像データからよりデータ量が小さい歌詞テキストデータに変更したりする。なお、これらの処理についての詳細な説明は後述する。

なお、制御部１２は特許請求の範囲におけるデータ送信手段、通信速度判定手段、第１の比較手段、第２の比較手段、第３の比較手段、第４の比較手段、データ選択手段及びデータ間引き手段に相当する。また、インタフェース部１４はカラオケ装置側通信部に相当する。また、ＨＤＤ１６は記憶手段に相当する。また、赤外線通信部２０はカラオケ装置側第二通信部に相当する。

［リモコン端末２の構成の説明］
リモコン端末２は、曲の予約等をするための操作を利用者から受け付け、その操作信号をカラオケ装置１に送信する機能を有すると共に、カラオケ装置１から受信した各種データに基づいて画像の表示等を行う機能も有する。

具体的にリモコン端末２は、図１に示すように、リモコン端末２全体の作動を制御する制御部５２、赤外線通信規格（ＩｒＤＡ）に従ってカラオケ装置１に赤外線信号を送信する赤外線通信部５４、各種情報を記憶するメモリ５６、表示部５８の表示領域に沿って設置されるタッチパネル及び複数のキー・スイッチからなり、利用者からの操作を受け付ける操作部６０、操作部６０からの信号を処理する操作処理部６２、画像データを一時的に記憶するビデオＲＡＭ６４、ビデオＲＡＭ６４に記憶された画像データの表示部５８での表示を制御する映像制御部６６、ネットワーク１００に接続された無線アクセスポイント１１０との間で無線ＬＡＮ規格（例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ規格，ＨｏｍｅＲＦ規格，Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など）に従った無線通信を行うための無線ＬＡＮ通信部６８などを備えている。

このうち無線ＬＡＮ通信部６８は、カラオケ装置１から無線アクセスポイント１１０を介して送信された歌詞データ及び背景データを受信可能である。
また、制御部５２は、無線ＬＡＮ通信部６８を介して受信した歌詞データ及び背景データがそれぞれ示す歌詞画像及び背景画像を表示部５８に表示させる機能を有している。また、制御部５２は、無線ＬＡＮ通信部６８を介してカラオケ装置１からデータを受信した際の受信状況に基づいて通信状況データを生成し、これを無線ＬＡＮ通信部６８又は赤外線通信部５４を介してカラオケ装置１へ送信する機能を有する。これらの処理についての詳細な説明は後述する。

なお、制御部５２は特許請求の範囲におけるデータ受信手段、通信状況データ送信手段及び受信判定手段に相当する。赤外線通信部５４はリモコン側第二通信部に相当する。また、無線ＬＡＮ通信部６８はリモコン側通信部に相当する。また、制御部５２及び映像制御部６６は表示制御手段に相当する。

［その他の構成の説明］
また、上述のネットワーク１００には無線アクセスポイント１１０が接続されている。この無線アクセスポイント１１０は、インフラストラクチャモードによる無線通信で端末間を接続するための電波中継機であり、複数の端末と同時に通信を行う機能を有する。カラオケ装置１とリモコン端末２とは、この無線アクセスポイント１１０を中継することによって、ネットワーク１００を介してデータ通信を行うことができ、カラオケ装置１からリモコン端末２へ演奏楽曲の歌詞データや背景データ等をストリーミングによって転送することで、リモコン端末２において楽曲の歌詞及び背景の表示を実現する。

なお、ネットワーク１００には、複数台のカラオケ装置１や図示しないデータサーバ、各種端末等を接続することが可能である。つまり、カラオケ店内の全てのカラオケ装置やサーバ及び端末等をネットワーク１００に接続することで、１つのネットワークとして構成することができる。

［カラオケ装置１におけるデータ送信処理の説明］
以下、カラオケ装置１の制御部１２が実行するデータ送信処理の処理手順について、図２に示すフローチャート及び図７に基づいて説明する。このデータ送信処理は、カラオケ演奏時において、その演奏中の楽曲の歌詞データ及び背景データをカラオケ装置１からリモコン端末２へ送信する際に実行される。

図２は、カラオケ装置１の制御部１２が実行するデータ送信処理におけるメイン処理を示すフローチャートである。
まず、ステップ１０（以下、単にＳ１０と表記する。他のステップについても同様。）において、利用者からの演奏のリクエストがあるか否か、即ち、演奏すべき楽曲が利用者によって選曲されているか否かを判定する。ここで、選曲がされていると判定した場合（Ｓ１０：ＹＥＳ）、選曲された順にその楽曲のカラオケ演奏を開始し（Ｓ２０）、Ｓ３０へ移行する。なお、Ｓ１０において、選曲がされていないと判定した場合（Ｓ１０：ＮＯ）、そのままＳ１０の処理を繰り返す。

Ｓ３０では、楽曲の演奏の進行と同期して画像１秒分ごとの背景画像データ及び歌詞画像データをＨＤＤ１６から読み出し、読み出した画像データを１フレームごとに分割する。次に、フレームごとに分割した背景画像データ及び歌詞画像データを、１フレームずつインタフェース部１４を介してリモコン端末２へ送信する（Ｓ４０）。このとき、送信するデータの先頭に演奏楽曲の曲番号及び当該演奏曲におけるデータの送信回数を示すデータを付加して、リモコン端末２へデータを送信する。

次に、カラオケ演奏が終了したか否かを判定する（Ｓ５０）。ここで、カラオケ演奏が終了していないと判定した場合（Ｓ５０：ＮＯ）は、前回送信したデータに対応する通信状況データをリモコン端末２から受信したか否かを判定する（Ｓ６０）。

ここで、通信状況データについて説明する。通信状況データは、Ｓ４０においてインタフェース部１４を介してカラオケ装置１からリモコン端末２へ送信されたデータを無線ＬＡＮ通信部６８を介してリモコン端末２が受信した際、受信した背景画像データ又は歌詞画像データの受信状況に基づいてリモコン端末２側で生成され、リモコン端末２からカラオケ装置１へ送信されるデータである。カラオケ装置１の制御部１２は、この通信状況データに基づいて通信速度を算出する（後述）。なお、図７は、通信状況データの具体的な内容を示す模式図である。この図７に示すように、通信状況データは、演奏中の楽曲の番号（演奏曲番号）、カラオケ装置１からデータを送信した回数（カラオケ装置の送信回数）、カラオケ装置１から１回のデータ送信でリモコン端末２が受信したデータの量（１送信あたりの受信データ量）及び各フレームを受信するのに要した時間（各フレームの受信所要時間）を示す情報からなるデータである。

図２のフローチャートの説明に戻る。Ｓ６０において、前回送信したデータに対応する通信状況データをリモコン端末２から受信したと判定した場合（Ｓ６０：ＹＥＳ）、この受信した通信状況データに基づき、前回のデータ送信時における通信速度を算出し（Ｓ９０）、Ｓ１００へ移行する。なお、通信速度についは、次の数式（１）により算出する。
通信速度（ｂｐｓ）＝１送信あたりの受信データ量（ｂｉｔ）／各フレームの所要時間の合計（秒）…数式（１）
一方、Ｓ６０において前回送信したデータに対応する通信状況データを受信していないと判定した場合（Ｓ６０：ＮＯ）、Ｓ７０へ移行する。Ｓ７０では、次の画像１秒分の歌詞画像データをＨＤＤ１６から読み出し、読み出した歌詞画像データを１フレームごとに分割する。そして、フレームごとに分割した歌詞画像データを、インタフェース部１４を介して１フレームずつリモコン端末２へ送信し（Ｓ８０）、Ｓ５０へ移行する。このように、リモコン端末２から通信状況データを受信しない場合（Ｓ６０：ＮＯ）、何らかの理由（例えば、無線通信が混雑している等）でカラオケ装置１とリモコン端末２間の通信が滞っている可能性があると考えられる。したがって、このような状況においては、歌唱にとって重要度が低くしかもデータ量が比較的大きい背景画像データを送信せずに、より重要度が高くデータ量が比較的小さい歌詞画像データのみを優先的にリモコン端末２送信することで、通信が滞っているような状況においてもリモコン端末２側で歌詞の表示だけでも維持できるようにしている。

次に、Ｓ１００では、Ｓ９０において算出した通信速度と、背景画像データ及び歌詞画像データの単位時間当たりのデータ量（ビットレート）の合計とを比較する。このとき、通信速度との比較対象となるビットレートの合計は、ＨＤＤ１６から読み出した次に送信する画像１秒分のデータから実際のビットレートを取得してもよいし、上述のビットレートのデータテーブルからビットレートの合計を取得してもよい。

ここで、背景画像データ及び歌詞画像データのビットレートの合計が、通信速度以下である判定した場合（Ｓ１００：ＹＥＳ）、Ｓ３０へ移行し、Ｓ３０及びＳ４０を経て次の画像１秒分の背景画像データ及び歌詞画像データをリモコン端末２へ送信する。つまり、この場合においては、通信速度が背景画像データ及び歌詞画像データを送信するのに十分な大きさであるため、次の画像１秒分の背景画像データ及び歌詞画像データをそのままリモコン端末２へ送信する。

一方、背景画像データ及び歌詞画像データのビットレートの合計が、通信速度より大きいと判定した場合（Ｓ１００：ＮＯ）、Ｓ１１０へ移行し、次の画像１秒分の背景画像データに相当する部分の圧縮背景画像データをＨＤＤ１６から読み出す。つまり、この場合においては、背景画像データ及び歌詞画像データをリモコン端末２へ送信するためには通信速度が足りないため、背景画像データに代えて、よりデータ量が小さい圧縮背景画像データを送信用のデータとして用いることで送信するデータ量の低減を図る。

続いて、Ｓ９０において算出した通信速度と、圧縮背景画像データ及び歌詞画像データの単位時間当たりのデータ量（ビットレート）の合計とを比較する（Ｓ１２０）。このとき、通信速度との比較対照となるビットレートの合計は、ＨＤＤ１６から読み出した次に送信する画像１秒分のデータから実際のビットレートを取得してもよいし、上述のビットレートのデータテーブルからビットレートの合計を取得してもよい。

Ｓ１２０において、圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度以下であると判定した場合（Ｓ１２０：ＹＥＳ）、Ｓ３０へ移行し、Ｓ３０及びＳ４０を経て次の画像１秒分の圧縮背景画像データ及び歌詞画像データをリモコン端末２へ送信する。つまり、この場合においては、通信速度が圧縮背景画像データ及び歌詞画像データを送信するのに十分な大きさであるため、次の画像１秒分の圧縮背景画像データ及び歌詞画像データをリモコン端末２へ送信する。

一方、圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度より大きいと判定した場合（Ｓ１２０：ＮＯ）、Ｓ１３０へ移行し、圧縮背景画像データの間引き処理を実行する。そして、Ｓ１３０における間引き処理では、圧縮背景画像データからフレームを適宜間引くことでデータ量を低減させる。つまり、この場合においては、圧縮背景画像データ及び歌詞画像データをリモコン端末２へ送信するためには通信速度が足りないため、圧縮背景画像データに間引き処理を施すことで、送信するデータのデータ容量の低減を図る。なお、この間引き処理についての詳細な説明は後述する。

続いて、Ｓ１４０では、Ｓ９０において算出した通信速度と、間引き処理を施した圧縮背景画像データ及び歌詞画像データの単位時間当たりのデータ量（ビットレート）の合計とを比較する。ここで、間引き処理を施した圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度以下であると判定した場合（Ｓ１４０：ＹＥＳ）、Ｓ３０へ移行し、Ｓ３０及びＳ４０を経て次の画像１秒分の間引き処理を施した圧縮背景画像データ及び歌詞画像データをリモコン端末２へ送信する。つまり、この場合においては、通信速度が間引き処理を施した圧縮背景画像データ及び歌詞画像データを送信するのに十分な大きさであるため、次の画像１秒分の間引き処理を施した圧縮背景画像データ及び歌詞画像データをリモコン端末２へ送信する。

一方、間引きした圧縮背景画像データ及び歌詞画像データのビットレートの合計が、通信速度より大きいと判定した場合（Ｓ１４０：ＮＯ）、Ｓ１５０へ移行する。そして、Ｓ９０において算出した通信速度と、歌詞画像データのみでの単位時間当たりのデータ量（ビットレート）とを比較する（Ｓ１５０）。つまり、この場合においては、間引き処理を施した圧縮背景画像データ及び歌詞画像データをリモコン端末２へ送信するためには通信速度が足りないため、背景画像データを送信せずに、優先して送信すべき歌詞画像データのみを送信する処理に切り替えることでデータ容量の低減を図る。

Ｓ１５０において、歌詞画像データのビットレートが、通信速度以下であると判定した場合（Ｓ１５０：ＹＥＳ）、Ｓ７０へ移行し、Ｓ７０及びＳ８０を経て次の画像１秒分の歌詞画像データをリモコン端末２へ送信する。つまり、この場合においては、通信速度が歌詞画像データを送信するのに十分な大きさであるため、次の画像１秒分の歌詞画像データをリモコン端末２へ送信する。

一方、歌詞画像データのビットレートが、通信速度より大きいと判定した場合（Ｓ１５０：ＮＯ）、Ｓ１６０へ移行し、次の画像１秒分の歌詞画像データに相当する部分の歌詞テキストデータをＨＤＤ１６から読み出し、Ｓ９０で算出した通信速度と、この読み出した背景テキストデータのビットレートとを比較する。つまり、この場合においては、歌詞画像データをリモコン端末２へ送信するためには通信速度が足りないため、歌詞画像データに代えて、よりデータ量が小さい歌詞テキストデータを送信用のデータとして用いることで送信するデータ量の低減を図る。

Ｓ１６０において、歌詞テキストデータのビットレートが、通信速度以下であると判定した場合（Ｓ１６０：ＹＥＳ）、Ｓ１７０へ移行し、次の画像１秒分の歌詞テキストデータをリモコン端末２へ送信する。つまり、この場合においては、通信速度が歌詞テキストデータを送信するのに十分な大きさであるため、次の画像１秒分の歌詞テキストデータをリモコン端末２へ送信する。

一方、歌詞テキストデータのビットレートが、通信速度より大きいと判定した場合（Ｓ１６０：ＮＯ）、リモコン端末２へデータの送信をせず（Ｓ１８０）、そのままＳ５０の処理へ戻る。

なお、制御部１２は以上で説明した各処理をカラオケ演奏が終了するまで繰り返し実行し、Ｓ５０においてカラオケ演奏が終了したと判定した場合（Ｓ５０：ＹＥＳ）、演奏終了命令をリモコン端末２へ送信し（Ｓ１９０）、データ送信処理を終了する。

［リモコン端末２におけるデータ送受信処理の説明］
以下、リモコン端末２の制御部５２が実行するデータ送受信処理の処理手順について、図３に示すフローチャートに基づいて説明する。このデータ送受信処理は、カラオケ装置１によるカラオケ演奏時において、その演奏中の楽曲の歌詞や背景画像をリモコン端末２側で表示するために、歌詞データ及び背景データをカラオケ装置１から受信する際に実行される。

図３は、リモコン端末２の制御部５２が実行するデータ送受信処理を示すフローチャートである。
まず、Ｓ２００において、カラオケ装置１に対して利用者からの演奏のリクエストをしたか否か、即ち、利用者によって選曲された楽曲をカラオケ装置１へ通知したか否かを判定する。ここで、選曲された楽曲をカラオケ装置１へ通知したと判定した場合（Ｓ２００：ＹＥＳ）、Ｓ２１０へ移行する。なお、Ｓ２００において、選曲の通知をしていないと判定した場合（Ｓ２００：ＮＯ）、そのままＳ２００の処理を繰り返す。

次にＳ２１０において、無線ＬＡＮ通信部６８を介して歌詞画像データをカラオケ装置１から受信したか否かを判定する。ここで、カラオケ装置１から歌詞画像データを受信したと判定した場合（Ｓ２１０：ＹＥＳ）、歌詞データ識別フラグの値を１に設定し（Ｓ２２０）、受信した歌詞画像データをビデオＲＡＭ６４に書き込む（Ｓ２３０）。

続いて、無線ＬＡＮ通信部６８を介して背景画像データをカラオケ装置１から受信したか否かを判定する（Ｓ２４０）。ここで、背景画像データを受信したと判定した場合（Ｓ２４０：ＹＥＳ）、受信した背景画像データをビデオＲＡＭ６４に書き込み（Ｓ２５０）、Ｓ３１０へ移行する。一方、背景画像データを受信しなかった場合（Ｓ２４０：ＮＯ）、そのままＳ３１０へ移行する。

ところで、Ｓ２１０において、カラオケ装置１から歌詞画像データを受信していないと判定した場合（Ｓ２１０：ＮＯ）、歌詞データ識別フラグを０に設定し（Ｓ２６０）、Ｓ２７０へ移行する。ここでは、歌詞画像データの代わりに歌詞テキストデータを無線ＬＡＮ通信部６８を介してカラオケ装置１から受信したか否かを判定する。カラオケ装置１から歌詞テキストデータを受信したと判定した場合（Ｓ２７０：ＹＥＳ）、受信した歌詞テキストデータをそのデータの内容に沿って画面表示用歌詞データに変換して、この変換した画面表示用歌詞データをビデオＲＡＭへ書き込み（Ｓ２８０）、Ｓ３１０へ移行する。

一方、Ｓ２７０において、カラオケ装置１から歌詞テキストデータを受信していないと判定した場合（Ｓ２７０：ＮＯ）、データを受信していない状態が所定時間以上継続した（タイムアウト）か否かを判定する（Ｓ２９０）。ここで、タイムアウトと判定した場合（Ｓ２９０：ＹＥＳ）、データを受信できない旨のエラー表示（例えば、「歌詞情報を表示できません」等。）を表示部５８に表示し（Ｓ３００）、Ｓ３４０へ移行する。Ｓ２９０において、データを受信していない状態が所定時間以上継続していない（タイムアウトではない）と判定した場合（Ｓ２９０：ＮＯ）、Ｓ２１０の処理へ戻る。

Ｓ３１０では、Ｓ２３０、Ｓ２５０、Ｓ２８０の各ステップでビデオＲＡＭ６４に書き込まれた画像データ等を読み出し、続いてＳ３２０で背景画像データと歌詞データ（ここでは、歌詞画像データ又は画面表示用歌詞データ）とを重畳する。そして、重畳した画像データを表示部５８に表示する(Ｓ３３０）ことで、リモコン端末２による歌詞とその色
変わり表示及び背景画像の表示を実現する。

次に、歌詞データ識別フラグの値を判定する（Ｓ３４０）。ここで、歌詞データフラグの値が１である場合（Ｓ３４０：ＹＥＳ）、即ち、Ｓ２１０において歌詞画像データを受信している場合、背景画像データを受信した際の無線ＬＡＮ通信部６８による受信状況に基づいて、図７に示すような通信状況データを生成し、この生成した通信状況データを無線ＬＡＮ通信部６８を介してカラオケ装置１へ送信する（Ｓ３５０）。つまり、ここでは無線ＬＡＮ通信部６８を介して歌詞画像データを受信していることで、歌唱に必要な歌詞画像データを少なくとも伝送可能な程度の通信速度が確保されていると判断することができる。したがって、歌詞画像データを伝送可能な程度の通信速度が確保されていれば、比較的データ量が少ない通信状況データを無線ＬＡＮ通信部６８を介してカラオケ装置１へ送信しても、占有する帯域幅は僅かであるので、画像データの送信には差し支えないと考えられる。

一方、歌詞データフラグの値が０である場合（Ｓ３４０：ＮＯ）、即ち、Ｓ２１０において歌詞画像データを受信していない場合、背景画像データを受信した際の無線ＬＡＮ通信部６８による受信状況に基づいて、図７に示すような通信状況データを生成し、この生成した通信状況データを赤外線通信部５４を介してカラオケ装置１へ送信する（Ｓ３６０）。つまり、ここでは無線ＬＡＮ通信部６８を介して歌詞画像データを受信していない（即ち、カラオケ装置１側から歌詞画像データが送信されない）ことから、歌唱に必要な歌詞画像データをできない程度にまで通信速度が低下していると判断することができる。したがって、歌詞画像データを無線ＬＡＮとは通信形式が異なる赤外線通信を利用することで、通信状況データを確実にカラオケ装置１へ送信すると共に、無線ＬＡＮ通信における通信帯域幅を占有しないようにすることができる。

次に、Ｓ３７０において、演奏終了命令又は表示終了命令をカラオケ装置１から受信した又は操作部６０を介して利用者から入力されたか否かを判定する。ここで、演奏終了命令又は表示終了命令を受信していないと判定した場合（Ｓ３７０：ＮＯ）、演奏開始から５分以上経過しているか否かを判定する（Ｓ３８０）。

ここで、Ｓ３７０及びＳ３８０の処理について説明する。楽曲演奏開始以降に無線ＬＡＮ通信における通信帯域幅が狭まり、通信速度が著しく低下する等の変化があった場合、カラオケ装置１から送信された演奏終了命令をリモコン端末２が受信できない状況が考えられる。このような状況においては、カラオケ装置１の演奏が終了してもリモコン端末２は演奏状態を終了できない。そこで、本実施形態では、無線ＬＡＮ通信における通信帯域幅が狭まり、通信速度が著しく低下した状況において、演奏終了命令をリモコン端末２が受信できない状況になっても（このとき、Ｓ３７０でＮＯが選択される）、所定のタイムアウト時間を設定する（即ち、Ｓ３８０の処理をプログラムに設定する。）ことによって、リモコン端末２の演奏状態を正常に終了させることができるように構成されている。なお、一般的にカラオケ演奏開始から終了までの１曲分の演奏時間は５分程度であることを考慮して、カラオケ分野においてはタイムアウト時間は５分に設定されていると好適である。

Ｓ３８０において演奏開始から５分以上経過していないと判定した場合（Ｓ３８０：ＮＯ）、Ｓ２１０の処理へ戻り、同様の処理を繰り返す。
なお、制御部５２は以上で説明した各処理を演奏終了命令又は表示終了命令を受信するまで繰り返し実行し、Ｓ３７０において演奏終了命令又は表示終了命令を受信したと判定した場合（Ｓ３７０：ＹＥＳ）、又はＳ３８０において演奏開始から５分以上経過したと判定した場合（Ｓ３８０：ＹＥＳ）、データ送受信処理を終了する。

［カラオケ装置１における間引き処理の説明］
以下、カラオケ装置１の制御部１２が実行する間引き処理について、図４〜６に示すフローチャート及び図８〜１０に示す図に基づいて説明する。この間引き処理は、図２に示すデータ送信処理のフローチャートにおけるＳ１３０において実行される処理である。

（１）図４は、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引く間引き処理（１）を示すフローチャートである。
まず、間引き対象となる圧縮背景画像データの１秒分のフレームデータ（本実施形態では、８フレーム。）を読み出す（Ｓ４００）。次に、読み出したフレームデータから０．２５秒ごとのフレームデータを抽出し（４フレーム）、他のフレームデータを間引いて（Ｓ４１０）、間引き処理を終了する。

図８は、Ｓ４１０における処理を模式的に示した図である。図８に示すように、本実施形態では、間引き処理前の圧縮背景画像データはフレームレートが８ｆｐｓであり、各フレームの割り当て時間は、０．１２５秒間である。間引き処理によってこのデータから、例えば０．２５秒ごとにフレームデータを抽出し（図８の例では、１、３、５、７フレーム）、残りのフレームを間引く。このようにして、デフォルトの圧縮背景画像データからフレームデータを間引くことで、送信するデータ量を低減することができる。

なお、間引き前の圧縮背景画像データからフレームデータを抽出する間隔については、上述の０．２５秒間隔以外に、０．３７５秒間隔、０．５秒間隔等、種々の間隔であってもよい。また、通信速度に応じて、フレームデータを抽出する間隔を適宜変更するように構成してもよい。

（２）図５は、間引き対象データから、シーン変化フラグが付加されているフレームデータを抽出し、他のフレームデータを間引く間引き処理（２）を示すフローチャートである。

まず、間引き対象となる圧縮背景画像データの１秒分のフレームデータ（本実施形態では、８フレーム。）を読み出す（Ｓ５００）。なお、この間引き処理では、間引き対象となる圧縮背景画像データのフレームデータのうち、背景画像のシーンが変化する際の画像に相当するフレームにシーン変化フラグが予め付加されている。

次に、読み出した１秒分のフレームデータの最初のフレームデータをセットし（Ｓ５１０）、このセットしたフレームデータについて、シーン変化フラグが付加されているか否かを判定する（Ｓ５２０）。ここで、フレームにシーン変化フラグが付加されていると判定した場合（Ｓ５２０：ＹＥＳ）、フラグが付加されているフレームデータを抽出し（Ｓ５３０）、Ｓ５４０へ移行する。一方、フレームデータにシーン変化フラグが付加されていないと判定した場合（Ｓ５２０：ＮＯ）、そのままＳ５４０へ移行する。

Ｓ５４０では、次のフレームデータがあるか否かを判定し、次のフレームデータがあると判定した場合（Ｓ５４０：ＹＥＳ）、次のフレームをセットし（Ｓ５５０）、Ｓ５２０の処理へ戻る。このように、Ｓ５００で読み出したフレームデータ全てに対して上記処理を繰り返した後、Ｓ５４０において次のフレームがないと判定した場合（Ｓ５４０：ＮＯ）、間引き処理を終了する。

図９は、間引き対象データからシーン変化フラグが付加されているフレームデータを抽出し、他のフレームデータを間引いた様子を模式的に示す図である。図９に示すように、間引き処理前の１秒分（８フレーム）の圧縮背景画像データにおいて、例えば１、４番目のフレームにシーン変化フラグが付加されているならば、間引き処理によってこのシーン変化フラグが付加されている１、４番目のフレームを抽出し、その他のフレームを間引く。このようにして、デフォルトの圧縮背景画像データからフレームデータを間引くことで、送信するデータ量を低減することができる。

（３）図６は、１秒間に送信できるフレームの最大数である「送信可能フレーム最大数」を通信速度に基づいて算出し、間引き対象データから送信可能フレーム最大数分のフレームデータを抽出し、他のフレームデータを間引く間引き処理（３）を示すフローチャートである。

まず、間引き対象となる圧縮背景画像データの１秒分のフレームデータ（本実施形態では、８フレーム。）を読み出す（Ｓ６００）。次に、図２のＳ９０において算出した通信速度に基づいて送信可能フレーム最大数を算出する（Ｓ６１０）。ここで、送信可能フレーム最大数については、次の数式（２）により算出する。
送信可能フレーム最大数＝（通信速度（ｂｐｓ）−歌詞画像データのビットレート（ｂｐｓ））／１フレームあたりのデータ量（ｂｉｔ）…数式（２）
なお、本実施形態では、圧縮背景画像データのビットレートが４．０Ｍｂｐｓ及びフレームレートが８ｆｐｓであるから、１フレームあたりのデータ量は、０．５Ｍｂｉｔであると考えられる。また、歌詞画像データのビットレートが２．０Ｍｂｐｓである。例えば、図２のＳ９０において算出した通信速度が４．５Ｍｂｐｓであれば、送信可能フレーム最大数は下記の数式（３）より、５フレームである。
（４．５Ｍｂｐｓ−２．０Ｍｂｐｓ）／０．５Ｍｂｉｔ＝５．０…数式（３）
次にＳ６１０において算出した送信可能フレーム最大数に基づき間引き対象データから送信可能フレーム最大数分のフレームデータを抽出し、他のフレームデータを間引いて（Ｓ６２０）、間引き処理を終了する。

図１０（ａ）は、間引き対象データから送信可能フレーム最大数分のフレームデータを抽出し、他のフレームデータを間引いた様子を模式的に示す図である。この図１０（ａ）では、送信可能フレーム最大数が５フレームである場合について示している。

図１０（ａ）に示すように、間引き処理前の１秒分（８フレーム）の圧縮背景画像データから１、２、４、５、７番目のフレームデータを抽出し、その他のフレームを間引く。このようにして、デフォルトの圧縮背景画像データからフレームデータを間引くことで、送信するデータ量を低減することができる。

なお、間引き対象データからフレームを抽出する際は、なるべくフレーム同士が等間隔になるようにフレームデータを抽出した方が、画像をリモコン端末２の表示部５８に表示する際に滑らかに表示することができる。そこで、図１０（ｂ）に示すように、送信可能フレーム最大数に応じて、理想的なフレーム間隔に近い間隔でフレームデータを抽出するように、送信可能フレーム最大数ごとに抽出するフレーム番号を予めデータテーブルとして記憶させておくとよい。

以上、図２のＳ１３０における間引き処理について、上記間引き処理（１）〜（３）の間引き方法を説明したが、本実施形態のカラオケ装置１においては、間引き処理（１）〜（３）の間引き方法の何れを採用してもよい。あるいは、状況に応じて間引き処理（１）〜（３）の間引き方法を選択可能に構成してもよい。

［効果］
本実施形態のカラオケシステムによれば、以下のような効果を奏する。
（１）本実施形態のカラオケ装置１は、何らかの事情で通信帯域幅が狭まり通信速度が低下した場合、その通信速度に応じて、送信する背景画像データをビットレートが大きい背景画像データから、よりビットレートが小さい圧縮背景画像データへ切り替えたり、更に圧縮背景画像データを間引いたりすることで、その通信速度に見合ったデータ量で歌詞画像データ及び背景データをリモコン端末２へ送信する。このようにして歌詞画像データを優先してカラオケ装置１からリモコン端末２へと送信することができ、通信速度が低下した場合でもリモコン端末２側で重要度の高い歌詞を滞りなく表示することができる。

（２）本実施形態のカラオケ装置１では、通信帯域幅が広く、歌詞画像データを送信するのに十分な通信速度を確保することができる状況においては、表示処理にかかる負荷が小さい歌詞画像データをリモコン端末２へ送信するので、リモコン端末２側で画像を表示する際の処理負荷を減らすことができる。一方、通信帯域幅が狭く、歌詞画像データを送信するのに十分な通信速度を確保することができない状況においては、データ量の小さい歌詞テキストデータをリモコン端末２側へ送信するので、通信速度が著しく低下した状況であってもリモコン端末２側での歌詞表示を継続することができる。

（３）カラオケ装置１の制御部１２が実行する間引き処理（１）において、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引くことで等間隔にフレームを間引くことができ、表示品質を低下させても、画像を極力滑らかに表示することができる。

（４）カラオケ装置１の制御部１２が実行する間引き処理（２）において、間引き対象データから、シーンが変化する際の画像に相当するフレームデータを抽出し、他のフレームデータを間引くことで、間引きされた圧縮背景画像データによって背景画像をシーンの変化ごとに表示することができ、背景画像におけるストーリー展開や演出等を重視した表示を行うことができる。

（５）カラオケ装置１の制御部１２が実行する間引き処理（３）において、通信速度に基づいて送信可能フレーム最大数を算出し、この送信可能フレーム最大数に応じて間引き対象データからフレームデータを間引くことで、通信速度が徐々に低下するような状況であれば、その通信速度に応じて送信するフレーム数を徐々に減らすことができる。また、低下した通信速度が徐々に回復していくような状況では、その通信速度に応じて送信するフレームの数を徐々に増やして、最終的にデフォルトの送信フレーム数（８ｆｐｓ）に戻すといった柔軟な対応が可能である。

（６）通信が混雑し通信速度が低下する等の理由でリモコン端末２側で歌詞画像データを受信できない場合、リモコン端末２側で赤外線通信部５４を介して通信状況データをカラオケ装置１へ送信することで、通信帯域幅が狭まり通信速度が著しく低下しているような状況において、通信状況データを確実にカラオケ装置１へ送信することができると共に、通信状況データを送信することでその分の通信帯域を占有してしまうことが無い。

（７）リモコン端末２の制御部５２が、所定時間以上歌詞データを受信していないと判定した場合、制御部５２は、データを受信できない旨又は歌詞を表示できない旨を表示部５８に表示することで、通信速度の不足によりカラオケ装置1からリモコン端末２へデー
タを送信することができないような状況であっても、使用者の誤解を招くことを防止できる。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明の実施形態は上記の実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り様々な態様にて実施することが可能である。

例えば、カラオケ装置でのカラオケ演奏が開始する前に、リモコン端末側で事前に楽曲を試聴できるようにすると共にその楽曲歌詞及び背景画像を表示できるように構成することが考えられる。このような構成において、ストリーミングによるデータ伝送のように、楽曲の試聴中に当該楽曲の演奏データ、歌詞データ、背景データがリアルタイムに送信・再生される場合においても、本発明の技術思想を用いることができる。即ち、例えば送信するデータの優先順位を高い方から演奏データ、歌詞テキストデータ、歌詞画像データ、背景画像データの順に設定すれば、演奏データを最優先に送信し、通信状況に応じて他のデータの送信データ量を低減することができる。したがって、たとえカラオケ装置とリモコン端末間の通信速度が低下した場合でも、最優先で送信された演奏データをリモコン端末側で受信することによって、リモコン端末側で演奏を継続することができるという効果がある。

実施形態のカラオケシステムの概略構成を示すブロック図である。 カラオケ装置１の制御部１２が実行するデータ送信処理を示すフローチャートである。 リモコン端末２の制御部５２が実行するデータ送受信処理を示すフローチャートである。 カラオケ装置１の制御部１２が実行する間引き処理（１）を示すフローチャートである。 カラオケ装置１の制御部１２が実行する間引き処理（２）を示すフローチャートである。 カラオケ装置１の制御部１２が実行する間引き処理（３）を示すフローチャートである。 通信状況データの具体的な内容を示す模式図である。 カラオケ装置１の制御部１２が実行する間引き処理（１）の説明図である。 カラオケ装置１の制御部１２が実行する間引き処理（２）の説明図である。 カラオケ装置１の制御部１２が実行する間引き処理（３）の説明図である。

符号の説明

１…カラオケ装置、２…リモコン端末、１２…制御部、１４…インタフェース部、１６…ハードディスク（ＨＤＤ）、１８…操作部、２０…赤外線通信部、２２…操作処理部、２４…音声制御部、２６…マイクロフォン、２８…スピーカ、３０…ＭＩＤＩ音源、３２…ビデオＲＡＭ、３４…映像再生部、３６…表示部、３８…映像制御部、４０…ＵＳＢ、５２…制御部、５４…赤外線通信部、５６…メモリ、５８…表示部、６０…操作部、６２…操作処理部、６４…ビデオＲＡＭ、６６…映像制御部、６８…無線ＬＡＮ通信部、１００…ネットワーク、１１０…無線アクセスポイント

Claims (8)

1. 選曲された楽曲の演奏データに基づいてカラオケ演奏を行うカラオケ装置と、使用者からの指示を受け付け、この受け付けた指示を前記カラオケ装置に通知する通知機能を有するリモコン端末とを備え、前記カラオケ装置と前記リモコン端末との間でデータ通信可能に構成されているカラオケシステムであって、
   前記カラオケ装置は、
   楽曲の歌詞を示す文字及びこの文字の表示色が一方から他方へ所定幅ずつ変化する色変わりを表示するための歌詞画像データと、背景画像を表示するための背景画像データとを記憶する記憶手段と、
   前記リモコン端末が備えるリモコン側通信部との間でデータを送受信するカラオケ装置側通信部と、
   前記リモコン端末に対して歌詞画像と背景画像とを同時に表示させるための前記歌詞画像データと前記背景画像データとを前記記憶手段から読み出し、この読み出した前記歌詞画像データと前記背景画像データとを併せて、前記カラオケ装置側通信部を介して前記リモコン端末へ送信するデータ送信手段とを備えており、
   前記リモコン端末は、
   前記カラオケ装置が備えるカラオケ装置側通信部との間でデータを送受信するリモコン側通信部と、
   前記カラオケ装置側から送信されてきた歌詞画像データ及び背景画像データを前記リモコン側通信部を介して受信するデータ受信手段と、
   前記データ受信手段が受信したデータの受信状況に基づいて通信状況データを生成し、この通信状況データを前記リモコン側通信部を介して前記カラオケ装置へ送信する通信状況データ送信手段と、
   画像を表示する表示部と、
   前記データ受信手段によって受信した歌詞画像データ及び背景画像データで示される歌詞及び背景画像を前記表示部に表示させる表示制御手段とを備えており、
   更に前記カラオケ装置は、
   前記リモコン端末側から送信されてきた通信状況データに基づいて通信速度を判定する通信速度判定手段と、
   前記データ送信手段によって前記歌詞画像データ及び背景画像データを送信する際に、前記通信速度判定手段によって判定された通信速度と、送信する前記歌詞画像データ及び前記背景画像データの単位当たりに送信すべきデータ量の合計とを比較する第１の比較手段と、
   前記第１の比較手段による比較の結果、前記歌詞画像データ及び前記背景画像データの単位当たりに送信すべきデータ量の合計が前記通信速度より大きい場合、送信する前記歌詞画像データ及び前記背景画像データのうち、一方の前記背景画像データに代えて当該背景画像データより単位当たりに送信すべきデータ量が小さい圧縮背景画像データを送信する背景画像データとして選択するデータ選択手段と、
   前記通信速度判定手段によって判定された通信速度と、送信する前記歌詞画像データ及び前記データ選択手段により選択された圧縮背景画像データの単位当たりに送信すべきデータ量の合計とを比較する第２の比較手段と、
   前記第２の比較手段による比較の結果、前記歌詞画像データ及び前記圧縮背景画像データの単位当たりに送信すべきデータ量の合計が前記通信速度より大きい場合、送信する前記歌詞画像データ及び前記圧縮背景画像データのうち、一方の前記圧縮背景画像データを所定の割合で間引くデータ間引き手段と、
   前記通信速度判定手段によって判定された通信速度と、送信する前記歌詞画像データ及び前記データ間引き手段により間引きされた間引き圧縮背景画像データの単位当たりに送信すべきデータ量の合計とを比較する第３の比較手段と、
   前記第３の比較手段による比較の結果、前記歌詞画像データ及び前記間引き圧縮背景画像データの単位当たりに送信すべきデータ量の合計が前記通信速度より大きい場合、前記通信速度と、送信する前記歌詞画像データの単位当たりに送信すべきデータ量とを比較する第４の比較手段とを備え、
   前記データ送信手段は、
   前記第１の比較手段による比較の結果、前記歌詞画像データ及び前記背景画像データの単位当たりに送信すべきデータ量の合計が前記通信速度以下である場合、当該歌詞画像データ及び背景画像データを前記リモコン端末へ送信する一方、
   前記第２の比較手段による比較の結果、前記歌詞画像データ及び前記圧縮背景画像データの単位当たりに送信すべきデータ量の合計が前記通信速度以下である場合、当該歌詞画像データ及び圧縮背景画像データを前記リモコン端末へ送信する一方、
   前記第３の比較手段による比較の結果、前記歌詞画像データ及び前記間引き圧縮背景画像データの単位当たりに送信すべきデータ量の合計が前記通信速度以下である場合、当該歌詞画像データ及び間引き圧縮背景画像データを前記リモコン端末へ送信する一方、
   前記第４の比較手段による比較の結果、前記歌詞画像データの単位当たりに送信すべきデータ量の合計が前記通信速度以下である場合、当該歌詞画像データのみを前記リモコン端末へ送信すること
   を特徴とするカラオケシステム。
2. 請求項１に記載のカラオケシステムにおいて、
   前記データ間引き手段は、間引き対象データから一定時間ごとのフレームデータを抽出し、他のフレームデータを間引くこと
   を特徴とするカラオケシステム。
3. 請求項１に記載のカラオケシステムにおいて、
   前記データ間引き手段は、間引き対象である背景画像データから、シーンが変化する際のフレームデータを抽出し、他のフレームデータを間引くこと
   を特徴とするカラオケシステム。
4. 請求項１に記載のカラオケシステムにおいて、
   前記データ間引き手段は、前記通信速度判定手段によって判定された通信速度に基づき、送信可能フレーム最大数を判定し、この判定した送信可能フレーム最大数に応じて間引き対象データからフレームデータを間引くこと
   を特徴とするカラオケシステム。
5. 請求項１ないし請求項４の何れか１項に記載のカラオケシステムにおいて、
   前記カラオケ装置側では、
   前記記憶手段は、さらに、楽曲の歌詞の文字を示すテキストデータと、歌詞の色変わりの位置及び時間を規定する制御データとからなる、前記歌詞画像データよりも相対的にデータ量の少ない歌詞テキストデータを記憶しており、
   前記データ送信手段は、
   前記第４の比較手段による比較の結果、前記歌詞画像データの単位当たりに送信すべきデータ量の合計が前記通信速度より大きい場合、当該歌詞画像データに代えて前記歌詞テキストデータを前記リモコン端末へ送信し、
   前記リモコン端末側では、
   前記表示制御手段は、前記カラオケ装置から前記歌詞テキストデータを受信した場合、これを画面表示用歌詞データに変換して、歌詞を前記表示部に表示させること
   を特徴とするカラオケシステム。
6. 請求項１ないし請求項５の何れか１項に記載のカラオケシステムにおいて、
   前記カラオケ装置は、前記リモコン端末が備えるリモコン側第二通信部から送信されたデータを受信するカラオケ装置側第二側通信部を備えており、
   前記リモコン端末は、前記カラオケ装置が備えるカラオケ装置側第二通信部へデータを送信するリモコン側第二通信部を備えており、
   前記通信状況データ送信手段は、前記カラオケ装置から前記歌詞画像データを受信していないと判定した場合、前記リモコン側第二通信部を介して前記通信状況データを前記カラオケ装置側へ送信すること
   を特徴とするカラオケシステム。
7. 請求項１ないし請求項６の何れか１項に記載のカラオケシステムであって、
   前記リモコン端末は、
   前記データ受信手段が前記カラオケ装置側から所定時間以上データを受信していないか否かを判定する受信判定手段を備えており、
   前記受信判定手段によって所定時間以上データを受信していないと判定された場合、前記表示制御手段は、データを受信できない旨又は歌詞を表示できない旨を前記表示部に表示すること
   を特徴とするカラオケシステム。
8. 請求項１ないし請求項７の何れか１項に記載のカラオケシステムにおけるデータ送信手段、通信速度判定手段、第１の比較手段、第２の比較手段、第３の比較手段、第４の比較手段、データ選択手段及びデータ間引き手段として、又は通信状況データ送信手段として、コンピュータを機能させるためのプログラム。

Images