JP6558123B2 - カラオケ装置及びカラオケ用プログラム - Google Patents

Description

本発明は、演奏情報に基づいて楽曲の演奏を行うカラオケ装置及びカラオケ用プログラムに関する。

演奏に合わせて歌唱を楽しむことのできるカラオケ装置が知られている。カラオケ装置では、楽曲の演奏（伴奏）を行う際、モニタ等の表示手段に演奏に同期して歌詞を表示することで、歌唱補助が行われている。また、表示する歌詞の背景に、楽曲に関係する背景映像を表示することで、歌唱の場の雰囲気作りを行うことがよく知られている。

特許文献１には、背景画表示用の情報等で構成されている曲パーツ情報が記憶されているハードディスクから、利用者によって多目的入力キーから入力された指示に従って、１曲分のカラオケ演奏情報を構成する曲パーツ情報の組合せに対応する曲パターンを構築抽出し、利用者の選択に応じたカラオケ演奏を実行させるカラオケ装置が開示されている。

また、特許文献２には、歌唱者を撮影し、当該歌唱者が写された画像である歌唱者画像を取得する撮影部と、当該歌唱者画像に含まれる情報を用いて、歌唱者の１以上の属性値を取得し、少なくとも一部は当該歌唱者の１以上の属性値を用いてモデルを示す画像であるモデル画像を構成するモデル画像構成部と、当該モデル画像と背景画像とを合成して表示出力するカラオケ装置が開示されている。

特開平８−３１４４７７号公報 特開２０１５−６００６１号公報

特許文献１、特許文献２に開示されるように、カラオケ装置において使用する背景映像には、歌唱を行う際の雰囲気向上のため、各種趣向凝らされたものが使用されており、背景映像は楽曲の雰囲気に即した映像を楽しむことが可能である。ところで、カラオケはカラオケ装置による自動演奏ではあるが、ユーザの中には、演奏の様子と一緒に歌唱を楽しみたいという要望もある。

背景映像として、演奏の様子を撮影した映像を提供することも可能ではあるが、楽曲毎に映像を用意しないと、演奏の様子が楽曲に沿わないこととなり、違和感のある映像となってしまう。また、従来行われていた、楽曲の雰囲気に即した映像を楽しみたいというユーザも存在するため、雰囲気向上用の背景映像と、演奏の様子の背景映像とを用意する必要が生じてしまう。また、現在、カラオケ装置で演奏可能な楽曲数は、数十万曲もあるため、全ての楽曲について、演奏の様子に関する用意することには無理がある。

本発明は、このような課題を解決することを目的とし、演奏の様子を背景映像に使用して歌唱を楽しむことのできるカラオケ装置を提供することを目的としており、以下の構成を採用したことを特徴としている。

本発明に係るカラオケ装置は、
楽音を形成するための複数のチャンネルを含む演奏情報を使用して演奏を行うカラオケ装置であって、
複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、複数の前記チャンネルについて決定された複数の前記仮位置に基づいて、１の前記演奏位置を決定することを特徴とする。
さらに本発明に係るカラオケ装置において、
前記位置決定処理は、決定した前記仮位置を複数の前記演奏位置に分け、前記演奏位置を決定することを特徴とする。
また本発明に係るカラオケ装置は、
楽音を形成するための複数のチャンネルを含む演奏情報を使用して演奏を行うカラオケ装置であって、
複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、決定した前記仮位置を複数の前記演奏位置に分け、前記演奏位置を決定することを特徴とする。

さらに本発明に係るカラオケ装置において、
前記位置決定処理は、前記チャンネルに含まれる効果付与情報に基づいて、前記演奏位置を決定することを特徴とする。

さらに本発明に係るカラオケ装置において、
前記効果付与情報は、リバーブ付与情報であって、
前記位置決定処理は、前記演奏位置について、前記リバーブ付与情報に応じた奥行き位置を決定することを特徴とする。

また本発明に係るカラオケ用プログラムは、
楽音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏可能な情報処理装置で実行可能なカラオケ用プログラム
複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、複数の前記チャンネルについて決定された複数の前記仮位置に基づいて、１の前記演奏位置を決定することを特徴とする。
また本発明に係るカラオケ用プログラムは、
楽音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏可能な情報処理装置で実行可能なカラオケ用プログラム
複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、決定した前記仮位置を複数の前記演奏位置に分け、前記演奏位置を決定することを特徴とする。

本発明に係るカラオケ装置、及び、カラオケ用プログラムによれば、楽曲を演奏するための楽曲情報を使用して、演奏者を示すキャラクターを配置した映像を再生するため、楽曲に対して適切な位置で演奏者を示すキャラクターを表示し、歌唱者は当該キャラクターで構成されたバックバンドの雰囲気で歌唱を楽しむことが可能となる。また、キャラクターの配置は、演奏対象となる演奏情報を使用して決定されるため、楽曲毎にバックバンドの背景映像を用意する必要が無いため、膨大な数の楽曲にも即時に対応することが可能となる。

さらに本発明に係るカラオケ装置、及び、カラオケ用プログラムによれば、チャンネルに含まれる効果付加情報に基づいて、決定することで、演奏音に適合したキャラクター配置を実現することが可能となる。

さらに本発明に係るカラオケ装置、及び、カラオケ用プログラムによれば、効果付加情報としてリバーブ付与情報を参照し、キャラクターの奥行き位置をリバーブ付与情報に対応付けることで、演奏音に適合したキャラクター配置を実現することが可能となる。

例えば、ドラムセットに含まれる複数のドラムが複数のチャンネルに割り当てられている場合がある。このような場合、チャンネル毎にキャラクターを割り当てると、ドラム毎にキャラクターが割り当てられることになり、違和感のある映像となることが考えられる。本発明に係るカラオケ装置、及び、カラオケ用プログラムでは、チャンネル毎に仮位置を決定し、チャンネルに割り当てられている音色種別等を条件として、複数の仮位置を１の演奏位置に統合することで、違和感のない映像を表示することが可能となる。

例えば、効果付与情報の１つであるディレイは、１つのチャンネルで複数の演奏音が奏でられているように聞かせることができる。このような場合、１のチャンネルに１のキャラクターを割り当てると、演奏上は複数の演奏者による演奏音として聞こえるのに、映像上は１人のキャラクターが表示されることになってしまう。本発明に係るカラオケ装置、及び、カラオケ用プログラムでは、チャンネルに割り当てられている効果付与情報等を条件として、チャンネルについて決定された１の仮位置を複数の演奏位置に分割することで、違和感のない映像を表示することが可能となる。

また、本発明の位置決定処理は、楽曲の予約後であって、前記演奏処理の前に実行されることを特徴としている。カラオケ装置では、数十万曲の既存の楽曲情報が存在しており、各楽曲に位置決定処理を施して演奏位置を決めることは困難である。本発明のこのような構成により、予約してから演奏されるまでの期間を有効利用して、演奏位置を決定することが可能である。

本実施形態のカラオケシステムの構成を示す図 本実施形態の楽曲情報のデータ構成を示す図 本実施形態の楽曲予約処理、位置決定処理を示すフロー図 本実施形態の楽曲再生処理を示すフロー図 本実施形態の位置決定処理で使用する演奏情報の一部を示す例 図５の演奏情報に基づいて決定した演奏位置の配置例を示す図 図５、図６の例について形成した背景映像を示す図 他の実施形態について位置決定処理を説明するための図（演奏位置の統合） 他の実施形態について位置決定処理を説明するための図（演奏位置の分割）

図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。なお、図１に示す例では、１台のカラオケ装置２に対して、リモコン装置１ａとリモコン装置１ｂ、２台のリモコン装置１が使用されている例である。これらリモコン装置１ａ、１ｂの構成は同一であるため、リモコン装置１として説明を行う。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。

カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響制御部２５を備えている。また、カラオケ装置２は、ユーザからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されるモニタ４１以外に、タッチパネルモニタ３３に対して各種情報を表示することを可能としている。タッチパネルモニタ３３は映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。このタッチパネルモニタ３３は、カラオケ装置２の操作部、あるいは、リモコン装置１のタッチパネルモニタ１１などと同様、入力部として機能する。ユーザは、タッチパネルモニタ３３にて楽曲を選択することで、直接カラオケ装置２に予約をさせるなど、カラオケ装置２に対する各種操作を行うことが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を備えて構成される。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。ユーザの操作により、リモコン装置１などの入力部で指定された予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞再生処理とが同期して実行される処理である。

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、マイクロホン４４ａ、４４ｂから入力される歌唱音声と一緒にスピーカ４２から放音される。歌詞再生処理は、楽曲情報に含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

一方、リモコン装置１は、歌唱する楽曲を選択する選曲処理を実行可能とし、予約情報などカラオケ装置２に対して各種指示を送信可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたサーバ装置５から各種情報を受信し、ユーザに対して各種情報を提供することも可能である。本実施形態では、ユーザから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。

さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニタ１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニタ１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信される。

このようなリモコン装置１の構成により、ユーザからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１に表示することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能とされている。

図２は、カラオケ装置２で使用する楽曲情報のデータ構成を示す図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏等、各種処理を実行する実情報を含んで構成される。メタ情報には、楽曲情報を識別するための楽曲識別情報、楽曲名、歌手名、作詞者名、作曲者名等が含まれている。

楽曲情報の実情報には、演奏情報、歌詞情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成され、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成することも可能である。

図２には、演奏情報の詳細が記載されている。演奏情報は複数（図２の例では１６個のチャンネル）のチャンネルを含んで構成されている。各チャンネルは、プログラムナンバーで規定される音色に割り当てられている。各チャンネルは、効果付与情報、楽譜情報を含んで構成されている。効果付与情報は、チャンネル中の楽譜情報に基づいて演奏された演奏音に音響効果を付与するための情報である。効果付与情報には、音の左右定位を決定するパンポット、残響量を決定するリバーブ、複数の楽器を略同時に鳴らしたように聞こえる効果を付与するコーラス、演奏音に歪みをかけるディストーション等が含まれる。図２では、後で説明する位置決定処理に使用するパンポット、リバーブについて、その数値を示している。楽譜情報は、ＭＩＤＩ規格に規定されるノートオン情報、ノートオフ情報等で構成された情報であって、この楽譜情報に基づき演奏を行うことで、各チャンネルの音色に関する演奏音が形成される。楽譜情報に基づき形成された演奏音は、効果付与情報に基づく音響効果が付与されスピーカ４２へと出力される。本実施形態では、効果付与情報中のパンポット、リバーブを使用して、背景映像に登場する演奏者を示すキャラクターの配置を決定している。

図３（Ａ）は、本実施形態の楽曲予約処理を示すフロー図である。ユーザは、リモコン装置１、あるいは、タッチパネルモニタ３３を操作することで、歌唱したい楽曲の予約を行う。例えば、リモコン装置１で楽曲の予約を行った場合、楽曲に対応する楽曲識別情報を含んだ予約情報が、カラオケ装置２に送信される。予約情報を受信したカラオケ装置２は、新規予約が行われたと判断（Ｓ１０１：Ｙｅｓ）して、位置決定処理（Ｓ２００）を実行する。この位置決定処理は、楽曲を再生する際に使用する背景映像を形成するための前処理である。本実施形態では、楽器を演奏する演奏者を示すキャラクターが配置された背景映像をモニタ４１に表示する。

従来、背景映像は予め用意された映像を使用することが一般的であるが、本実施形態では、演奏情報中、楽器が割り当てられたチャンネルに基づいて、演奏者を示すキャラクターの演奏位置を決めることで、演奏者が配置された背景映像を楽曲毎に形成することを可能としている。したがって、演奏者による演奏風景を収録した背景映像が用意されていない楽曲に対しても、楽曲に対応した演奏風景による背景映像を提供することが可能となっている。また、位置決定処理（Ｓ２００）は、楽曲が予約されてから再生開始までの期間に実行することで、楽曲再生開始時には、楽曲に対応した演奏風景による背景映像を提供することが可能である。位置決定処理（Ｓ２００）が完了すると、予約情報を予約テーブルに登録（Ｓ１０２）して、新規予約を監視する状態（Ｓ１０１）に戻る。

では、演奏者を示すキャラクターの配置を決定するための位置決定処理（Ｓ２００）について説明する。図３（Ｂ）は位置決定処理（Ｓ２００）の内部処理を示すフローチャートである。図５は、本実施形態の位置決定処理（Ｓ２００）で使用する演奏情報の一部を示す例である。この例では、演奏情報は、５つのチャンネルを有して構成されている。各チャンネルには、プログラムナンバーで規定された音色が割り当てられている。また、各チャンネルには、パンポット、リバーブについて規定した効果付与情報が規定されている。本実施形態の位置決定処理（Ｓ２００）は、効果付与情報中のパンポット、リバーブを使用して演奏者を示すキャラクターがモニタ４１の画面上で表示された場合に位置する演奏位置を決定している。パンポットは、音響効果中、左右の定位を決める情報である。本実施形態では１〜１２８の値で規定され、最も左に定位する場合を「１」、最も右に定位する場合を「１２８」、真ん中に定位する場合を「６４」として規定している。リバーブは、演奏音に残響を付与する情報であり、０以上の数値で規定されている。数値が大きくなるほど、演奏音に付与する残響の量が大きい。

本実施形態の位置決定処理では、まず、（Ｓ２５０）において、楽曲情報から各チャンネルに効果付与情報としてパンポット、リバーブの値を抽出する。次に、（Ｓ２６０）において、各チャンネルに規定されたパンポットに基づき演奏位置の左右位置を決定し、各チャンネルに規定されたリバーブに基づき演奏位置の奥行き位置を決定している。図６は、図５で説明した演奏情報に基づいて決定した演奏位置の配置例である。図中、パンポットを横軸（Ｘ軸）、リバーブをＺ軸に取り、各チャンネル（音色）について演奏位置を割り当てている。また、Ｘ軸は背景映像における左右方向を、Ｚ軸は背景映像における奥行き方向に対応している。例えば、チャンネル０１（ギター）の場合、パンポットは「０４４」、リバーブは「０」であるため、背景映像における左右位置は、中央位置よりも右寄りであって、奥行き位置は最前位置となる。また、チャンネル１０（ドラム）の場合は、パンポットは「０６４」、リバーブは「３０」であるため、背景映像における左右位置は中央位置であって、奥行き位置は多少奥に位置することになる。つまり、リバーブの値の大小は、キャラクターの奥行き位置を決定し、Ｙ軸方向で規定されるキャラクターの表示倍率（奥行き位置が大：遠い位置であり、Ｙ軸方向のキャラクターの表示倍率は小さくなる、奥行き位置が小：近い位置であり、Ｙ軸方向のキャラクターの表示倍率は大きくなる）、キャラクター間の前後関係（モニタ４１に表示する際の重なり方）を規定する。

このように本実施形態では、パンポットに基づき演奏位置の左右位置を決定し、リバーブに基づき演奏位置の奥行き位置を決定することで、各チャンネルの演奏音に適合した演奏位置となっている。この演奏位置に演奏者を示すキャラクターを表示することで、演奏にマッチした演奏風景を実現することが可能となる。なお、リバーブに基づき演奏位置の奥行き位置を決定する理由は、ホール等では聴取位置から遠くなるほど、壁面での反射回数が増加し、残響の量が多くなることを理由としている。位置決定処理（Ｓ２００）で決定された各チャンネルに対する演奏位置は、予約情報に書き込まれ、楽曲再生処理で使用される。

図４は、本実施形態の楽曲再生処理を示すフロー図である。リモコン装置１から送信された予約情報は、カラオケ装置２のメモリ２７で管理する予約テーブルに順次記憶される。カラオケ装置２は、予約テーブルのチェックを行い（Ｓ２０１）、次に再生すべき再生の楽曲があると判定した場合（Ｓ２０２：Ｙｅｓ）、楽曲情報の再生を開始する（Ｓ２０３）。楽曲情報の再生期間中、カラオケ装置２はモニタ４１に背景映像を表示する背景映像再生処理（Ｓ２０４）を実行する。本実施形態では、位置決定処理（Ｓ２００）で決定した各チャンネルの演奏位置を使用して、演奏者のキャラクターを背景映像として表示することとしている。

図７は、モニタ４１に表示される背景映像の例を示した例である。背景映像再生処理では、位置決定処理（Ｓ２００）で決定した演奏位置に、各チャンネルの音色に対応するキャラクターを表示することで演奏風景を形成する。図７は、図５、図６の例について形成した背景映像の例であり、図６の演奏位置に、各チャンネルの音色に対応する楽器を演奏するキャラクターを表示させている。モニタ４１において、演奏位置を決定したときのＸ軸がモニタ４１の左右方向、Ｚ軸が奥行き方向、Ｙ軸が高さ方向となっている。なお、本実施形態では２次元表示のモニタ４１を使用しているため、奥行き位置（Ｚ軸）については、演奏者の大きさ（Ｙ軸方向）、演奏者の前後関係で表現している。例えば、チャンネル０１（ギター）を示すキャラクターは、チャンネル０３（クラリネット）よりも、奥行き位置（Ｚ軸）について手前に位置しているため、チャンネル０１（ギター）のキャラクターの表示倍率（Ｙ軸）は、チャンネル０３（クラリネット）のキャラクターの表示倍率（Ｙ軸）よりも大きい。元のキャラクターの大きさが同じ場合、チャンネル０１（ギター）のキャラクターの大きさは、チャンネル０３（クラリネット）のキャラクターの大きさよりも大きくなる。また、チャンネル１０（ドラム）のキャラクターは、チャンネル０１（ギター）よりも、奥行き位置（Ｚ軸）について奥に位置しているため、両キャラクターが重なる部分については、チャンネル１０（ドラム）のキャラクターが、チャンネル０１（ギター）のキャラクターに隠れるように表示される。キャラクターを表示するためのデータは２次元、あるいは３次元データで構成されている。また、キャラクターは静止画、動画であってもよい。動画とする場合、各チャンネルに含まれる楽譜情報を使用してキャラクターを動作させることで、よりリアリティのある演奏風景を形成することが可能となる。また、演奏者を見る視点位置は、固定であってもよいし、楽曲情報の再生進行に応じて移動させてもよい。

背景映像再生処理（Ｓ２０４）は、楽曲の再生終了が判定（Ｓ２０５：Ｙｅｓ）まで継続して実行される。このように本実施形態では、各チャンネルに含まれる情報に基づいて演奏位置を決定し、決定した演奏位置に演奏者を示すキャラクターを配置した背景映像を形成することで、キャラクターで構成されたバックバンドの雰囲気で歌唱を楽しむことが可能となる。

本発明は、以上説明した実施形態以外に変形例を採用することも可能である。以下に変形例について説明する。

（変形例１）
演奏情報中のチャンネルには歌唱する旋律（主旋律）のために設けられたものがある。この主旋律のためのチャンネルを再生することで、歌唱時のガイドとして使用することが可能である。位置決定処理（Ｓ２００）では、このような主旋律のチャンネルについて演奏位置を決定しないこととしてもよい。カラオケでは、ユーザが歌唱を行うため、主旋律について演奏位置を決定した場合、背景映像中にも歌唱者が存在することになる。この変形例では、チャンネル中、主旋律を位置決定処理（Ｓ２００）の対象外とすることで、処理を軽減するとともに、歌唱者はバックバンドを従えて歌唱している雰囲気を形成することが可能となる。なお、主旋律のチャンネルについても演奏位置を決定し、当該演奏位置に歌唱者を示すキャラクターを表示させてもよい。この場合、歌唱者とバックバンドによる演奏風景を背景映像として楽しむことが可能となる。カラオケ装置２において、歌唱者を示すキャラクターは、表示、非表示を切り換えることとしてもよい。さらには主旋律のオン・オフ、あるいは主旋律の音量の切替えに同期して、歌唱者を示すキャラクターの表示、非表示を切り換えることとしてもよい。

（変形例２）
本実施形態ででは、２次元表示のモニタ４１に背景映像を表示する形態を採用している。近年、テレビゲーム等の業界では、ヘッドマウントディスプレイを使用した仮想現実が注目を浴びている。カラオケについても仮想空間で歌唱を行うことも考えられる。本実施形態では、演奏者を示すキャラクターを配置した背景映像を使用しているが、仮想空間にキャラクターを配置することで、映像に更なるリアリティを加えることが可能である。仮想空間では、仮想空間内の視点位置を決める必要がある。この視点位置は適宜決定することも可能であるが、変形例１で説明したように、演奏情報が主旋律のチャンネルを含む場合、この主旋律のチャンネルについて決定した演奏位置を仮想空間内の視点位置とすることで、歌唱者がバックバンド内で歌唱しているかのような雰囲気を体験することも可能である。

（変形例３）
位置決定処理（Ｓ２００）では、演奏情報中の各チャンネルに対して１の演奏位置を決定していたが、他の形態を採用することも可能である。図８は、他の実施形態について位置決定処理を説明するための図である。図８（Ａ）は、図６と同様、各チャンネルについて演奏位置を決定したときの配置図である。本実施形態では、まず、各チャンネルについて演奏位置の仮位置を決定する。この例では、演奏情報は６つのチャンネルを含んでおり、各チャンネルに対して仮位置が決定される。仮位置の決定後、各仮位置中、関連のあるチャンネルについては仮位置を統合する処理を実行することで、キャラクターを配置するための演奏位置を決定する。例えば、実際の演奏では、ドラムとパーカッションは１の演奏者によって演奏されることがある。チャンネル１０の音色（ドラム）とチャンネル１１の音色（パーカッション）を、統合する対応関係にあることを予め規定しておくことで、チャンネル１０、チャンネル１１のそれぞれに演奏者を立てるのではなく、両者について１の演奏者を立てることで、実際の演奏形態に即した背景映像を形成することが可能となる。

図８（Ｂ）は、図８（Ａ）のチャンネル１０の仮位置とチャンネル１１の仮位置に基づき、１の演奏位置を決定した例を示す図である。この実施形態では、チャンネル１０の仮位置とチャンネル１１の仮位置の中間位置を演奏位置として決定している。なお、演奏位置の決定は、仮位置の中間位置を取ることに代え、どちらか一方の仮位置を採用する等、各種形態を採用することが可能である。また、図８の例では２つの仮位置に基づいて１の演奏位置を決定しているが、３つ以上の仮位置に基づき１の演奏位置を決定することとしてもよい。このように変形例３では、複数の仮位置に基づいて１の演奏位置を決定することで、実際の演奏形態に即した背景映像を形成することが可能である。

（変形例４）
位置決定処理（Ｓ２００）では、演奏情報中の各チャンネルに対して決定した１の仮位置から、各種条件に基づいて複数の演奏位置を決定することも可能である。例えば、効果付与情報には、コーラスと呼ばれる情報がある。コーラスは、複数の楽器をほぼ同時にならしたように聞こえる効果を持つ情報であり、演奏音を厚くするときに使用される。このコーラスが付与されたチャンネルに１の演奏者を表示させた場合、聴感上は複数の演奏者によって演奏されるように聞こえるのに、視覚上は１の演奏者による演奏となり違和感を生じることが考えられる。そのため、例えば、このコーラスが所定の値を超える場合には、チャンネルについて決定した仮位置を複数の演奏位置に分けることが考えられる。

図９（Ａ）は、図６と同様、各チャンネルについて演奏位置を決定したときの配置図である。本実施形態では、まず、各チャンネルについて演奏位置の仮位置を決定する。この例では、演奏情報は５つのチャンネルを含んでおり、各チャンネルに対して仮位置が決定される。これら５つのチャンネル中、チャンネル０４（シンセサイザ）には、「４０」の値を有するコーラスが付与されている。例えば、コーラスの値が閾値「２０」以上の場合には、演奏位置を２つに分けることで、コーラスが付与された演奏音と背景映像の整合性を取ることが可能となる。図９（Ｂ）は、チャンネル０４について決定した仮位置から２つの演奏位置Ａ、Ｂを決定した状態を示している。本実施形態では、決定した仮位置が中心となるように２つの演奏位置Ａ、Ｂを決定している。背景映像再生処理では、演奏位置Ａ、Ｂに演奏者（２人）を示すキャラクターが表示される。なお、演奏位置Ａと演奏位置Ｂの間隔は、コーラスの値に応じて変更することとしてもよい。例えば、コーラスの値が大きい程、演奏位置Ａと演奏位置Ｂの間隔を大きくすることが考えられる。また、コーラスの値によって、分割する演奏位置の数を多くすることとしてもよい。例えば、コーラスの値が「５０」以上の場合、演奏位置を３つ決定すること等が考えられる。

演奏音にコーラスを付与することで、演奏情報中は１のチャンネルであっても、聴感上は複数の演奏者によって演奏されるように聞こえる場合がある。本変形例４のように、チャンネルに含まれる情報に基づき、１のチャンネルについて決定した仮位置から複数の演奏位置を決定することで、聴感上と視覚上の演奏の整合性を取ることが可能となる。なお、本実施形態では、チャンネルに含まれるコーラスに基づくこととしたが、他の効果付与情報を使用すること、あるいは、楽譜情報において同時に発音する数が所定値を超える場合などに１の仮位置から複数の演奏位置を決定することが考えられる。

（変形例５）
また、本実施形態では、１つの楽曲中、チャンネルに割り当てられた音色が固定となっているが、楽曲によっては、演奏中、チャンネルに割り当てられている音色が変動する場合がある。このような場合、背景映像再生処理では、演奏の進行に伴い、演奏者を示すキャラクターを変更することとしてもよい。その際、音色に対応する演奏位置が変更されている場合は、当該演奏位置に演奏者を示すキャラクターが表示されることになる。また、演奏位置を決めるための情報（本実施形態では、パンとリバーブ）は、演奏の進行に伴い変更される場合がある。このような場合には、演奏者を示すキャラクターを演奏の進行に伴って移動させることとしてもよい。この場合、位置決定処理（Ｓ２００）は、演奏位置を時系列の情報として決定することになる。具体的には、ＭＩＤＩのプログラムチェンジコマンドなどで、チャンネルに割当てられた楽器種類が変更され、音色が変わった場合などが該当する。

なお、本実施形態では、楽曲予約処理で演奏を開始する前にキャラクターのＸＹＺ軸位置を決定したが、変形例５など、楽曲の演奏進行に応じてキャラクターの種類やＸＹＺ位置が変わる場合がある。このような場合には、位置決定処理（Ｓ２００）において、キャラクターの演奏位置を決めるための情報を時系列の情報としてメモリ２７に一時記憶し、楽曲情報の演奏開始中に楽曲の進行時間と比較して、楽曲の進行が時系列の情報と一致したタイミングで、キャラクターのＸＹ位置と大きさ（奥行き方向の位置（Ｚ軸））を決定すればよい。他にも、位置決定処理（Ｓ２００）の実行を（Ｓ１０１）と（Ｓ１０２）の間ではなく、楽曲再生中の（Ｓ２０４）の直前等で実行させることとしてもよい。

また、カラオケ装置を例にとって説明を行ったが、本実施形態で使用するカラオケ用プログラムは、カラオケ装置２のみならず、パソコン、スマートホンなどの携帯端末、ゲーム機などの各種情報処理装置で実行可能なプログラムとして提供することも可能である。

１（１ａ、１ｂ）：リモコン装置 ２４：ＬＡＮ通信部
２：カラオケ装置 ２５：音響制御部
５：サーバ装置 ２７：メモリ
１１：タッチパネルモニタ ２８：ビデオＲＡＭ
１１ａ：表示部 ２９：映像再生部
１１ｂ：タッチパネル ３０：ＣＰＵ
１２：ビデオＲＡＭ ３１：映像制御部
１３：映像制御部 ３２：ハードディスク
１４：メモリ ３３：タッチパネルモニタ
１５：ＣＰＵ ３４：タッチパネル
１６：無線ＬＡＮ通信部 ３５：表示部
１７：操作部 ４１：モニタ
１８：操作処理部 ４２：スピーカ
２１：操作部 ４４ａ、４４ｂ：マイクロホン
２２：操作処理部 １１０：アクセスポイント

Claims (7)

1. 楽音を形成するための複数のチャンネルを含む演奏情報を使用して演奏を行うカラオケ装置であって、
   複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
   前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
   前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
   前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、複数の前記チャンネルについて決定された複数の前記仮位置に基づいて、１の前記演奏位置を決定することを特徴とする
   カラオケ装置。
2. 楽音を形成するための複数のチャンネルを含む演奏情報を使用して演奏を行うカラオケ装置であって、
   複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
   前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
   前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
   前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、決定した前記仮位置を複数の前記演奏位置に分け、前記演奏位置を決定することを特徴とする
   カラオケ装置。
3. 前記位置決定処理は、決定した前記仮位置を複数の前記演奏位置に分け、前記演奏位置を決定することを特徴とする
   請求項１に記載のカラオケ装置。
4. 前記位置決定処理は、前記チャンネルに含まれる効果付与情報に基づいて、前記演奏位置を決定することを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケ装置。
5. 前記効果付与情報は、リバーブ付与情報であって、
   前記位置決定処理は、前記演奏位置について、前記リバーブ付与情報に応じた奥行き位置を決定することを特徴とする
   請求項４に記載のカラオケ装置。
6. 楽音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏可能な情報処理装置で実行可能なカラオケ用プログラムであって、
   複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
   前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
   前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
   前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、複数の前記チャンネルについて決定された複数の前記仮位置に基づいて、１の前記演奏位置を決定することを特徴とする
   カラオケ用プログラム。
7. 楽音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏可能な情報処理装置で実行可能なカラオケ用プログラムであって、
   複数の前記チャンネルに基づいて、演奏位置を決定する位置決定処理と、
   前記位置決定処理で決定した演奏位置に、演奏者を示すキャラクターを配置した映像を表示する映像表示処理と、
   前記演奏情報に基づいて演奏を行う演奏処理と、を実行し、
   前記位置決定処理は、１つの前記チャンネルに対応する仮位置を決定し、決定した前記仮位置を複数の前記演奏位置に分け、前記演奏位置を決定することを特徴とする
   カラオケ用プログラム。