JP6634857B2 - 楽曲演奏装置、楽曲演奏用プログラム及び楽曲演奏方法 - Google Patents

Description

本発明は、演奏情報に基づいて楽曲の演奏を行う楽曲演奏装置、楽曲演奏用プログラム及び楽曲演奏方法に関する。

演奏情報に基づいて演奏を行う楽曲演奏装置は、演奏情報の記憶容量も抑えられるため、多数の楽曲を取り扱うカラオケ、あるいは、インターネットの楽曲配信において好適である。このような楽曲演奏装置では、演奏される演奏音に立体感を持たせるため、通常、２以上のスピーカーを使用して音響出力することが通常である。左右２つのスピーカーを使用した場合、右スピーカー、左スピーカーには、楽曲情報で予め割り当てられた演奏音が音響出力される。

特許文献１には、楽曲データに含まれるベロシティ値（音の強弱）をユーザーと仮想音源位置との長短に変換する遠近効果付加効果を行うことで、立体音響効果を有する楽曲データに変換する装置が開示されている。

特開２００７−１５８９８５号公報

ところで、カラオケ装置が設置されているカラオケボックスやナイト店では、歌唱するためのステージが設けられている場合がある。このようなステージ上で歌唱する際は、プロの歌手のコンサートのように、歌手がバックバンドを背後に歌唱しているような臨場感を形成することが好ましい。しかしながら、従来は、２つのスピーカーで音響出力することが通常であって、音響面については臨場感が十分にある状況ではなかった。特許文献１に開示される装置は、左右の２チャンネルによる立体音響効果であるため、やはり臨場感を形成するには乏しいものであった。

本発明はカラオケを行うステージ等において、複数のスピーカーから各チャンネルが音像定位した臨場感のある音響出力を行うことを目的としている。また、カラオケ装置で使用する既存の楽曲数は膨大な数であって、各楽曲に各チャンネルを複数のスピーカーに割り当てる作業を行うことは困難である。本発明ではこのような加工を伴うことなく、既存の演奏情報をそのまま使用して音像定位させることを目的とするものである。また、実際に音響出力させるスピーカーの配置は、使用する場所によって異なることが予想される。本発明は、このようにスピーカーの配置が異なる場合であっても、適切に音像定位させることを目的としている。

そのため、本発明は以下の構成を採用したことを特徴としている。
演奏音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏を行う楽曲演奏装置であって、
各前記チャンネルは、演奏音に効果を付与する効果付与情報を含み、
前記チャンネルに含まれる効果付与情報に基づいて、前記チャンネルの音像定位位置を決定する位置決定処理と、
各前記チャンネルについて決定した前記音像定位位置と、演奏音の出力先となる複数のスピーカーの位置に基づいて、各前記チャンネルで形成される演奏音の音量を１もしくは複数の前記スピーカーに割り当てる割り当て処理と、
前記演奏情報に基づいて演奏を行い、前記割り当て処理で前記スピーカーに割り当てられた各前記チャンネルの音量で音響出力する演奏処理と、を実行し、
前記効果付与情報は、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を含むことを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記位置決定処理は、前記効果付与情報の遅延量に応じた奥行き位置を有する音像定位位置を決定することを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記割り当て処理で使用する複数のスピーカーの位置を指定可能とすることを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記演奏処理は、前記効果付与情報に基づく効果を低減、もしくは、無効として演奏情報に基づく演奏を行うことを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記位置決定処理は、１つの前記チャンネルに対して複数の前記音像定位位置を決定することを特徴とする。

さらに本発明に係る楽曲演奏装置において、
前記位置決定処理は、楽曲の予約後であって、前記演奏処理の前に実行されることを特徴とする。

また本発明に係る楽曲演奏用プログラムは、
演奏音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏可能な情報処理装置で実行可能な楽曲演奏用プログラムであって、
各前記チャンネルは、演奏音に効果を付与する効果付与情報を含み、
前記チャンネルに含まれる効果付与情報に基づいて、前記チャンネルの音像定位位置を決定する位置決定処理と、
各前記チャンネルについて決定した前記音像定位位置と、演奏音の出力先となる複数のスピーカーの位置に基づいて、各前記チャンネルで形成される演奏音の音量を１もしくは複数の前記スピーカーに割り当てる割り当て処理と、
前記演奏情報に基づいて演奏を行い、前記割り当て処理で前記スピーカーに割り当てられた各前記チャンネルの音量で音響出力する演奏処理と、を実行し、
前記効果付与情報は、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を含むことを特徴とする。

また本発明に係る楽曲演奏方法は、
演奏音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏を行う楽曲演奏方法であって、
各前記チャンネルは、演奏音に効果を付与する効果付与情報を含み、
前記チャンネルに含まれる効果付与情報に基づいて、前記チャンネルの音像定位位置を決定する位置決定手段と、
各前記チャンネルについて決定した前記音像定位位置と、演奏音の出力先となる複数のスピーカーの位置に基づいて、各前記チャンネルで形成される演奏音の音量を１もしくは複数の前記スピーカーに割り当てる割り当て手段と、
前記演奏情報に基づいて演奏を行い、前記割り当て手段で前記スピーカーに割り当てられた各前記チャンネルの音量で音響出力する演奏手段と、を有し、
前記効果付与情報は、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を含むことを特徴とする。

本発明に係る楽曲演奏装置、楽曲演奏用プログラム、及び、楽曲演奏方法によれば、演奏情報中の各チャンネルに含まれる効果付与情報に基づいて、カラオケボックス等に配置されている複数のスピーカーに対し、各チャンネルで形成される演奏音の音量を割り当てることで、各チャンネルが音像定位した臨場感のある演奏を行うことが可能となる。また、既存の演奏情報を加工することなく使用できるため、カラオケ装置等、多数の楽曲を演奏する楽曲演奏装置において好適である。

さらに本発明によれば、音像定位位置を決定する情報として、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を使用することで、演奏音に即した適切な音像定位位置とすることが可能となる。

さらに本発明によれば、効果付与情報の遅延量に応じた奥行き位置を有する音像定位位置とすることで、さらに演奏音に即した適切な音像定位位置とすることが可能となる。

さらに本発明によれば、割り当て処理で使用する複数のスピーカーの位置を指定可能とすることで、予め定められている所定位置にスピーカーを配置する必要が無く、例えば、既に配置されているスピーカーの位置を指定することが可能となり、場所によるスピーカーの配置の制約にも柔軟に対応することが可能となる。

さらに本発明によれば、効果付与情報に基づく効果を低減、もしくは、無効として演奏情報に基づく演奏を行うこととしている。本発明では、複数のスピーカーに対し、各チャンネルで形成される演奏音の音量を割り当てることで、演奏音に付与する効果を実現している。したがって、演奏処理において効果付与情報に基づいて効果を付与した場合、効果が重複して付与されることが考えられる。本構成を採用することで、効果の重複度合いを低減、もしくは解消し、適切な効果とすることが可能となる。

例えば、効果付与情報の１つであるコーラスは、１つのチャンネルで複数の演奏音が奏でられているように聞かせることができる。このような場合、１のチャンネルに１の音像定位位置を割り当てると、１箇所の音像定位位置から複数の演奏者による演奏音が聞こえる不自然な状態となってしまう。本発明では、チャンネルに割り当てられている効果付与情報等を条件として、１のチャンネルに対し、コーラスを低減する、あるいは、無効にしてから複数の音像定位位置を決定することで、違和感を抑えた音像定位を実現することが可能となる。

また、本発明の位置決定処理は、楽曲の予約後であって、前記演奏処理の前に実行されることを特徴としている。カラオケ装置のような楽曲演奏装置では、数十万曲の既存の楽曲情報が存在しており、各楽曲に位置決定処理を施して演奏位置を決めることは困難である。本発明のこのような構成により、予約してから演奏されるまでの期間を有効利用して、音像定位位置を決定することが可能である。

本実施形態のカラオケシステムの構成を示す図 本実施形態の音響制御部の構成を示す図 本実施形態の楽曲情報のデータ構成を示す図 本実施形態の楽曲予約処理を示すフロー図 本実施形態の位置決定処理を示すフロー図 本実施形態の割り当て処理を示すフロー図 本実施形態の楽曲再生処理を示すフロー図 本実施形態の位置決定処理で使用する演奏情報の一部を示す例 演奏情報に基づく（Ａ）位置決定処理、（Ｂ）割り当て処理を説明するための模式図 チャンネル０１（ピアノ）について割り当て処理の詳細を説明する模式図 チャンネル０２（ギター）について割り当て処理の詳細を説明する模式図 チャンネル０５（バイオリン）について割り当て処理の詳細を説明する模式図 チャンネル０６（ハンドベル）について割り当て処理の詳細を説明する模式図 他の実施形態について、演奏情報に基づく（Ａ）位置決定処理、（Ｂ）割り当て処理を説明するための模式図

本発明は、カラオケ装置等の楽曲演奏装置に適用することが可能である。本明細書では、楽曲演奏装置としてカラオケシステム内で楽曲を演奏するカラオケ装置を例として説明する。楽曲演奏装置としては、カラオケ装置に限られるものではなく、電子楽器あるいはパーソナルコンピュータ、携帯情報端末（スマートフォン、タブレット端末等）といった各種情報処理装置で実行可能な楽曲演奏用プログラムに適用することも可能である。また、楽曲演奏方法についても本発明の範疇である。

図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。なお、図１に示す例では、１台のカラオケ装置２に対して、リモコン装置１ａとリモコン装置１ｂ、２台のリモコン装置１が使用されている例である。これらリモコン装置１ａ、１ｂの構成は同一であるため、リモコン装置１として説明を行う。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。

カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響制御部２５を備えている。また、カラオケ装置２は、ユーザーからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されるモニタ４１以外に、タッチパネルモニタ３３に対して各種情報を表示することを可能としている。タッチパネルモニタ３３は映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。このタッチパネルモニタ３３は、カラオケ装置２の操作部、あるいは、リモコン装置１のタッチパネルモニタ１１などと同様、入力部として機能する。ユーザーは、タッチパネルモニタ３３にて楽曲を選択することで、直接カラオケ装置２に予約をさせるなど、カラオケ装置２に対する各種操作を行うことが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を備えて構成される。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。ユーザーの操作により、リモコン装置１などの入力部で指定された予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞再生処理とが同期して実行される処理である。

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、マイクロホン４４ａ、４４ｂから入力される歌唱音声と一緒に複数のスピーカー４２ａ〜４２ｇから放音される。歌詞再生処理は、楽曲情報に含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

図２は、本実施形態の音響制御部２５の構成を示した図である。音響制御部２５は、演奏情報に基づいて演奏音を形成し、複数（本実施形態では８個）のスピーカー４２ａ〜４２ｇに出力する。本実施形態では、演奏音を形成する手段として、電子楽器においてよく知られているＭＩＤＩ音源２５１を使用している。ＭＩＤＩ音源２５１は、複数のチャンネル（チャンネル０１〜チャンネル１６）について演奏音を出力可能としている。ＭＩＤＩ音源２５１から出力されたチャンネル毎の演奏音は、ミキサー２５２においてスピーカー４２ａ〜４２ｈに音量分配される。本実施形態は、カラオケ装置２であるため、歌唱用に設けられたマイクロホン４４ａ、４４ｂに入力された歌唱音声も、ミキサー２５２で音量分配された後、スピーカー４２ａ〜４２ｇから出力される。

本実施形態の音響制御部２５は、このように、複数のスピーカー４２ａ〜４２ｇを使用して放音することが可能となっており、チャンネル毎の演奏音を適切に音像定位させ、臨場感のある演奏を行うことが可能となっている。なお、音像定位を正確に行う上で、スピーカー４２ａ〜４２ｇの数は多いほど多様な音像定位を実現することができるが、少なくとも２個以上であればよい。特に本実施形態では、聴取者に対する奥行き感を形成することが重要であるため、複数のスピーカー４２ａ〜４２ｇの少なくとも２個は、聴取側の奥行き方向（Ｚ軸方向）に配置されていることが好ましい。

一方、リモコン装置１は、歌唱する楽曲を選択する選曲処理を実行可能とし、予約情報などカラオケ装置２に対して各種指示を送信可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信し、ユーザーに対して各種情報を提供することも可能である。本実施形態では、ユーザーから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。

さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニタ１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニタ１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信される。

このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１に表示することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能とされている。

図３は、カラオケ装置２で使用する楽曲情報のデータ構成を示す図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏等、各種処理を実行する実情報を含んで構成される。メタ情報には、楽曲情報を識別するための楽曲識別情報、楽曲名、歌手名、作詞者名、作曲者名等が含まれている。

楽曲情報の実情報には、演奏情報、歌詞情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づく電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等で構成された情報であって、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成することも可能である。

図３には、演奏情報の詳細が記載されている。演奏情報は複数（図３の例では１６個のチャンネル）のチャンネルを含んで構成されている。各チャンネルは、プログラムナンバーで規定される音色に割り当てられている。各チャンネルは、効果付与情報、楽譜情報を含んで構成されている。効果付与情報は、チャンネル中の楽譜情報に基づいて演奏された演奏音に音響効果を付与するための情報である。効果付与情報には、音の左右定位を決定するパンポット、残響量を決定するリバーブ、複数の楽器を略同時に鳴らしたように聞こえる効果を付与するコーラス、演奏音に歪みをかけるディストーション等が含まれる。図３では、後で説明する位置決定処理に使用するパンポット、リバーブについて、その数値を示している。楽譜情報は、ＭＩＤＩ規格に規定されるノートオン情報、ノートオフ情報等で構成された情報であって、この楽譜情報に基づき演奏を行うことで、各チャンネルの音色に関する演奏音が形成される。楽譜情報に基づき形成された演奏音は、効果付与情報に基づく音響効果が付与されスピーカー４２ａ〜４２ｇへと出力される。本実施形態では、効果付与情報中のパンポット、リバーブ等を使用して、各チャンネルについて形成された演奏音の音像定位位置を決定する。なお、音像定位位置を決定するためには、各種効果付与情報を使用することが可能であるが、音像定位位置の奥行き位置（聴取位置から遠ざかる方向に関する位置）には、リバーブ等、演奏音を遅延させる遅延系の効果付与情報を使用することが好ましい。

図４は、本実施形態の楽曲予約処理を示すフロー図である。ユーザーは、リモコン装置１、あるいは、タッチパネルモニタ３３を操作することで、歌唱したい楽曲の予約を行う。例えば、リモコン装置１で楽曲の予約を行った場合、楽曲に対応する楽曲識別情報を含んだ予約情報が、カラオケ装置２に送信される。予約情報を受信したカラオケ装置２は、新規予約が行われたと判断（Ｓ１０１：Ｙｅｓ）して、位置決定処理（Ｓ２００）、割り当て処理（Ｓ３００）を実行する。これらの処理は、楽曲を演奏する際、演奏された各チャンネルの演奏音を複数のスピーカー４２ａ〜４２ｈに音像定位させるための前処理である。

従来の電子楽器における音像定位は、パンポットのみを使用した左右の音像定位が用いられることが通常である。また、複数のスピーカーを使用して音像定位させる場合には、各スピーカーで出力する音を演奏情報に割り当てておく必要があった。本実施形態では、演奏情報中、演奏情報の各チャンネルに含まれる効果情報を使用して、音像定位が事前に割り当てられていない場合であっても、各チャンネルを適切に音像定位させて、臨場感のある演奏を行うことを可能としている。また、位置決定処理（Ｓ２００）、割り当て処理（Ｓ３００）は、楽曲が予約されてから再生開始までの期間に実行することで、音像定位が事前に割り当てられていない楽曲に対しても、楽曲再生開始時には、楽曲に対応した形態で音像定位させることが可能である。位置決定処理（Ｓ２００）、割り当て処理（Ｓ３００）が完了すると、予約情報を予約テーブルに登録（Ｓ１０２）して、新規予約を監視する状態（Ｓ１０１）に戻る。

では、各楽曲を複数のスピーカー４２ａ〜４２ｈに音像定位させる位置決定処理（Ｓ２００）、並びに、割り当て処理（Ｓ３００）について説明する。図８は、本実施形態の位置決定処理（Ｓ２００）で使用する演奏情報の一部を示す例である。この例では、演奏情報は、５つのチャンネルを有して構成されている。各チャンネルには、プログラムナンバーで規定された音色が割り当てられている。また、各チャンネルには、パンポット、リバーブ、コーラスについて規定した効果付与情報が規定されている。本実施形態の位置決定処理（Ｓ２００）は、効果付与情報中のパンポット、リバーブ、コーラスを使用して、音像定位位置を決定する。パンポットは、音響効果中、左右の音像定位を決める効果である。本実施形態では１〜１２８の値で規定され、最も左に定位する場合を「１」、最も右に定位する場合を「１２８」、真ん中に定位する場合を「６４」として規定している。リバーブは、演奏音に残響を付与する効果であり、０以上の数値で規定されている。数値が大きくなるほど、演奏音に付与する残響の量が大きい。コーラスは、演奏音を時間的に微妙にずらすことで、空間的な広がりを有する効果である。０以上の数値で規定され、数値が大きくなるほど、演奏音をずらす時間的値が大きくなる。

本実施形態の位置決定処理（Ｓ２００）では、まず、（Ｓ２０１）において、楽曲情報から各チャンネルに効果付与情報としてパンポット、リバーブ、コーラスの値を抽出する。次に、各チャンネルに規定されたパンポットに基づき音像定位位置の左右位置を決定し、各チャンネルに規定されたリバーブに基づき音像定位位置の奥行き位置を決定する（Ｓ２０２）。また、コーラスが付与されている（コーラスの値が０以上）チャンネルについては、領域を有する音像定位位置を決定する。これはコーラスが付与されることで、広がり（ある程度の領域）のある演奏音となることを理由としている。

図９（Ａ）は、図８に示す演奏情報の例に基づいて決定した音像定位位置の配置例である。図中、パンポットを横軸（Ｘ軸）、リバーブをＺ軸に取り、各チャンネル（音色）について音像定位位置を割り当てている。また、Ｘ軸は演奏音が演奏されるステージの左右方向を、Ｚ軸はステージの奥行き方向に対応している。例えば、チャンネル０１（ピアノ）の場合、パンポットは「０１８」、リバーブは「０」であるため、左右方向（Ｘ方向）における音像定位位置は、中央位置よりも左寄りであって、奥行き位置は最前位置となる。また、チャンネル１０（ドラム）の場合は、パンポットは「０６４」、リバーブは「４５」であるため、音像定位位置は中央位置であって、奥行き位置は奥側に位置することになる。つまり、リバーブの値の大小は、音像定位の奥行き位置を決定する。

このように本実施形態では、パンポットに基づき音像定位位置の左右位置を決定し、リバーブに基づき音像定位位置の奥行き位置を決定することで、各チャンネルの演奏音を適切に音像定位させることが可能となっている。さらに本実施形態では、コーラスが付与されたチャンネルについては、音像定位位置に領域を持たせることとしている。図８中、これに相当するのが、チャンネル０５（バイオリン）と、チャンネル０６（ハンドベル）である。これらのチャンネルについては、音像定位位置にコーラスの値の大きさに応じた大きさの領域を持たせている。図９（Ａ）に示されるように、チャンネル０５（バイオリン）、チャンネル０６（ハンドベル）については、パンポット、リバーブで決定された位置を中心に有する矩形領域が音像定位位置となる。この矩形領域の大きさは、コーラスの値に応じて大きくなる。また、矩形領域の形（縦、横の比）は、想定されているスピーカー４２ａ〜４２ｇの配置によって定められる。

位置決定処理（Ｓ２００）にて、各チャンネルの音像定位位置が決定された後、音像定位位置に基づいて、各スピーカー４２ａ〜４２ｈに対して各チャンネルの演奏音の音量を割り当てる割り当て処理（Ｓ３００）を実行する。図９（Ｂ）は、実際のスピーカー４２ａの配置上に、図９（Ａ）で決定した音像定位位置を重畳した模式図である。本実施形態では、後列に４個のスピーカー４２ａ〜４２ｄを配置し、前列に４個のスピーカー４２ｅ〜４２ｈを配置した４×２のマトリックスによる配置形態となっている。カラオケ装置２は、このスピーカー４２ａ〜４２ｈの配置を配置情報として記憶しており、割り当て処理（Ｓ３００）では、まず、配置情報を読み出す（Ｓ３０１）。次に、位置決定処理（Ｓ２００）で決定した各チャンネルの音像定位位置と、読み出した配置情報に基づいて、各スピーカー４２ａ〜４２ｈにおけるチャンネルの音量を決定する（Ｓ３０２）。

図１０（Ａ）は、図９（Ｂ）の例中、チャンネル０１（ピアノ）について、スピーカー４２ａ〜４２ｈへの割り当て処理（Ｓ３００）を説明するための模式図である。チャンネル０１（ピアノ）については、スピーカー４２ｅ〜４２ｈの配置列上に音像定位位置が位置しているため、音像定位位置に近い２つのスピーカー４２ｅ、４２ｆを使用して演奏音が出力される。他のスピーカー４２ａ〜４２ｄ、４２ｇ、４２ｈは、チャンネル０１（ピアノ）の演奏音を出力しない（音量は０となる）。図１０（Ａ）中、実線で示すスピーカー４２ｅ、４２ｆは音量が割り当てられたスピーカーであり、破線で示すスピーカー４２ａ〜４２ｄ、４２ｇ、４２ｈは音量が０となるスピーカーを示している（他の図も同様）。

図１０（Ｂ）は、２つのスピーカー４２ｅ、４２ｆに対する音量割り当てを説明するための模式図である。２つのスピーカー４２ｅ、４２ｆに対する音量割り当ては、特性曲線を用いて割り当てられる。左に位置するスピーカー４２ｅについては、右下がりの特性曲線Ｌｌが使用され、右に位置するスピーカー４２ｅについては、左下がりの特性曲線Ｌｒが使用される。チャンネル０１（ピアノ）の音像定位位置をこの特性曲線上に降ろしたときの値が、スピーカー４２ｅ、４２ｆに対する音量であって、スピーカー４２ｅに対しては音量Ｖｌが、スピーカー４２ｆに対しては音量Ｖｒとして決定される。チャンネル０１（ピアノ）の音像定位位置は両スピーカー４２ｅ、４２ｆの中間よりもやや左側（スピーカー４２ｅ側）に位置しているため、スピーカー４２ｅの音量Ｖｌの方がスピーカー４２ｆの音量Ｖｒよりもやや大きい値となっている。スピーカー４２ｅ、４２ｆに対してこのような音量配分を行うことで、位置決定処理（Ｓ２００）で決定した音像定位位置にチャンネル０１（ピアノ）の演奏音を音像定位させることが可能となる。

ところで本実施形態のように、位置の異なる複数のスピーカー４２ａ〜４２ｈに演奏音の音量を割り当てた場合、スピーカー４２ａ〜４２ｈの配置によって、演奏音に効果が実現されることになる。したがって、演奏情報に含まれる効果付与情報をそのまま付与した場合、効果付与情報の種類によっては音像定位位置の効果が重複して付与されることになる。本実施形態の割り当て処理（Ｓ３００）では、効果付与情報の種類にリバーブが含まれている（奥行き方向の成分含まれている）、つまり、リバーブの値が０でないときは、効果付与情報を調整する（Ｓ３０３）ことで、重複することになる効果の重複度合いを低減、もしくは、無効することとしている。まず、効果付与情報の種類にリバーブが含まれない、リバーブの値が０である場合を、図１０を用いて説明する。図１０（Ａ）において、ＣＨ（以下、チャンネル）０１（ピアノ）については、パンポットのみが付与されているので、リバーブの値は０である（リバーブが付与されていない事に相当）、奥行き方向の成分は含まれていないと判断する。このため、チャンネル０１（ピアノ）の位置はスピーカー４２ｅ〜４２ｈの配置列上で、４２ｅと４２ｆの間にあり、奥行き方向には位置していない。よって、演奏時にはこのパンポットを使用することなく、図１０（Ｂ）に示す２つのスピーカー４２ｅ、４２ｆに対する音量割り当てで実現する。チャンネル０１（ピアノ）に対する効果付与情報は、パンポットのみであるため、スピーカー４２ｅとスピーカー４２ｆに対する音量割り当てによって、パンポットで指定された左右の音像定位が実現している。割り当て処理（Ｓ３００）における効果付与情報の調整（Ｓ３０３）は、複数のスピーカー４２ａ〜４２ｈの音量割り当てと、効果付与情報を使用した演奏による効果の重複を避ける、あるいは低減するため、パンポット以外の効果付与情報中のリバーブやコーラスに対して行われることになるが、チャンネル０１（ピアノ）は、パンポットのみであるため、効果付与情報の調整は行われない。

次に、効果付与情報の種類に奥行き成分として使用するリバーブが含まれている（リバーブの値が０でない）場合を、図１１を用いて説明する。図１１（Ａ）は、図９（Ｂ）の例中、チャンネル０２（ギター）について、スピーカー４２ａ〜４２ｈへの割り当て処理（Ｓ３００）を説明するための模式図である。チャンネル０２（ギター）については、スピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇで囲まれた範囲内に音像定位位置が位置しているため、これら４つのスピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇを使用して演奏音が出力される。他のスピーカー４２ａ、４２ｄ、４２ｅ、４２ｈは、チャンネル０２（ギター）の演奏音を出力しない（音量は０となる）。

図１１（Ｂ）は、４つのスピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇに対する音量割り当てを説明するための模式図である。この場合も図１０（Ｂ）と同様、特性曲線を用いて割り当てられる。ただし、４つのスピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇを使用するため、左右の音量割合と前後の音量割合をそれぞれ求めることで、各スピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇに対する音量割り当てが行われる。左右の音量割合の決定については、図１０（Ｂ）と同様であって、左列については、右下がりの特性曲線Ｌｌが使用され、右列については、左下がりの特性曲線Ｌｒが使用される。これら特性曲線Ｌｌ、Ｌｒを使用することで、左列の音量はＶｌ、右列の音量はＶｒと割り当てられる。一方、前後の音量割合の決定については、前列については特性曲線Ｌｆが使用され、後列については特性曲線Ｌｕが使用される。これら特性曲線Ｌｆ、Ｌｕを使用することで、前列の音量はＶｆ、後列の音量はＶｕと割り当てられる。

左右の音割り当て、前後の音量割り当てに基づいて、４つのスピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇに対する音量割り当てを算出することが可能である。具体的には、以下の式を使用している。
スピーカー４２ｆ（左前）の音量割り当て＝左列の音量Ｖｌ＊前列の音量Ｖｆ
スピーカー４２ｇ（右前）の音量割り当て＝右列の音量Ｖｒ＊前列の音量Ｖｆ
スピーカー４２ｂ（左後）の音量割り当て＝左列の音量Ｖｌ＊後列の音量Ｖｕ
スピーカー４２ｃ（右後）の音量割り当て＝右列の音量Ｖｒ＊後列の音量Ｖｕ

チャンネル０２（ギター）についても音量割り当てによる効果の重複を抑制するため、効果付与情報の調整が行われる（Ｓ３０３）。チャンネル０２（ギター）に対しては、２つの効果（パンポット、リバーブ）が付与されているが、演奏時にはこのパンポットを使用することなく、４つのスピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇに対する音量割り当てによって実現する。また、リバーブについても４つのスピーカー４２ｂ、４２ｃ、４２ｆ、４２ｇの配置（特に、前列のスピーカー４２ｆ、４２ｇと、後列のスピーカー４２ｂ、４２ｃ間に設けられている距離等）によっても付与されるため、演奏時にはリバーブを使用しない、あるいは、リバーブをかける量（リバーブの値）を減じることで、演奏音に効果が重複してかけられることを抑制している。

図１２（Ａ）は、図９（Ｂ）の例中、チャンネル０５（バイオリン）について、スピーカー４２ａ〜４２ｈへの割り当て処理（Ｓ３００）を説明するための模式図である。チャンネル０５（バイオリン）については、スピーカー４２ａ、４２ｂ、４２ｅ、４２ｆで囲まれた範囲内に音像定位位置が位置しているため、これら４つのスピーカー４２ａ、４２ｂ、４２ｅ、４２ｆを使用して演奏音が出力される。他のスピーカー４２ｃ、４２ｄ、４２ｇ、４２ｈは、チャンネル０５（バイオリン）の演奏音を出力しない（音量は０となる）。

図１２（Ｂ）は、４つのスピーカー４２ａ、４２ｂ、４２ｅ、４２ｆに対する音量割り当てを説明するための模式図である。本実施形態では、チャンネル０５（バイオリン）の音像定位位置は矩形領域としている。４つのスピーカー４２ａ、４２ｂ、４２ｅ、４２ｆに対しては、この矩形領域の頂点から各スピーカー４２ａ、４２ｂ、４２ｅ、４２ｆまでの距離Ｄａ、Ｄｂ、Ｄｅ、Ｄｆを使用して割り当てられる。例えば、スピーカー４２ａに対しては、矩形領域の４つの頂点中、スピーカー４２ａまでの距離が最も近い矩形領域の左上頂点を選択肢、スピーカー４２ａから矩形領域の左上頂点までの距離Ｄａに応じて、チャンネル０５（バイオリン）に対する音量の割り当てが行われる。他のスピーカー４２ｂ、４２ｅ、４２ｆに対しても同様に距離Ｄｂ、Ｄｅ、Ｄｆが決定される。そして、スピーカー４２ａ、４２ｂ、４２ｅ、４２ｆに対する音量割り当ては、例えば、各距離Ｄａ、Ｄｂ、Ｄｅ、Ｄｆが長くなるほど、音量が小さくなるように割り当てられる。

このように本実施形態では、効果付与情報中、空間的な広がりを有する効果（本例では、コーラス）については、音像定位位置を領域（この例では矩形形状）として決定し、当該領域に基づいてスピーカー４２ａ、４２ｂ、４２ｅ、４２ｆに音量を割り当てることとしている。このような構成により、音像定位位置としての領域に、チャンネル０５（バイオリン）の演奏音を音像定位させることを可能としている。なお、スピーカー４２ａ、４２ｂ、４２ｅ、４２ｆに対する音量割り当てに基づき、チャンネル０５（バイオリン）に付与されていた効果付与情報（リバーブ、コーラス）が調整（低減または無効）される（Ｓ３０３）。楽曲の演奏を行う楽曲再生処理では、調整された効果付与情報を使用して演奏情報の演奏が行われる。

図１３（Ａ）は、図９（Ｂ）の例中、チャンネル０６（ハンドベル）について、スピーカー４２ａ〜４２ｈへの割り当て処理（Ｓ３００）を説明するための模式図である。チャンネル０６（ハンドベル）については、チャンネル０５（バイオリン）の場合と同様、効果付与情報中にコーラスが規定されているため、音像定位位置が領域を有する形態として決定されている。この場合、領域としての音像定位位置に近い３つのスピーカー４２ｂ、４２ｃ、４２ｄを使用して演奏音が出力される。他のスピーカー４２ａ、４２ｅ、４２ｆ、４２ｇ、４２ｈは、チャンネル０６（ハンドベル）の演奏音を出力しない（音量は０となる）。

図１２（Ｂ）は、３つのスピーカー４２ｂ、４２ｃ、４２ｄに対する音量割り当てを説明するための模式図である。図１２の場合と同様、各スピーカー４２ｂ、４２ｃ、４２ｄに対して、最も近い矩形領域の頂点が対応付けられる。例えば、スピーカー４２ｂに対しては、矩形領域の左下頂点が対応付けられる。そして、各スピーカー４２ｂ、４２ｃ、４２ｄから、それに対応付けられた頂点までの距離Ｄｂ、Ｄｃ、Ｄｄに基づき音量が割り当てられる。このチャンネル０６（ハンドベル）の場合、スピーカー４２ａ〜４２ｈの配置範囲からＺ軸方向に外れて位置している。そのため、この外れた分をスピーカーの配置による効果で賄いきれないことが考えられる。したがって、効果付与情報の調整（Ｓ３０３）において、矩形領域がスピーカー４２ａ〜４２ｈの配置範囲から外れたＺ軸方向の量Ｄｚ（例えば、スピーカー４２ｂ〜４２ｄで形成する線分から、矩形中心までのＺ軸方向の量）を使用してリバーブの値を調整することが考えられる。このように、本実施形態では、複数のスピーカー４２ａ〜４２ｈの配置によって、演奏音に対する効果を実現すると共に、配置によって賄いきれない効果については、効果付与情報を使用して演奏音に効果を付与することで、演奏音を適切に音像定位させている。

以上、４つのチャンネルについて、位置決定処理（Ｓ２００）と割り当て処理（Ｓ３００）を説明したが、位置決定処理（Ｓ２００）で決定された各チャンネルに対する音量割り当て、並びに、Ｓ３０３で調整された効果付与情報は、予約情報に書き込まれ、楽曲再生処理で使用される。

図７は、本実施形態の楽曲再生処理を示すフロー図である。リモコン装置１から送信された予約情報は、カラオケ装置２のメモリ２７で管理する予約テーブルに順次記憶される。カラオケ装置２は、予約テーブルのチェックを行い（Ｓ４０１）、次に再生すべき再生の楽曲があると判定した場合（Ｓ４０２：Ｙｅｓ）、楽曲情報の再生を開始する（Ｓ４０３）。楽曲情報の再生期間中、ＭＩＤＩ音源２５１は、Ｓ３０３で調整された効果付与情報を使用して演奏情報を演奏し、ミキサー２５２は、Ｓ３０２で複数のスピーカー４２ａ〜４２ｈに割り当てられた音量で各チャンネルの演奏音を出力することで、音像定位を伴った臨場感のある演奏を行う。

以上、８つのスピーカー４２ａ〜４２ｈがマトリックス状に配置された実施形態について説明を行ったが、本発明では、スピーカーの他の配置についても適用することができる。図９（Ｂ）などで説明したスピーカー４２ａ〜４２ｈの配置は、各スピーカー４２ａ〜４２ｈを所定間隔で配置すればよいため、実際の配置を行うことは容易である。しかしながら、実際には配置する場所の形状、あるいは、スピーカーの設置可能場所といった制約を受けることがあり、図９（Ｂ）のように配置できないことが考えられる。そのため、予めカラオケ装置２側にて設定されている配置情報を使用することに代え、ユーザーがスピーカーの配置情報を、実際の配置を参照して入力することとしてもよい。

また、前述の実施形態では、位置決定処理（Ｓ２００）で決定した音像定位位置を、割り当て処理（Ｓ３００）に正確に再現しているが、割り当て処理（Ｓ３００）の形態は適宜形態を採用することが可能である。図１４は、他の実施形態について、演奏情報に基づく（Ａ）位置決定処理、（Ｂ）割り当て処理を説明するための模式図である。前述の実施形態と同様、位置決定処理（Ｓ２００）で決定した各チャンネルの音像定位位置に基づいて、複数のスピーカー４２ａ〜４２ｅに対する割り当て処理（Ｓ３００）が実行される。この場合、音像定位位置に最も近い１のスピーカー４２ａ〜４２ｅに音量を割り当てることとしている。例えば、チャンネル０１（ベース）の演奏音は、その音像定位位置に最も近いスピーカー４２ａから出力される。したがって、各スピーカー４２ａ〜４２ｅは、１つのチャンネルに対応するため、各チャンネルの演奏による演奏音が各スピーカー４２ａ〜４２ｅから出力され、演奏音が明確に分離した音像定位で聴取させることが可能となる。なお、１のスピーカーに対して複数のチャンネルの音像定位位置が重複する場合、使用していない他のスピーカーにチャンネルを振り分けることとしてもよい。あるいは、１のスピーカーで複数のチャンネルの演奏音を重複して出力する形態も考えられる。

本発明は、以上説明した実施形態以外に変形例を採用することも可能である。以下に変形例について説明する。

（変形例１）
歌唱を行うカラオケ装置２では、演奏情報中のチャンネルには歌唱する旋律（主旋律）のために設けられたものがある。この主旋律のためのチャンネルを再生することで、歌唱時のガイドとして使用することが可能である。マイクロホン４４ａ、４４ｂから入力された歌唱音声は、この旋律（主旋律）を形成するチャンネルに付与されている効果付与情報を使用して、音像定位位置を決定し、各スピーカー４２ａ〜４２ｈに音量を割り当ててもよい。ユーザーの歌唱音声に対しても適切に音像定位させることが可能となる。なお、本実施形態では、２本のマイクロホン４４ａ、４４ｂを使用しているため、例えば、デュエットのような第１主旋律、第２主旋律のそれぞれをマイクロホン４４ａ、４４ｂの歌唱音声に割り当てて音像定位させることが可能である。

（変形例２）
位置決定処理（Ｓ２００）では、演奏情報中の各チャンネルに対して１の音像定位位置を決定しているが、１のチャンネルに対して複数の音像定位位置を決定することとしてもよい。例えば、効果付与情報の１つであるコーラスは、１つのチャンネルで複数の演奏音が奏でられているように聞かせることができる。例えば、コーラスが付与されているチャンネルに対しては、コーラスを低減、あるいは、無効にしてから複数の音像定位位置を決定することとしてもよい。複数の音像定位位置に基づいてスピーカーに音量を割り当てることで、スピーカー間で生じる遅延により、コーラスと同様の効果を奏することが可能となる。なお、コーラスの値に応じて、コーラスを低減、あるいは、無効にしてから複数の音像定位位置間の距離を変化させることで、演奏情報に付与されていたコーラスを、より正確に再現することが可能である。

（変形例３）
また、本実施形態では、１つの楽曲中、チャンネルに割り当てられた効果付与情報を固定としているが、演奏位置を決めるための情報（本実施形態では、パン、リバーブ等）は、演奏の進行に伴い変更される場合がある。このような場合には、演奏の進行に伴って音像定位位置を移動させることとしてもよい。この場合、位置決定処理（Ｓ２００）は、音像定位位置を時系列の情報として決定することになる。

１（１ａ、１ｂ）：リモコン装置 ２５：音響制御部
２：カラオケ装置 ２７：メモリ
５：サーバー装置 ２８：ビデオＲＡＭ
１１：タッチパネルモニタ ２９：映像再生部
１１ａ：表示部 ３０：ＣＰＵ
１１ｂ：タッチパネル ３１：映像制御部
１２：ビデオＲＡＭ ３２：ハードディスク
１３：映像制御部 ３３：タッチパネルモニタ
１４：メモリ ３４：タッチパネル
１５：ＣＰＵ ３５：表示部
１６：無線ＬＡＮ通信部 ４１：モニタ
１７：操作部 ４２ａ〜４２ｈ：スピーカー
１８：操作処理部 ４４ａ、４４ｂ：マイクロホン
２１：操作部 １１０：アクセスポイント
２２：操作処理部 ２５１：ＭＩＤＩ音源
２４：ＬＡＮ通信部 ２５２：ミキサー

Claims (8)

1. 演奏音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏を行う楽曲演奏装置であって、
   各前記チャンネルは、演奏音に効果を付与する効果付与情報を含み、
   前記チャンネルに含まれる効果付与情報に基づいて、前記チャンネルの音像定位位置を決定する位置決定処理と、
   各前記チャンネルについて決定した前記音像定位位置と、演奏音の出力先となる複数のスピーカーの位置に基づいて、各前記チャンネルで形成される演奏音の音量を１もしくは複数の前記スピーカーに割り当てる割り当て処理と、
   前記演奏情報に基づいて演奏を行い、前記割り当て処理で前記スピーカーに割り当てられた各前記チャンネルの音量で音響出力する演奏処理と、を実行し、
   前記効果付与情報は、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を含むことを特徴とする
   楽曲演奏装置。
2. 前記位置決定処理は、前記効果付与情報の遅延量に応じた奥行き位置を有する音像定位位置を決定することを特徴とする
   請求項１に記載の楽曲演奏装置。
3. 前記割り当て処理で使用する複数のスピーカーの位置を指定可能とすることを特徴とする
   請求項１または請求項２に記載の楽曲演奏装置。
4. 前記演奏処理は、前記効果付与情報に基づく効果を低減、もしくは、無効として演奏情報に基づく演奏を行うことを特徴とする
   請求項１から請求項３の何れか１項に記載の楽曲演奏装置。
5. 前記位置決定処理は、１つの前記チャンネルに対して複数の前記音像定位位置を決定することを特徴とする
   請求項１から請求項４の何れか１項に記載の楽曲演奏装置。
6. 前記位置決定処理は、楽曲の予約後であって、前記演奏処理の前に実行されることを特徴とする
   請求項１から請求項５の何れか１項に記載の楽曲演奏装置。
7. 演奏音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏可能な情報処理装置で実行可能な楽曲演奏用プログラムであって、
   各前記チャンネルは、演奏音に効果を付与する効果付与情報を含み、
   前記チャンネルに含まれる効果付与情報に基づいて、前記チャンネルの音像定位位置を決定する位置決定処理と、
   各前記チャンネルについて決定した前記音像定位位置と、演奏音の出力先となる複数のスピーカーの位置に基づいて、各前記チャンネルで形成される演奏音の音量を１もしくは複数の前記スピーカーに割り当てる割り当て処理と、
   前記演奏情報に基づいて演奏を行い、前記割り当て処理で前記スピーカーに割り当てられた各前記チャンネルの音量で音響出力する演奏処理と、を実行し、
   前記効果付与情報は、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を含むことを特徴とする
   楽曲演奏用プログラム。
8. 演奏音を形成するための複数のチャンネルを含む演奏情報に基づいて演奏を行う楽曲演奏方法であって、
   各前記チャンネルは、演奏音に効果を付与する効果付与情報を含み、
   前記チャンネルに含まれる効果付与情報に基づいて、前記チャンネルの音像定位位置を決定する位置決定手段と、
   各前記チャンネルについて決定した前記音像定位位置と、演奏音の出力先となる複数のスピーカーの位置に基づいて、各前記チャンネルで形成される演奏音の音量を１もしくは複数の前記スピーカーに割り当てる割り当て手段と、
   前記演奏情報に基づいて演奏を行い、前記割り当て手段で前記スピーカーに割り当てられた各前記チャンネルの音量で音響出力する演奏手段と、を有し、
   前記効果付与情報は、遅延させることで演奏音に効果を付与する遅延系の効果付与情報を含むことを特徴とする
   楽曲演奏方法。