JP7003924B2 - 情報処理装置と情報処理方法およびプログラム - Google Patents

Description

この技術は、情報処理装置と情報処理方法およびプログラムに関し、自由視点に対応する音声のミキシングを容易に行うことができるようにする。

従来、音声のミキシングでは、ボリュームや二次元の位置情報等を用いてミキシングが行われている。例えば、特許文献１では、マイクや楽器のステージ上の配置位置をメッシュ型センサ等で検出して、位置検出結果に基づき操作テーブルの画面上にマイクや楽器のパラメータの値を変更可能なオブジェクトを表示させる。このような処理によって、マイクや楽器に各オブジェクトを直感的に対応付けてパラメータの制御が行われている。

特開２０１０－０２８６２０号公報

ところで、視点を三次元で移動可能として視点に対応した音声を生成する場合、すなわち自由聴取点の音声を生成する場合、従来のように二次元の位置情報を用いたミキシングでは、三次元の聴取点の移動に応じた音声を容易に生成することができない。

そこで、この技術では、自由聴取点に対応する音声のミキシングを容易に行うことができる情報処理装置と情報処理方法およびプログラムを提供する。

この技術の第１の側面は、
音源を割り当てた物理デバイスである音源設定部の実空間上に設けられた載置台における配置情報と、前記音源設定部からの設定パラメータ情報と、聴取点を割り当てた物理デバイスである聴取設定部の前記載置台における配置情報に基づき、前記音源のデータを用いてミキシング処理を行うミキシング処理部を備える情報処理装置にある。

この技術において、音源設定部と聴取設定部は、実空間上に設けられた載置台に載置される物理デバイスとする。音源設定部または聴取設定部は、パラメータ設定部と表示部および載置台の載置面上を移動するための配置移動部を有した構成とする。さらに、音源設定部または聴取設定部は形状変更可能な構成として、形状に応じて例えば配置情報または設定パラメータ情報を生成してもよい。載置台には、反射特性を割り当てた反射部材が載置可能に構成されてもよい。

ミキシング処理部は、音源を割り当てた音源設定部の配置情報と、音源設定部のパラメータ設定部を用いて生成した設定パラメータ情報と、聴取点を割り当てた聴取設定部の配置情報に基づき、音源のデータを用いてミキシング処理を行う。また、ミキシング処理部は、反射部材の配置情報と割り当てられている反射特性を用いてミキシング処理を行う。

ミキシング処理部は、ミキシング処理で用いた音源に対する適用パラメータ情報を音源に対する音源設定部へ送信して表示部に表示させる。また、ミキシング処理部は、音源に関連付けられているメタデータに基づき、音源設定部の配置やパラメータの設定を行う。また、ミキシング処理部は、配置情報とミキシング処理で用いた適用パラメータ情報を経過時間と共に情報記憶部に記憶する。また、ミキシング処理部は、情報記憶部に記憶されている情報を用いてミキシング処理を行う場合、音源設定部と聴取設定部を情報記憶部から取得した配置情報に対応する配置とする移動信号を音源設定部または聴取設定部へ送信して、音源設定部または聴取設定部をミキシング処理の設定時における配置とする。また、ミキシング処理部は、情報記憶部に記憶されている配置情報とパラメータ情報を用いて、配置情報とパラメータ情報が記憶されていない聴取点での配置情報とパラメータ情報を生成する。また、ミキシング処理部は、聴取点に対する音源の配置を変更する変更操作を受け付けた場合、変更操作後の配置に基づいてミキシング処理を行い、音源設定部と聴取設定部を変更操作後の配置とする移動信号を音源設定部または聴取設定部へ送信する。また、ミキシング処理部は、ミキシング処理によって生成されるミキシング音が予め設定された許容条件を満たさない場合、許容条件を満たさないことを示す通知信号を音源設定部または聴取設定部へ送信する。

ミキシング処理部は映像生成部を有しており、映像生成部は、音源設定部と前記聴取設定部の配置状況に基づき、聴取設定部に対する音源設定部の位置関係を判別して、判別結果に基づき聴取設定部に対する音源設定部の仮想空間上の位置に、音源設定部に割り当てられている音源を示すテクスチャを設けて、例えば聴取点を視点とした映像を生成する。また、映像生成部は、音源から出力される音を視覚化した映像を、音源を示すテクスチャを設けた映像の対応する音源の位置に重畳する。また、映像生成部は、音源から出力される音の反射音を視覚化した映像を、音源を示すテクスチャを設けた映像におけるミキシング処理において設定した音の反射位置に重畳する。

この技術の第２の側面は、
音源を割り当てた物理デバイスである音源設定部の実空間上に設けられた載置台におけるの配置情報と設定パラメータ情報をミキシング処理部で取得することと、
聴取点を割り当てた物理デバイスである聴取設定部の前記載置台における配置情報を前記ミキシング処理部で取得することと、
取得した前記配置情報と前記設定パラメータ情報に基づき、前記ミキシング処理部で前記音源のデータを用いてミキシング処理を行うこと
を含む情報処理方法にある。

この技術の第３の側面は、
音源のデータのミキシング処理を行うコンピュータに、
前記音源を割り当てた物理デバイスである音源設定部の実空間上に設けられた載置台における配置情報と設定パラメータ情報を取得する機能と、
聴取点を割り当てた物理デバイスである聴取設定部の前記載置台における配置情報を取得する機能と、
取得した前記配置情報と前記設定パラメータ情報に基づき、前記音源のデータを用いてミキシング処理を行う機能と
を前記コンピュータで実現させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、音源を割り当てた音源設定部の配置情報と、音源設定部からの設定パラメータ情報と、聴取点を割り当てた聴取設定部の配置情報に基づき、音源のデータを用いてミキシング処理がミキシング処理部によって行われる。自由聴取点に対応する音声のミキシングを容易に行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

情報処理装置の外観構成を例示した図である。 情報処理装置の機能構成を例示した図である。 音源設定部の構成を例示した図である。 聴取設定部の構成を例示した図である。 載置台の機能構成を例示した図である。 ミキシング処理部の機能構成を例示した図である。 ミキシング設定処理を示すフローチャートである。 ミキシングパラメータの補完処理を示すフローチャートである。 ミキシング音再生動作を示すフローチャートである。 自動配置動作を示すフローチャートである。 情報処理装置の動作例を示した図である。 音源設定部における表示部の表示例を示した図である。 聴取点が移動された場合の動作例を示した図である。 音源が移動された場合の動作例を示した図である。 音源設定部を自動配置する場合の動作例を示した図である。 空間内の音を仮想空間内で視覚的に表示した場合を例示した図である。 反射音を仮想空間内で視覚的に表示した場合を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．情報処理装置の構成
２．情報処理装置の動作
２－１．ミキシング設定動作
２－２．ミキシング音再生動作
２－３．音源設定部の自動配置動作
３．情報処理装置の他の構成と動作
４．情報処理装置の動作例

＜１．情報処理装置の構成＞
図１は、情報処理装置の外観構成を例示しており、図２は、情報処理装置の機能構成を例示している。情報処理装置１０は、音源に対応した物理デバイスである音源設定部２０と、聴取点に対応した物理デバイスである聴取設定部３０、および音源設定部２０と聴取設定部３０が載置される載置台４０、ミキシング処理部５０、情報記憶部６０を用いて構成されている。また、ミキシング処理部５０には出力装置９０が接続されている。

音源設定部２０は、音源位置、音声出力方向、音源の高さ、音量、音の加工（エフェクト）等を設定する機能を有している。音源設定部２０は、音源毎に設けてもよく、１つの音源設定部２０で複数の音源に対するミキシングパラメータの設定や変更を行うようにしてもよい。また、音源設定部２０は、載置台４０の載置面上に複数独立して設けてもよく、連結して設けてもよい。さらに、音源設定部２０は、載置面上の同じ位置に積層して複数配置できる構成としてもよい。

聴取設定部３０は、聴取点の位置、聴取方向、聴取点の高さ、音量、音の加工（エフェクト）等を設定する機能を有している。聴取設定部３０は、載置台４０の載置面上に複数独立して設けてもよく、聴取設定部３０は、載置面上の同じ位置に積層して複数配置できる構成としてもよい。

載置台４０は、載置面４０１が平坦である場合に限らず高低差を有してもよい。または、載置台４０は、音の反射特性を割り当てた反射部材４０２を、載置面４０１に設置することが可能とされている。載置台４０の載置面４０１の音源設定部２０と聴取設定部３０の位置や向き，高さは、音源と聴取点の相対的な位置や向きを示している。音源設定部２０や聴取設定部３０の位置や向き，高さを示す配置情報のデータサイズを小さくするため、載置面４０１を複数の領域に区分して、音源設定部２０や聴取設定部３０が配置されている領域を示すことで、位置情報を削減できる。なお、後述する映像表示部９２における視点の移動も離散化することで、視点に応じてミキシング処理を変更する場合にも音源設定部２０や聴取設定部３０の配置情報のデータ量を削減できる。

ミキシング処理部５０は、音源を割り当てた音源設定部２０の配置情報と、音源設定部２０からの設定パラメータ情報と、聴取点を割り当てた聴取設定部３０の配置情報に基づき、情報記憶部６０に記憶されている音源毎の音声データを用いてミキシング処理を行う。また、ミキシング処理部５０は、載置台４０からの音響環境情報に基づきミキシング処理を行うようにしてもよい。ミキシング処理部５０は、このようなミキシング処理を行うことで、聴取設定部３０で示された聴取点で聴取される音声を示す音声出力データを生成する。また、ミキシング処理部５０は、情報記憶部６０に記憶されている映像情報を用いて聴取設定部３０で示された聴取点を視点とした映像出力データを生成する。

情報記憶部６０は、音源データと音源データに関するメタデータを記憶している。メタデータは、音源データを収録したときの音源とマイクの位置や方向，高さ、それらの時間変化、録音レベル、録音時に設定したエフェクト等の情報を示している。また、情報記憶部６０は、自由視点映像を表示するために例えば三次元再構成によって生成したメッシュとテクスチャによって構成される三次元のモデルデータを映像情報として記憶している。また、情報記憶部６０は、音源設定部２０や聴取設定部３０に関する配置情報とミキシング処理に用いた適用パラメータ情報および載置台４０に関する音響環境情報を記憶する。

出力装置９０は、音声出力部（例えばイヤホン）９１と映像表示部（例えばヘッドマウントディスプレイ）９２を有しており、音声出力部９１は、ミキシング処理部５０で生成された音声出力データに基づきミキシング音を出力する。また、映像表示部９２は、ミキシング処理部５０で生成された映像出力データに基づきミキシング音の聴取位置を視点とした映像を表示する。

図３は、音源設定部の構成を例示している。なお、図３の（ａ）は音源設定部の外観、図３の（ｂ）は音源設定部の機能ブロックを示している。

音源設定部２０は、操作部２１、表示部２２、通信部２３、配置移動部２４、音源設定制御部２５を有している。

操作部２１は、ミキシングパラメータの設定や変更等のユーザ操作を受け付けて操作に応じた操作信号を生成する。例えば操作部２１がダイヤルで構成されている場合、ダイヤルの回転操作に応じて音源設定部２０に関連付けられている音源に対する音量やエフェクトの設定や変更等の操作信号を生成する。

表示部２２は、通信部２３で受信したミキシング処理部５０からの適用パラメータ情報に基づき、音源設定部２０に関連付けられている音源に対してミキシング処理で用いたミキシングパラメータ等を表示する。

通信部２３は、ミキシング処理部５０と通信を行い、音源設定制御部２５で生成された設定パラメータ情報や配置情報をミキシング処理部５０へ送信する。なお、設定パラメータ情報は、ユーザ操作によって設定されたミキシングパラメータを示す情報であってもよく、ミキシング処理に用いたミキシングパラメータの設定または変更に関する操作信号であってもよい。配置情報は、音源の位置や向き，高さを示す情報である。また、通信部２３は、ミキシング処理部５０から送信された適用パラメータ情報と音源移動信号を受信して、適用パラメータ情報を表示部２２、音源移動信号を音源設定制御部２５へ出力する。

配置移動部２４は、音源設定制御部２５から駆動信号に基づき、載置台４０の載置面を走行して、音源設定部２０を移動する。また、配置移動部２４は、音源設定制御部２５から駆動信号に基づき音源設定部２０の形状変化例えば伸縮動作を行う。なお、音源設定部２０の移動は、ユーザが操作力を加えて行うこともできる。

音源設定制御部２５は、操作部２１から供給された操作信号に基づき生成した設定パラメータ情報を、通信部２３を介してミキシング処理部５０へ送信する。また、音源設定制御部２５は、センサ等を用いて検出した載置台４０の載置面上における音源設定部２０の位置検出結果に基づき、音源の位置や向き，高さを示す配置情報を生成して、通信部２３を介してミキシング処理部５０へ送信する。また、音源設定制御部２５は、音源設定部２０の形状が変更可能とされている場合、形状に応じた配置情報、例えば音源設定部２０が伸ばされたときは音源が高い位置とされていることを示す配置情報を生成してもよい。また、形状に応じた設定パラメータ情報、例えば音源設定部２０が伸ばされたときは音量を大きくする設定パラメータ情報を生成してもよい。さらに、音源設定制御部２５は、通信部２３を介して受信した音源移動信号に基づき駆動信号を生成して配置移動部２４へ出力することで、音源設定部２０を載置台４０の載置面上のミキシング処理部５０で指示された位置や向き，高さとする。なお、音源設定部２０の配置情報は載置台４０で生成してもよい。

図４は、聴取設定部の構成を例示している。図４の（ａ）は聴取設定部の外観、図４の（ｂ）は聴取設定部の機能ブロックを示している。

聴取設定部３０は、音源設定部２０と容易に区別できる外観とされている。聴取設定部３０は、操作部３１、表示部３２、通信部３３、配置移動部３４、聴取設定制御部３５を有している。なお、聴取点の位置と向きおよび高さが予め固定されている場合は、配置移動部３４を用いない構成としてもよい。

操作部３１は、聴取パラメータの設定や変更等のユーザ操作を受け付けて操作に応じた操作信号を生成する。例えば操作部３１がダイヤルで構成されている場合、ダイヤルの回転操作に応じて聴取設定部３０に関連付けられている聴取点での音量やエフェクトの設定や変更等の操作信号を生成する。

表示部３２は、通信部３３で受信したミキシング処理部５０からの適用パラメータ情報に基づき、聴取設定部３０に関連付けられている聴取点に対してミキシング処理で用いた聴取パラメータ等を表示する。

通信部３３は、ミキシング処理部５０と通信を行い、聴取設定制御部３５で生成された設定パラメータ情報や配置情報をミキシング処理部５０へ送信する。なお、設定パラメータ情報は、ユーザ操作によって設定された聴取パラメータを示す情報であってもよく、ミキシング処理に用いた聴取パラメータの設定または変更に関する操作信号であってもよい。配置情報は、聴取点の位置や高さを示す情報である。また、通信部３３は、ミキシング処理部５０から送信された適用パラメータ情報と聴取点移動信号を受信して、適用パラメータ情報を表示部３２、聴取点移動信号を聴取設定制御部３５へ出力する。

配置移動部３４は、聴取設定制御部３５から駆動信号に基づき、載置台４０の載置面を走行して、聴取設定部３０を移動する。また、配置移動部３４は、聴取設定制御部３５から駆動信号に基づき聴取設定部３０の形状変化例えば伸縮動作を行う。なお、聴取設定部３０の移動は、ユーザが操作力を加えて行うこともできる。

聴取設定制御部３５は、操作部３１から供給された操作信号に基づき生成した設定パラメータ情報を、通信部３３を介してミキシング処理部５０へ送信する。また、聴取設定制御部３５は、センサ等を用いて検出した載置台４０の載置面上における聴取設定部３０の位置検出結果に基づき、聴取点の位置や向き，高さを示す配置情報を生成して、通信部３３を介してミキシング処理部５０へ送信する。また、聴取設定制御部３５は、聴取設定部３０の形状が変更可能とされている場合、形状に応じた配置情報、例えば聴取設定部３０が伸ばされたときは聴取点が高い位置とされていることを示す配置情報を生成してもよい。また、形状に応じた設定パラメータ情報、例えば聴取設定部３０が伸ばされたときは音量を大きくする設定パラメータ情報を生成してもよい。さらに、聴取設定制御部３５は、通信部３３を介して受信した聴取点移動信号に基づき駆動信号を生成して配置移動部３４へ出力することで、聴取設定部３０を載置台４０の載置面上のミキシング処理部５０で指示された位置や向き，高さとする。なお、聴取設定部３０の配置情報は載置台４０で生成してもよい。

図５は、載置台の機能構成を例示している。載置台４０は、載置面４０１の高さを調整することや反射部材４０２を設置することが可能とされている。また、載置台４０は、音響環境情報生成部４１と通信部４３を有している。

音響環境情報生成部４１は、載置面４０１の高さや反射部材４０２の設置位置、反射特性等を示す音響環境情報を生成して通信部４３へ出力する。

通信部４３は、ミキシング処理部５０と通信を行い、音響環境情報生成部４１で生成された音響環境情報をミキシング処理部５０へ送信する。また、音響環境情報生成部４１は、音源設定部２０や聴取設定部３０に代わって、載置台４０の載置面上の音源設定部２０と聴取設定部３０の位置や向きをセンサ等で検出して、検出結果を示す配置情報を生成してミキシング処理部５０へ送信してもよい。

ミキシング処理部５０は、音源設定部２０から取得した設定パラメータ情報や配置情報に基づき、音源設定部２０が示す音源からの音の出力状態、すなわち、どのような音がどのような方向に向けてどのような高さから出力されているか判別する。また、ミキシング処理部５０は、聴取設定部３０から取得した聴取パラメータや配置情報に基づき、聴取設定部３０が示す聴取点での音の聴取状態、すなわち、どのような聴取パラメータの状況で、どのような向き，高さで音を聴取するか判別する。さらに、ミキシング処理部５０は、載置台４０から取得した音響環境情報に基づき、音源設定部２０が示す音源から出力された音の反射状態を判別する。

ミキシング処理部５０は、音源設定部２０が示す音源からの音の出力状態の判別結果と、聴取設定部３０が示す聴取点の音の聴取状態の判別結果、載置台４０からの音響環境情報に基づく音の反射状態の判別結果に基づき、聴取設定部３０が示す聴取点で聴取される音を示す音声信号を生成して、出力装置９０の音声出力部９１へ出力する。また、ミキシング処理部は、ミキシング処理に用いた音源毎のミキシングパラメータを示す適用パラメータ情報を生成して音源に対応する音源設定部２０へ送信する。なお、適用パラメータ情報のパラメータは、設定パラメータ情報のパラメータと一致する場合に限らず、他の音源のパラメータやミキシング処理等に応じて設定パラメータ情報のパラメータが変更して用いられることにより、異なるパラメータとなる場合もある。したがって、適用パラメータ情報を音源設定部２０へ送信することで、ミキシング処理に用いたミキシングパラメータを音源設定部２０で確認できるようになる。

また、ミキシング処理部５０は、音源設定部２０や聴取設定部３０の配置情報に基づき、聴取設定部３０の位置と高さで示された聴取点を視点として、聴取設定部３０の向きの自由視点映像信号を生成して、出力装置９０の映像表示部９２へ出力する。

さらに、ミキシング処理部５０は、視聴者に提示する映像の視点が移動されたことが映像表示部９２からミキシング処理部５０へ通知された場合、ミキシング処理部５０は、視点移動後の視聴者で聴取される音を示す音声信号を生成して音声出力部９１へ出力してもよい。この場合、ミキシング処理部５０は、視点移動に伴い聴取点移動信号を生成して聴取設定部３０へ出力することで、視聴者に提示する映像の視点移動に合わせて、聴取設定部３０を移動させる。

図６は、ミキシング処理部の機能構成を例示している。ミキシング処理部５０は、通信部５１、ミキシング制御部５２、エフェクタ部５３、ミキサ部５４、エフェクタ部５５、映像生成部５６、ユーザインタフェース（Ｉ／Ｆ）部５７を有している。

通信部５１は、音源設定部２０や聴取設定部３０および載置台４０と通信を行い、音源や聴取点に関する設定パラメータ情報や配置情報、音響環境情報を取得してミキシング制御部５２へ出力する。また、通信部５１は、ミキシング制御部５２で生成された音源移動信号や適用パラメータ情報を音源設定部２０へ送信する。また、通信部５１は、ミキシング制御部５２で生成された聴取点移動信号や適用パラメータ情報を聴取設定部３０へ送信する。

ミキシング制御部５２は、音源設定部２０と聴取設定部３０から取得した設定パラメータ情報と配置情報、および載置台４０から取得した音響環境情報に基づき、エフェクタ設定情報やミキサ設定情報を生成する。ミキシング制御部５２は、エフェクタ設定情報をエフェクタ部５３，５５、ミキサ設定情報をミキサ部５４へ出力する。例えばミキシング制御部５２は、音源設定部２０毎に、音源設定部２０で設定または変更されたミキシングパラメータや音響環境情報に基づきエフェクタ設定情報を生成して、音源設定部２０に対応する音源データのエフェクト処理を行うエフェクタ部５３へ出力する。また、ミキシング制御部５２は、音源設定部２０や聴取設定部３０の配置に基づきミキサ設定情報を生成してミキサ部５４へ出力する。また、ミキシング制御部５２は、聴取設定部３０で設定または変更された聴取パラメータに基づきエフェクタ設定情報を生成してエフェクタ部５５へ出力する。また、ミキシング制御部５２は、生成されたエフェクタ設定情報やミキサ設定情報に応じて適用パラメータ情報を生成して、通信部５１へ出力する。さらに、ミキシング制御部５２は、聴取点を視点とした映像表示を行う場合、音源設定部２０や聴取設定部３０の配置情報を映像生成部５６へ出力する。

ミキシング制御部５２は、ユーザインタフェース部５７からの操作信号に基づき、ミキシング変更操作（音源や聴取点の配置やパラメータ等を変更する操作）が行われたと判別した場合、ミキシング変更操作に応じてエフェクタ設定情報やミキサ設定情報を変更する。また、ミキシング制御部５２は、ミキシング変更操作に応じて音源移動信号や聴取点移動信号および適用パラメータ情報を生成して通信部５１へ出力して、音源設定部２０や聴取設定部３０を変更操作後の配置とする。

ミキシング制御部５２は、音源設定部２０と聴取設定部３０から取得した配置情報や載置台４０から取得した音響環境情報、ミキシング処理に用いた適用パラメータ情報等を情報記憶部６０に経過時間と共に記憶する。このように配置情報や適用パラメータ情報等を記憶することで、その後、記憶した情報を時間順に用いてミキシング処理やミキシング設定操作を再現できるようになる。なお、情報記憶部６０には、設定パラメータ情報を記憶してもよい。

さらに、ミキシング制御部５２は、情報記憶部６０から音源に付随するメタデータを取得して、音源設定部２０や聴取設定部３０の初期設定を行うようにしてもよい。ミキシング制御部５２は、音源とマイクの位置や方向，高さに応じて音源移動信号や聴取点移動信号を生成する。また、録音レベルや録音時に設定したエフェクト等の情報に基づき適用パラメータ情報を生成する。ミキシング制御部５２は、生成した音源移動信号と聴取点移動信号およびパラメータ信号を通信部５１から送信することで、音源とマイクの位置に対応させて、音源設定部２０と聴取設定部３０を配置させることができる。また、音源設定部２０や聴取設定部３０では、録音レベルや録音時のエフェクト設定等を表示できる。

エフェクタ部５３は、例えば音源毎に設けられており、ミキシング制御部５２から供給されたエフェクタ設定情報に基づいて、対応する音源データに対してエフェクト処理（例えば音楽製作におけるディレイ，リバーブ，周波数特性のイコライジング等の処理）を行う。エフェクタ部５３は、エフェクト処理後の音源データをミキサ部５４へ出力する。

ミキサ部５４は、ミキシング制御部５２から供給されたミキサ設定情報に基づいて、エフェクト処理後の音源データのミキシングを行う。ミキサ部５４は、例えばミキサ設定情報で示された音源毎のゲインでエフェクト処理後の音源データのレベルを調整して足し込みを行い、音声データを生成する。ミキサ部５４は、生成した音声データをエフェクタ部５５へ出力する。

エフェクタ部５５は、ミキシング制御部５２から供給されたエフェクタ設定情報に基づいて、音声データに対してエフェクト処理（例えば聴取点におけるディレイ，リバーブ，周波数特性のイコライジング等の処理）を行う。エフェクタ部５５は、エフェクト処理後の音声データを音声出力データとして、出力装置９０の音声出力部９１等へ出力する。

映像生成部５６は、音源設定部２０と聴取設定部３０の配置状況に基づき、聴取設定部３０に対する音源設定部２０の位置関係を判別して、判別結果に基づき聴取設定部３０に対する音源設定部２０の仮想空間上の位置に、音源設定部２０に割り当てられている音源を示すテクスチャを設けた映像を生成する。映像生成部５６は、情報記憶部６０から映像情報例えば三次元のモデルデータを取得する。次に、映像生成部５６は、ミキシング制御部５２から供給された配置情報に基づき聴取設定部３０に対する音源設定部２０の位置関係すなわち聴取点に対する音源の位置関係を判別する。さらに、映像生成部５６は、聴取点を視点として音源の位置に音源と対応するテクスチャを聴取点から見た映像として貼り付けて聴取点を視点とした映像出力データを生成して、出力装置９０の映像表示部９２等へ出力する。また、映像生成部５６は、空間内の音を仮想空間内で視覚的に表示してもよく、音響環境情報に基づき、反射音の強さを壁の明るさやテクスチャで表示してもよい。

ユーザインタフェース部５７は、ミキシング処理部５０で行う動作の設定や選択操作に応じて操作信号を生成してミキシング制御部５２へ出力する。ミキシング制御部５２は、操作信号に基づき、ユーザが所望する動作がミキシング処理部５０で行われるように各部の動作を制御する。

＜２．情報処理装置の動作＞
＜２－１．ミキシング設定動作＞
次に情報処理装置のミキシング設定動作について説明する。図７は、ミキシング設定処理を示すフローチャートである。ステップＳＴ１でミキシング処理部は載置台から情報を取得する。ミキシング処理部５０は、載置台４０と通信を行い、載置台４０の載置面のサイズや形状等の載置台情報や壁の設置状況等を示す音響環境情報を取得してステップＳＴ２に進む。

ステップＳＴ２でミキシング処理部は音源設定部と聴取設定部を判別する。ミキシング処理部５０は、音源設定部２０と聴取設定部３０または載置台４０と通信を行い、載置台４０の載置面上に音源に対応する音源設定部２０と聴取設定部３０が配置されていることを判別してステップＳＴ３に進む。

ステップＳＴ３でミキシング処理部はメタデータに基づいて自動配置処理を行うか判別する。ミキシング処理部５０は、音源設定部２０と聴取設定部３０を自動配置する動作モードが選択されている場合にステップＳＴ４に進み、音源設定部２０と聴取設定部３０を手動で配置する動作モードが選択されている場合にステップＳＴ５に進む。

ステップＳＴ４でミキシング処理部は自動配置処理を行う。ミキシング処理部５０は、メタデータに基づき音源設定部２０と聴取設定部３０の配置を判別して、判別結果に基づき、音源毎に音源移動信号を生成する。ミキシング処理部５０は、音源移動信号を対応する音源設定部２０に送信して、音源設定部２０の位置および方向をメタデータに応じて移動させる。したがって、載置台４０の載置面上では、音源に対応する音源設定部２０が、メタデータに対応した音源の位置と向きに配置された状態となりステップＳＴ６に進む。

ステップＳＴ５でミキシング処理部は手動配置処理を行う。ミキシング処理部５０は、音源設定部２０と聴取設定部３０または載置台４０と通信を行い、載置台４０の載置面上に音源に対応する音源設定部２０と聴取設定部３０が何れの位置および向きで配置されているか判別してステップＳＴ６に進む。

ステップＳＴ６でミキシング処理部はメタデータに基づいてパラメータ自動設定処理を行うか判別する。ミキシング処理部５０は、ミキシングパラメータや聴取パラメータを自動で設定する動作モードが選択されている場合にステップＳＴ７に進み、ミキシングパラメータや聴取パラメータを手動で設定する動作モードが選択されている場合にステップＳＴ８に進む。

ステップＳＴ７でミキシング処理部はパラメータ自動設定処理を行う。ミキシング処理部５０は、メタデータに基づき音源設定部２０と聴取設定部３０のパラメータ設定を行い、ミキシング処理に用いるパラメータを音源毎に設定する。また、ミキシング処理に用いるパラメータを示す適用パラメータ情報を音源毎に生成する。ミキシング処理部５０は、適用パラメータ情報を対応する音源設定部２０に送信して、音源設定部２０の表示部２２にミキシング処理に用いるミキシングパラメータを表示させる。したがって、載置台４０の載置面上に配置されている音源設定部２０の表示部２２では、メタデータに基づいたミキシングパラメータが表示された状態となる。また、ミキシング処理部５０は、メタデータに基づき聴取点に対する適用パラメータ情報を聴取設定部３０に送信して、聴取設定部３０の表示部３２にパラメータを表示させる。したがって、載置台４０の載置面上に配置されている聴取設定部３０の表示部３２では、メタデータに基づいた聴取パラメータが表示された状態となる。ミキシング処理部は、メタデータに基づいたパラメータを表示させてステップＳＴ９に進む。

ステップＳＴ８でミキシング処理部はパラメータ手動設定処理を行う。ミキシング処理部５０は、各音源設定部２０と通信を行い、音源設定部２０で設定または変更されたミキシングパラメータを取得する。また、ミキシング処理部５０は、聴取設定部３０と通信を行い、聴取設定部３０で設定または変更された聴取パラメータを取得する。なお、音源設定部２０と聴取設定部３０では設定または変更されたパラメータを表示部に表示する。このように、ミキシング処理部５０は、音源設定部２０と聴取設定部３０からパラメータを取得してステップＳＴ９に進む。

ステップＳＴ９でミキシング処理部は、設定の終了であるか判別する。ミキシング処理部５０は設定の終了と判別していない場合、ステップＳＴ３に戻り、設定の終了と判別した場合、例えばユーザが設定終了操作を行った場合、あるいはメタデータが終了した場合、ミキシング設定処理を行う。

このような処理を行えば、手動配置や手動設定の動作モードを選択した場合、音源設定部２０を手動操作して位置やミキシングパラメータを変更すれば、ミキシング音を生成する際の音源の位置やミキシングパラメータ等を自由に設定できるようになる。また、ステップＳＴ３からステップＳＴ９の処理を繰り返すことで、時間の経過と共に音源の位置やミキシングパラメータを変化させることができる。さらに、自動配置や自動設定の動作モードを選択した場合、メタデータに応じて、音源設定部２０と聴取設定部３０の位置や向きが自動的に移動されるので、メタデータに関連付けられたミキシング音を生成したときの音源等の配置やパラメータを再現できる。

また、複数の音源設定部２０のミキシングパラメータを同時に変化させたい場合は、例えばミキシングパラメータが同時に変化する時間範囲を繰り返す。また、時間範囲の繰り返しでは、ミキシングパラメータを変化させる音源設定部２０を順に切り替えればよい。

ところで、上述の処理では、各音源設定部２０にミキシングパラメータが設定されている場合を想定しているが、ミキシングパラメータが設定されていない音源設定部２０が配置される場合もある。そこで、ミキシング処理部は、ミキシングパラメータが設定されていない音源設定部２０がある場合、この音源設定部２０に対して補完処理を行い、ミキシングパラメータを設定してもよい。

図８は、ミキシングパラメータの補完処理を示すフローチャートである。ステップＳＴ１１でミキシング処理部は、補完アルゴリズムを用いてパラメータ生成を行う。ミキシング処理部５０は、ミキシングパラメータが設定されていない音源設定部のミキシングパラメータを、予め設定されているアルゴリズムに基づいて他の音源設定部で設定されているミキシングパラメータから算出する。ミキシング処理部５０は、例えば音源設定部の位置関係に基づき、聴取点での音量が所定の関係となるように、他の音源設定部で設定されている音量からミキシングパラメータが設定されていない音源設定部の音量を算出する。また、例えば音源設定部の位置関係に基づき、他の音源設定部で設定されているディレイ値からミキシングパラメータが設定されていない音源設定部のディレイ値を算出してもよい。また、例えば載置台４０に設けられた壁と音源設定部と聴取点の位置関係に基づき、他の音源設定部で設定されているリバーブの特性からミキシングパラメータが設定されていない音源設定部のリバーブの特性を算出してもよい。ミキシング処理部５０は、ミキシングパラメータが設定されていない音源設定部のミキシングパラメータを算出してステップＳＴ１２に進む。

ステップＳＴ１２でミキシング処理部は、算出したミキシングパラメータのデータベース化を行う。ミキシング処理部５０は、算出したミキシングパラメータを音源設定部に関連付けて、他の音源設定部のミキシングパラメータと共にデータベース化して例えば情報記憶部６０に記憶させる。また、ミキシング処理部５０は、補完処理のアルゴリズムを記憶して、他の音源設定部のミキシングパラメータから、ミキシングパラメータが設定されていない音源設定部のミキシングパラメータを算出できるようにしてもよい。

このような処理を行えば、ミキシングパラメータが設定されていない音源設定部２０が設けられても、この音源設定部２０に対応する音源について、ミキシングパラメータに応じた音源データのエフェクト処理を行うことができるようになる。また、音源設定部２０を直接操作しなくとも他の音源設定部２０で設定されたミキシングパラメータに応じてミキシングパラメータを変化させることもできる。

また、オーケストラのように音源数が非常に多い場合、すべての音源に対し音源設定部２０を用意するのはかえってミキシング設定が煩雑になる。その場合、複数の音源を代表して音源設定部を配置してミキシング設定を行い、代表以外の音源に対するミキシングパラメータは、代表して音源設定部のミキシングパラメータに基づいて自動生成してもよい。例えば、バイオリンのグループを代表する音源設定部、フルートのグループを代表する音源設定部を設けて、個々のバイオリンやフルートについてのミキシングパラメータを自動生成する。自動生成では、音源設定部２０と聴取設定部３０の配置や音響環境情報、手動でミキシングパラメータが設定された音源設定部２０等の設定パラメータ情報等を参照して、任意の位置におけるミキシングパラメータを生成する。

なお、ミキシングパラメータの補完では、ミキシングパラメータが設定されていない音源設定部に対するミキシングパラメータを補完する場合に限らず、任意の聴取点におけるミキシングパラメータを補完する処理を行ってもよい。

＜２－２．ミキシング音再生動作＞
次に情報処理装置のミキシング音再生動作について説明する。図９は、ミキシング音再生動作を示すフローチャートである。ステップＳＴ２１でミキシング処理部は聴取点を判別する。ミキシング処理部５０は、聴取設定部３０または載置台４０と通信を行い、載置台４０の載置面上における聴取設定部３０の配置を判別して、判別した位置および向きを聴取点としてステップＳＴ２２に進む。

ステップＳＴ２２でミキシング処理部はミキシングパラメータが時間変化するか判別する。ミキシング処理部５０は、ミキシングパラメータが時間変化を生じる場合にステップＳＴ２３に進み、時間変化を生じない場合にステップＳＴ２４に進む。

ステップＳＴ２３でミキシング処理部は、再生時刻に対応したパラメータを取得する。ミキシング処理部５０は情報記憶部６０に記憶されているミキシングパラメータから再生時刻に対応したミキシングパラメータを取得してステップＳＴ２５に進む。

ステップＳＴ２４でミキシング処理部は、固定のパラメータを取得する。ミキシング処理部５０は情報記憶部６０に記憶されている固定のミキシングパラメータを取得してステップＳＴ２５に進む。なお、固定ミキシングパラメータが取得済みである場合はステップＳＴ２４の処理をスキップしてもよい。

ステップＳＴ２５でミキシング処理部はミキシング処理を行う。ミキシング処理部５０はミキシングパラメータに基づきエフェクタ設定情報やミキサ設定情報を生成して、音源設定部２０に対応した音源データを用いてエフェクト処理やミックス処理を行い、音声出力信号を生成してステップＳＴ２６に進む。

ステップＳＴ２６でミキシング処理部はパラメータ表示処理を行う。ミキシング処理部５０は、再生時刻に応じて用いたパラメータを示す適用パラメータ情報を生成して、音源設定部２０や聴取設定部３０へ送信して、音源設定部２０や聴取設定部３０でパラメータを表示させてステップＳＴ２７に進む。

ステップＳＴ２７でミキシング処理部は映像生成処理を行う。ミキシング処理部５０は、聴取点を視点として再生時刻とミキシングパラメータに応じた映像出力信号を生成してステップＳＴ２８に進む。

ステップＳＴ２８でミキシング処理部は映像音声出力処理を行う。ミキシング処理部５０は、ステップＳＴ２５で生成した音声出力信号とステップＳＴ２７で生成した映像出力信号を出力装置９０へ出力してステップＳＴ２９に進む。

ステップＳＴ２９でミキシング処理部は再生終了であるか判別する。ミキシング処理部５０は、再生終了操作が行われていない場合にステップＳＴ２２に戻り、再生終了操作が行われた場合や音源データや映像情報が終了した場合、ミキシング音の再生処理を終了する。

このような処理を行うことで、自由聴取点での音声を出力することができる。また、視点に対応させて聴取点を設定してミキシング処理を行うようにすれば、自由視点映像に対応した音声を出力できるようになる。

＜２－３．音源設定部の自動配置動作＞
次に、ミキシングパラメータに基づいて音源設定部を自動的に配置する自動配置動作について説明する。図１０は、自動配置動作を示すフローチャートである。ステップＳＴ３１でミキシング処理部は音源データを用いて所望のミキシング音を生成する。ミキシング処理部５０は、ユーザインタフェース部５７で行われたユーザ操作に基づきエフェクト設定情報やミキサ設定情報を生成する。さらに、ミキシング処理部５０は、生成したエフェクト設定情報やミキサ設定情報に基づきミキシング処理を行い、所望のミキシング音を生成する。例えば、ユーザは音源毎に所望の音像が得られるように音源の配置やエフェト調整の操作を行い、ミキシング処理部５０は、ユーザ操作に基づき音源配置情報やエフェクト設定情報を生成する。また、ユーザは、所望のミキシング音が得られるように音源毎の音量を調整して合成する操作を行い、ミキシング処理部５０は、ユーザ操作に基づきミキサ設定情報を生成する。ミキシング処理部５０は、生成したエフェクト設定情報やミキサ設定情報に基づきミキシング処理を行い、所望のミキシング音を生成してステップＳＴ３２に進む。なお、所望のミキシング音の生成は上述の方法に限らず他の方法で生成してもよい。

ステップＳＴ３２でミキシング処理部は音源移動信号と適用パラメータ情報を生成する。ミキシング処理部５０は、ステップＳＴ３１で所望のミキシング音を生成したときの音源配置情報に基づき、音源毎に対応する音源設定部２０を音源の配置とする音源移動信号を生成する。また、ミキシング処理部５０は、ステップＳＴ３１で所望のミキシング音を生成したときのエフェクト設定情報やミキサ設定情報に基づき、音源毎に適用パラメータ情報を生成する。また、ミキシング処理部５０は、所望のミキシング音の生成時に音源配置情報やエフェクト設定情報およびミキサ設定情報等が生成されていない場合、所望のミキシング音の音声解析等を行い、音源配置やエフェクト設定およびミキサ設定を１または複数推定する。さらに、ミキシング処理部５０は、推定結果に基づき音源移動信号と適用パラメータ情報を生成する。ミキシング処理部５０は、音源毎に音源移動信号と適用パラメータ情報を生成してステップＳＴ３３に進む。

ステップＳＴ３３でミキシング処理部は音源設定部の制御を行う。ミキシング処理部５０は音源毎に生成した音源移動信号を音源に対応する音源設定部２０に送信して、所望のミキシング音を生成したときの音源の配置に音源設定部２０を移動させる。また、ミキシング処理部５０は音源毎に生成した適用パラメータ情報を音源に対応する音源設定部２０に送信して、各音源設定部２０の表示部２２で適用パラメータ情報に基づきミキシング処理に用いたミキシングパラメータ表示を行う。このように、ミキシング処理部５０は、音源設定部２０の配置や表示を制御する。

このような処理を行えば、ミキシング処理部５０の動作を制御して所望のミキシング音を生成した場合、所望のミキシング音が得られる音源配置を載置台４０の載置面上の音源設定部２０によって視覚的に把握できるようになる。

また、ステップＳＴ３３の処理後、ミキシング処理部５０は、各音源設定部２０の配置およびミキシングパラメータを取得して、取得した情報に基づきミキシング音を生成すれば、音源設定部２０が所望のミキシング音を得られる配置やミキシングパラメータの設定状態であるか確認できる。また、取得した情報に基づき生成したミキシング音が所望のミキシング音と異なる場合は、手動または自動で音源設定部２０の配置やミキシングパラメータを調整して、所望のミキシング音が生成できるようにしてもよい。なお、図１０では、音源設定部２０を自動配置する場合について説明したが、自由視点映像における視点移動に応じて、聴取設定部３０を自動的に移動させてもよい。

以上のように、本技術の情報処理装置を用いることで、自由聴取点の音声ミキシング状態を三次元で直感的に認識できるようになる。また、自由聴取点での音声を容易に確認できるようになる。さらに、自由聴取点での音声を確認できることから、例えば音量が過大となる聴取点や音のバランス等が望ましくない聴取点、コンテンツ提供者が意図しない音が聴けてしまう聴取点等を特定できるようになる。また、コンテンツ提供者が意図しない音が聴けてしまう聴取点があるとき、その聴取点の位置では音を無音または規定の音に設定することも可能になる。また、ミキシング処理によって生成されるミキシング音が予め設定された許容条件を満たさない場合、例えば音量が許容レベルを超える場合や音のバランスが許容レベルを超えて悪化した場合等では、許容条件を満たさないことを示す通知信号を音源設定部または前記聴取設定部へ送信してもよい。

＜３．情報処理装置の他の構成と動作＞
ところで、上述の情報処理装置では、聴取設定部を用いてミキシング処理を行う場合について説明したが、聴取設定部を用いない構成としてもよい。例えば、聴取点は、映像表示部９２で表示される仮想空間上の映像に表示して、仮想空間内を自由に移動できるようにして、仮想空間上の聴取点の位置に基づきミキシングパラメータの設定を行い、ミキシング音を生成してもよい。

また、ミキシングパラメータの入力は、音源設定部２０の操作部２１から行う場合に限らず、外部機器例えば携帯端末装置等から入力できるようにしてもよい。さらに、エフェクトの種類毎に付属部品を用意しておき、音源設定部２０に付属部品を取り付けることに応じて、取り付けられた付属部品に対応するエフェクト処理のミキシングパラメータが設定されるようにしてもよい。

＜４．情報処理装置の動作例＞
次に情報処理装置の動作例について説明する。図１１は、情報処理装置の動作例を示している。図１１の（ａ）は、音源設定部と聴取設定部の配置を例示している。また、図１１の（ｂ）は、映像表示部の表示を例示している。音源設定部２０-1に対応する音源は例えばギター、音源設定部２０-2に対応する音源は例えばトランペット、音源設定部２０-3に対応する音源は例えばクラリネットとする。

ミキシング処理部５０は、音源設定部２０-1，２０-2，２０-3と聴取設定部３０の配置およびミキシングパラメータや聴取パラメータに基づきミキシング音を生成する。また、ミキシング処理部５０は、生成したミキシング音に対応する適用パラメータ情報を生成する。図１２は、音源設定部における表示部の表示例を示している。例えば音源設定部２０-1の表示部２２では、適用パラメータ情報に基づき、ギターの音量表示２２１とギターの音に対するパラメータ表示（例えば横方向を時間として縦方向を信号レベルとしたリバーブの特性表示）２２２が行われる。同様に、音源設定部２０-2，２０-3の表示部２２や聴取設定部３０の表示部３２でも、音量表示やパラメータ表示が行われる。このため、生成したミキシング音に対する各音源や聴取点での音量設定状態やパラメータ設定状態を確認できるようになる。なお、音源設定部の音量がゼロに設定された場合、音源データを用いる必要がないことから、音量がゼロに設定された音源設定部に対応する音源のテクスチャは表示しないようにする。このようにすれば、ミキシング処理に用いていない音源のテクスチャが画面上に表示されることがない。

ミキシング処理部５０は、情報記憶部６０から例えば音源設定部２０-1，２０-2，２０-3に対応する三次元のモデルデータを取得して、音源設定部２０-1，２０-2，２０-3と聴取設定部３０に関する配置情報に基づき、聴取点と音源の位置関係を判別する。また、ミキシング処理部５０は、聴取点を視点として音源の位置に音源と対応する被写体が表示された映像出力データを生成して、出力装置９０の映像表示部９２へ出力する。したがって、図１１の（ｂ）に示すように、聴取設定部３０の位置を聴取者ＡＰの位置として、音源設定部２０-1の位置および向きに対応させてギターの映像ＭＳ-1が表示される。また、音源設定部２０-2，２０-3の位置および向きに対応させてトランペットの映像ＭＳ-2やクラリネットの映像ＭＳ-3が表示される。さらに、音声出力信号に基づくミキシング音では、ギターの音像が映像ＭＳ-1の位置、トランペットの音像が映像ＭＳ-2の位置、クラリネットの音像が映像ＭＳ-3の位置とされる。なお、図１１の（ｂ）では音像の位置を破線の円で示している。

このように、本技術によれば、ミキシング音に対応する音源の配置状態を実空間で容易に確認できるようになる。また、聴取点に対応した視点の自由視点映像を表示できるようになる。

図１３は聴取点が移動された場合の動作例である。図１３の（ａ）に示すように、例えばユーザが聴取設定部３０を移動すると、図１１に示す状態から聴取点が移動されることになる。

ミキシング処理部５０は、音源設定部２０-1，２０-2，２０-3と聴取設定部３０の配置およびミキシングパラメータや聴取パラメータに基づきミキシング音を生成する。また、ミキシング処理部５０は、音源設定部２０-1，２０-2，２０-3と聴取設定部３０に関する配置情報に基づき、聴取点と音源の位置関係を判別する。さらに、ミキシング処理部５０は、移動後の聴取点を視点として音源の位置に音源と対応する被写体が表示された映像出力データを生成して、出力装置９０の映像表示部９２へ出力する。したがって、図１３の（ｂ）に示すように、移動後の聴取設定部３０の位置を聴取者ＡＰの位置として、音源設定部２０-1の位置および向きに対応させてギターの映像ＭＳ-1が表示される。また、音源設定部２０-2，２０-3の位置および向きに対応させてトランペットの映像ＭＳ-2やクラリネットの映像ＭＳ-3が表示される。さらに、音声出力信号に基づくミキシング音では、ギターの音像が映像ＭＳ-1の位置、トランペットの音像が映像ＭＳ-2の位置、クラリネットの音像が映像ＭＳ-3の位置とされる。また、図１３では聴取設定部３０が右方向に移動していることから、図１３の（ｂ）に示す映像は、図１１の（ｂ）に比べて、視点を右方向に移動したときの映像となる。

また、聴取設定部３０を移動したことにより音源設定部２０-2と近接して、ミキシング処理によって生成されるミキシング音が予め設定された許容条件を満たさない場合、例えばトランペットの音量が許容レベルを超えて過大となる場合、ミキシング処理部５０から、聴取設定部３０の表示部３２で警告表示を行う通知信号や、音源設定部２０-2で音量の低下を指示する指示表示の通知信号を生成して、生成した通知信号を送信してもよい。

図１４は音源が移動された場合の動作例である。図１４の（ａ）に示すように、例えばユーザが音源設定部２０-3を移動すると、図１１に示す状態から音源が移動されることになる。なお、図１４では、音源設定部２０-3を後方に移動して引き延ばすことにより、音源を後方かつ上方向に移動する場合を例示している。

ミキシング処理部５０は、音源設定部２０-1，２０-2，２０-3と聴取設定部３０の配置およびミキシングパラメータや聴取パラメータに基づきミキシング音を生成する。また、ミキシング処理部５０は、音源設定部２０-1，２０-2，２０-3と聴取設定部３０に関する配置情報に基づき、聴取点と音源の位置関係を判別する。さらに、ミキシング処理部５０は、聴取点を視点として音源の位置に音源と対応する被写体が表示された映像出力データを生成して、出力装置９０の映像表示部９２へ出力する。したがって、図１４の（ｂ）に示すように、移動後の音源設定部２０-3の位置および向きに対応させてクラリネットの映像ＭＳ-3の位置が移動させる。さらに、音声出力信号に基づくミキシング音では、クラリネットの音像が移動後の映像ＭＳ-3の位置とされる。また、図１４では音源設定部２０-3が後方に移動して引き延ばした状態であることから、図１４の（ｂ）における映像ＭＳ-3は、図１１の（ｂ）に比べて、したから音源を見た場合のような映像となる。

図１５は音源設定部を自動配置する場合の動作例を示している。ミキシング処理部５０において、ユーザインタフェース部５７でトランペットの位置を左方向に移動する操作が行われた場合、ミキシング処理部５０は、音源設定部２０-1，２０-3と聴取設定部３０の配置および移動操作が行われた音源の位置、およびミキシングパラメータや聴取パラメータに基づきミキシング音を生成する。さらに、ミキシング処理部５０は、音源設定部２０-1，２０-3と聴取設定部３０に関する配置情報と移動操作が行われた音源の位置に基づき、聴取点と音源の位置関係を判別して、聴取点を視点として音源の位置に音源と対応する被写体が表示された映像出力データを生成して、出力装置９０の映像表示部９２へ出力する。したがって、図１５の（ｂ）に示すように、トランペットの映像ＭＳ-2が、移動操作に応じて移動された図１５の（ａ）に示す音源設定部２０-2の位置に、移動後の視点に対応する映像として表示される。また、音声出力信号に基づくミキシング音では、トランペットの音像が映像ＭＳ-2の移動後の位置とされる。さらに、ミキシング処理部５０は、トランペットの位置を左方向に移動する操作に応じて音源移動信号を生成して、トランペットに対応する音源設定部２０-2に送信する。

音源設定部２０-2は、ミキシング処理部５０から送信された音源移動信号に基づき、配置移動部２４で音源設定部２０-2を移動して、音源設定部２０-2をミキシング処理部５０から出力されるミキシング音に対応する配置とする。

このような処理を行うことで、ミキシング処理部５０から出力されたミキシング音がどのような音源配置で生成されているか視覚的に判別できるようになる。

また、映像表示では、空間内の音を仮想空間内で視覚的に表示するユーザエクスペリエンスを実現してもよい。図１６は、空間内の音を仮想空間内で視覚的に表示した場合を例示している。仮想空間内では、各音源を演奏者等として表現して、音の放射角を視覚的に表現する。この場合、音の放射角を厳密に表示することは困難であることから、音量の方向依存性を利用した表現とする。例えば音量が小さい場合は放射角を狭く表現して、音量が大きい場合は放射角を広く表現する。例えば、図１６では、三角形や稲妻で音の出る方向を表し、図形の大きさ・長さが音量を表す。方向依存性が高い音源は鋭角の図形で、低い音源は広角の図形で表す。また色で楽器を表し、音の周波数帯域の違いを色の濃度または彩度によって表す。なお、図１６では、ハッチング線の太さや傾きで、色や濃度の違いを示している。また、図１６では二次元画像を示しているが、仮想空間内では三次元画像として表現することもできる。

このように、空間内の音を仮想空間内で視覚的に表示すれば、ミキシング音を出力しなくとも、実空間における音源設定部２０や聴取設定部３０の配置や設定されたパラメータに応じて生成されるミキシング音を、仮想空間で視覚的に確認できるようになる。

また、映像表示では、音源から出力される音の反射音を仮想空間内で視覚的に表示してもよい。図１７は、音を仮想空間内で視覚的に表示した場合を例示している。反射音の強さは、例えば壁の明るさやテクスチャ，背景画像で識別可能とする。例えば仮想空間内で建物や会場内で演奏しているかのような映像を背景に表示することで、間接音の強さを視覚的に表現する。なお、仮想空間内で間接音の強さを提示することから、厳密な表現である必要はなく、間接音の強さのイメージを認識できればよい。図１７の（ａ）は、残響成分が多く残響時間が長いエフェクトを適用したミキシングの場合を例示している。この場合、例えば天井の高いホールで演奏しているかのような映像を合成する。図１７の（ｂ）は、残響成分が少なく残響時間が短いエフェクトを適用したミキシングの場合を例示している。この場合、例えば狭いライブ会場で演奏しているかのような映像を合成する。

さらに、反射音の強さを示す表示では、仮想空間内に壁を設け、そのテクスチャで反響音を視覚的に表現してもよい。図１７の（ｃ）では、壁をレンガで表示することで間接音が強いことを識別可能とする。図１７の（ｄ）では、壁を木で表示することで間接音が図１７の（ｃ）に比べて弱いことを識別可能とする。

このように、反射音の強さを壁の明るさやテクスチャで表示すれば、ミキシング音を出力しなくとも、実空間における音源設定部２０で設定されミキシングパラメータや載置台４０からの音響環境情報に応じて生成されるミキシング音を、仮想空間で視覚的に確認できるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 音源を割り当てた音源設定部の配置情報と、前記音源設定部からの設定パラメータ情報と、聴取点を割り当てた聴取設定部の配置情報に基づき、前記音源のデータを用いてミキシング処理を行うミキシング処理部を備える情報処理装置。
（２） 前記ミキシング処理部は、前記ミキシング処理で用いた前記音源に対する適用パラメータ情報を前記音源に対する音源設定部へ送信する（１）に記載の情報処理装置。
（３） 前記ミキシング処理部は、前記音源に関連付けられているメタデータに基づき、前記音源設定部のパラメータ設定を行う（１）または（２）に記載の情報処理装置。
（４） 前記ミキシング処理部は、前記配置情報と前記ミキシング処理で用いた適用パラメータ情報を経過時間と共に情報記憶部に記憶させる（１）乃至（３）の何れかに記載の情報処理装置。
（５） 前記ミキシング処理部は、前記情報記憶部に記憶されている情報を用いてミキシング処理を行う場合、前記音源設定部と前記聴取設定部を前記情報記憶部から取得した配置情報に対応する配置とする移動信号を前記音源設定部または前記聴取設定部へ送信する（４）に記載の情報処理装置。
（６） 前記ミキシング処理部は、前記情報記憶部に記憶されている配置情報と適用パラメータ情報を用いて、前記配置情報と適用パラメータ情報が記憶されていない聴取点での配置情報と適用パラメータ情報を生成する（４）または（５）に記載の情報処理装置。
（７） 前記ミキシング処理部は、前記聴取点に対する前記音源の配置を変更する変更操作を受け付けた場合、変更操作後の配置に基づいて前記ミキシング処理を行い、前記音源設定部と前記聴取設定部を前記変更操作後の配置とする移動信号を前記音源設定部または前記聴取設定部へ送信する（１）乃至（６）の何れかに記載の情報処理装置。
（８） 前記ミキシング処理部は、前記ミキシング処理によって生成されるミキシング音が予め設定された許容条件を満たさない場合、前記許容条件を満たさないことを示す通知信号を前記音源設定部または前記聴取設定部へ送信する（１）乃至（７）の何れかに記載の情報処理装置。
（９） 前記音源設定部と前記聴取設定部は、実空間上に設けられた載置台に載置される物理デバイスである（１）乃至（８）の何れかに記載の情報処理装置。
（１０） 前記音源設定部または前記聴取設定部は、パラメータ設定部と表示部および前記載置台の載置面上を移動するための配置移動部を有する（９）に記載の情報処理装置。
（１１） 前記音源設定部または前記聴取設定部は形状変更可能な構成で、形状に応じて配置情報または設定パラメータ情報を生成する（９）または（１０）に記載の情報処理装置。
（１２） 反射特性を割り当てた反射部材が前記載置台に対して載置可能に構成されており、
前記ミキシング処理部は、前記反射部材の配置情報と割り当てられている反射特性を用いて前記ミキシング処理を行う（９）乃至（１１）の何れかに記載の情報処理装置。
（１３） 前記ミキシング処理部は、前記音源設定部と前記聴取設定部の配置状況に基づき、前記聴取設定部に対する前記音源設定部の位置関係を判別して、判別結果に基づき前記聴取設定部に対する前記音源設定部の仮想空間上の位置に、前記音源設定部に割り当てられている音源を示すテクスチャを設けた映像を生成する映像生成部を有する（１）乃至（１２）の何れかに記載の情報処理装置。
（１４） 前記映像生成部は、前記聴取点を視点として前記映像を生成する（１３）に記載の情報処理装置。
（１５） 前記映像生成部は、前記音源から出力される音を視覚化した映像を、前記音源を示すテクスチャを設けた映像の対応する音源の位置に重畳する（１３）または（１４）に記載の情報処理装置。
（１６） 前記映像生成部は、前記音源から出力される音の反射音を視覚化した映像を、前記音源を示すテクスチャを設けた映像における前記ミキシング処理において設定した音の反射位置に重畳する（１３）乃至（１５）の何れかに記載の情報処理装置。

この技術の情報処理装置と情報処理方法およびプログラムによれば、音源を割り当てた音源設定部の配置情報と、音源設定部からの設定パラメータ情報と、聴取点を割り当てた聴取設定部の配置情報に基づき、音源のデータを用いてミキシング処理が行われる。このため、自由聴取点に対応する音声のミキシングを容易に行える。したがって、例えば自由視点映像を表示する場合に、自由視点映像の視点移動に応じて聴取点を移動させた音声を出力できるシステムを構成できるようになる。

１０・・・情報処理装置
２０，２０-1，２０-2，２０-3・・・音源設定部
２１，３１・・・操作部
２２，３２・・・表示部
２３，３３，４３，５１・・・通信部
２４，３４・・・配置移動部
２５・・・音源設定制御部
３０・・・聴取設定部
３５・・・聴取設定制御部
４０・・・載置台
４１・・・音響環境情報生成部
５０・・・ミキシング処理部
５２・・・ミキシング制御部
５３，５５・・・エフェクタ部
５４・・・ミキサ部
５６・・・映像生成部
５７・・・ユーザインタフェース部
６０・・・情報記憶部
９０・・・出力装置
９１・・・音声出力部
９２・・・映像表示部
２２１・・・音量表示
２２２・・・パラメータ表示
４０１・・・載置面
４０２・・・反射部材

Claims (17)

1. 音源を割り当てた物理デバイスである音源設定部の実空間上に設けられた載置台における配置情報と、前記音源設定部からの設定パラメータ情報と、聴取点を割り当てた物理デバイスである聴取設定部の前記載置台における配置情報に基づき、前記音源のデータを用いてミキシング処理を行うミキシング処理部を備える情報処理装置。
2. 前記ミキシング処理部は、前記ミキシング処理で用いた前記音源に対する適用パラメータ情報を前記音源に対する音源設定部へ送信する
   請求項１に記載の情報処理装置。
3. 前記ミキシング処理部は、前記音源に関連付けられているメタデータに基づき、前記音源設定部のパラメータ設定を行う
   請求項１または請求項２に記載の情報処理装置。
4. 前記ミキシング処理部は、前記配置情報と前記ミキシング処理で用いた適用パラメータ情報を経過時間と共に情報記憶部に記憶させる
   請求項１乃至請求項３の何れかに記載の情報処理装置。
5. 前記ミキシング処理部は、前記情報記憶部に記憶されている情報を用いてミキシング処理を行う場合、前記音源設定部と前記聴取設定部を前記情報記憶部から取得した配置情報に対応する配置とする移動信号を前記音源設定部または前記聴取設定部へ送信する
   請求項４に記載の情報処理装置。
6. 前記ミキシング処理部は、前記情報記憶部に記憶されている配置情報と適用パラメータ情報を用いて、前記配置情報と適用パラメータ情報が記憶されていない聴取点での配置情報と適用パラメータ情報を生成する
   請求項４または請求項５に記載の情報処理装置。
7. 前記ミキシング処理部は、前記聴取点に対する前記音源の配置を変更する変更操作を受け付けた場合、変更操作後の配置に基づいて前記ミキシング処理を行い、前記音源設定部と前記聴取設定部を前記変更操作後の配置とする移動信号を前記音源設定部または前記聴取設定部へ送信する
   請求項１乃至請求項６の何れかに記載の情報処理装置。
8. 前記ミキシング処理部は、前記ミキシング処理によって生成されるミキシング音が予め設定された許容条件を満たさない場合、前記許容条件を満たさないことを示す通知信号を前記音源設定部または前記聴取設定部へ送信する
   請求項１乃至請求項７の何れかに記載の情報処理装置。
9. 前記音源設定部または前記聴取設定部は、パラメータ設定部と表示部および前記載置台の載置面上を移動するための配置移動部を有する
   請求項１乃至請求項８の何れかに記載の情報処理装置。
10. 前記音源設定部または前記聴取設定部は形状変更可能な構成で、形状に応じて配置情報または設定パラメータ情報を生成する
    請求項１乃至請求項９の何れかに記載の情報処理装置。
11. 反射特性を割り当てた反射部材が前記載置台に対して載置可能に構成されており、
    前記ミキシング処理部は、前記反射部材の配置情報と割り当てられている反射特性を用いて前記ミキシング処理を行う
    請求項１乃至請求項１０の何れかに記載の情報処理装置。
12. 前記ミキシング処理部は、前記音源設定部と前記聴取設定部の配置状況に基づき、前記聴取設定部に対する前記音源設定部の位置関係を判別して、判別結果に基づき前記聴取設定部に対する前記音源設定部の仮想空間上の位置に、前記音源設定部に割り当てられている音源を示すテクスチャを設けた映像を生成する映像生成部を有する
    請求項１乃至請求項１１の何れかに記載の情報処理装置。
13. 前記映像生成部は、前記聴取点を視点として前記映像を生成する
    請求項１２に記載の情報処理装置。
14. 前記映像生成部は、前記音源から出力される音を視覚化した映像を、前記音源を示すテクスチャを設けた映像の対応する音源の位置に重畳する
    請求項１２または請求項１３に記載の情報処理装置。
15. 前記映像生成部は、前記音源から出力される音の反射音を視覚化した映像を、前記音源を示すテクスチャを設けた映像における前記ミキシング処理において設定した音の反射位置に重畳する
    請求項１２乃至請求項１４の何れかに記載の情報処理装置。
16. 音源を割り当てた物理デバイスである音源設定部の実空間上に設けられた載置台におけるの配置情報と設定パラメータ情報をミキシング処理部で取得することと、
    聴取点を割り当てた物理デバイスである聴取設定部の前記載置台における配置情報を前記ミキシング処理部で取得することと、
    取得した前記配置情報と前記設定パラメータ情報に基づき、前記ミキシング処理部で前記音源のデータを用いてミキシング処理を行うこと
    を含む情報処理方法。
17. 音源のデータのミキシング処理を行うコンピュータに、
    前記音源を割り当てた物理デバイスである音源設定部の実空間上に設けられた載置台における配置情報と設定パラメータ情報を取得する機能と、
    聴取点を割り当てた物理デバイスである聴取設定部の前記載置台における配置情報を取得する機能と、
    取得した前記配置情報と前記設定パラメータ情報に基づき、前記音源のデータを用いてミキシング処理を行う機能と
    を前記コンピュータで実現させるプログラム。

Images