WO2024024468A1

WO2024024468A1 - 情報処理装置および方法、符号化装置、音声再生装置、並びにプログラム

Info

Publication number: WO2024024468A1
Application number: PCT/JP2023/025402
Authority: WO
Inventors: 明文河野; 知則川上
Original assignee: ソニーグループ株式会社
Priority date: 2022-07-25
Filing date: 2023-07-10
Publication date: 2024-02-01

Abstract

本技術は、より短い時間でコンテンツを制作することができるようにする情報処理装置および方法、符号化装置、音声再生装置、並びにプログラムに関する。情報処理装置は、注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、注目オブジェクトとは異なる他のオブジェクトの周波数スペクトルおよびオブジェクト位置情報とに基づいて、注目オブジェクトの他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算するマスキング情報計算部と、注目オブジェクトの周波数スペクトルおよびオブジェクト間マスキング周波数特性を表示させる表示制御部とを備える。本技術は情報処理装置に適用することができる。

Description

情報処理装置および方法、符号化装置、音声再生装置、並びにプログラム

　本技術は、情報処理装置および方法、符号化装置、音声再生装置、並びにプログラムに関し、特に、より短い時間でコンテンツを制作することができるようにした情報処理装置および方法、符号化装置、音声再生装置、並びにプログラムに関する。

　3Dオーディオは、従来の2chオーディオとは異なる、360度の全方向から音が聞こえる新しい音楽体験を提供することができる。特に3Dオーディオのフォーマットの１つであるオブジェクトオーディオでは、空間上の任意の位置にオーディオオブジェクト（以下、単にオブジェクトとも称する）と呼ばれる音源を配置することで、様々な音を表現できる。

　3Dオーディオのさらなる普及のためには、質の高いコンテンツを数多く作り出すことが求められる。そこで重要になるのがミキシング作業、すなわち、各オブジェクトの３次元位置やゲインを決定する作業である。このようなミキシング作業を専門に行うミキシングエンジニアと呼ばれる人たちがいる。

　3Dオーディオコンテンツの制作方法の例を以下に示す。

　まずミキシングエンジニアは、例えばキックのオブジェクト、ベースのオブジェクト、ヴォーカルのオブジェクトなど、各楽器や効果音などのオーディオデータをオブジェクトごとに分かれた状態で受け取る。

　次にミキシングエンジニアは、コンテンツ全体や各オブジェクトの音の聞き込みを行う。このときミキシングエンジニアは、例えばジャンルや曲調など、コンテンツがどのような種別のものであるかや、楽器種別など、各オブジェクトがどのような種別のものであるか、さらには立ち上がり、持続時間など、各オブジェクトがどのような音の特徴を有しているかを分析する。

　そして、ミキシングエンジニアは、それらの分析結果を踏まえて、各オブジェクトを３次元空間上に配置する際の位置やゲインを決定する。したがって、同じ楽器種別のオブジェクトでも、オブジェクトが有する音の特徴や、楽曲のジャンル等によって、適切な３次元位置やゲインが変わるのである。

　ミキシングエンジニアは、最後に、実際に３次元空間上にオブジェクトを配置した状態で再生される音を試聴し、オブジェクト間の聴覚マスキング、つまり重要な音が他の音にマスクされて聴こえ難くなっていないかを確認する。ミキシングエンジニアは、重要な音が他の音にマスキングされている場合には、オブジェクトの位置やゲインを調整することで、最適な聴こえになるように調整を繰り返す。

　なお、ここでいう聴覚マスキングとは、ある周波数の音が同時に再生される別の周波数の音をマスクする周波数マスキング（同時刻マスキング）のことである。

　ミキシング作業には、このような音の聞き込み、および音の聞き込みに基づいたオブジェクトの３次元位置とゲインの決定において、高度な経験や知識と時間を要する。

　コンテンツの規模にもよるが、ミキシングエンジニアが１つのコンテンツのミキシングを行うのに数時間程度かかるのが一般的である。ミキシング作業を短時間化することができれば、より多くの3Dオーディオコンテンツを制作できるようになり、3Dオーディオのさらなる普及に繋がる。

　オブジェクトオーディオにおけるミキシング、すなわちオブジェクトの３次元位置情報やゲイン等の決定を短時間化する技術として、オブジェクトのオーディオ信号から自動でオブジェクトの位置やゲインを決定するものが提案されている（例えば、特許文献１参照）。

国際公開第２０２０／０６６６８１号

　しかしながら、上述した技術を用いても、３次元空間におけるオブジェクト間のマスキングの影響についてミキシングエンジニアが試聴確認を行い、オブジェクトの位置やゲインを調整する工程が必要になる。そのため、3Dオーディオコンテンツの制作時間のさらなる短時間化が望まれている。

　本技術は、このような状況に鑑みてなされたものであり、より短い時間でコンテンツを制作することができるようにするものである。

　本技術の第１の側面の情報処理装置は、注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算するマスキング情報計算部と、前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる表示制御部とを備える。

　本技術の第１の側面の情報処理方法またはプログラムは、注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算し、前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させるステップを含む。

　本技術の第１の側面においては、注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量がオブジェクト間マスキング周波数特性として計算され、前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性が表示される。

　本技術の第２の側面の符号化装置は、オブジェクトのオーディオ信号に対する時間周波数変換を行い、周波数スペクトル情報を生成する時間周波数変換部と、前記周波数スペクトル情報と、前記オブジェクトについてのマスキング閾値に関する設定情報とに基づいて聴覚心理パラメータを計算する聴覚心理パラメータ計算部と、前記聴覚心理パラメータおよび前記周波数スペクトル情報に基づいてビットアロケーション処理を行い、量子化周波数スペクトル情報を生成するビットアロケーション部とを備える。

　本技術の第２の側面においては、オブジェクトのオーディオ信号に対する時間周波数変換が行われ、周波数スペクトル情報が生成され、前記周波数スペクトル情報と、前記オブジェクトについてのマスキング閾値に関する設定情報とに基づいて聴覚心理パラメータが計算され、前記聴覚心理パラメータおよび前記周波数スペクトル情報に基づいてビットアロケーション処理が行われ、量子化周波数スペクトル情報が生成される。

　本技術の第３の側面の音声再生装置は、外部音の到来方向と、前記外部音の到来方向に対して、目的音が聞こえやすい方向とを示す配置設定情報を記録する記録部と、周囲の音を収音する収音部と、前記収音により得られた収音信号に基づいて前記外部音の到来方向を推定するとともに、前記収音信号に基づいて、前記外部音の到来方向の推定結果に対応する前記配置設定情報により示される前記目的音が聞こえやすい方向に、前記目的音の音像が定位する再生信号を生成する制御部と、前記再生信号に基づき音声を再生する再生部とを備える。

　本技術の第３の側面においては、外部音の到来方向と、前記外部音の到来方向に対して、目的音が聞こえやすい方向とを示す配置設定情報が記録されており、周囲の音が収音され、前記収音により得られた収音信号に基づいて前記外部音の到来方向が推定されるとともに、前記収音信号に基づいて、前記外部音の到来方向の推定結果に対応する前記配置設定情報により示される前記目的音が聞こえやすい方向に、前記目的音の音像が定位する再生信号が生成され、前記再生信号に基づき音声が再生される。

　本技術の第４の側面の情報処理装置は、空間上における外部音の配置位置と、目的音の配置位置とを示す位置調整画面を表示させるとともに、ユーザの操作に応じて、前記空間上における前記目的音の配置位置を移動させ、配置位置に応じた音像位置の前記外部音および前記目的音を再生させ、前記外部音の配置位置と前記目的音の配置位置に基づいて、前記外部音の到来方向と、前記外部音の到来方向に対して前記ユーザにより設定された、前記目的音が聞こえやすい方向とを示す配置設定情報を生成する制御部を備える。

　本技術の第４の側面においては、空間上における外部音の配置位置と、目的音の配置位置とを示す位置調整画面が表示されるとともに、ユーザの操作に応じて、前記空間上における前記目的音の配置位置が移動し、配置位置に応じた音像位置の前記外部音および前記目的音が再生され、前記外部音の配置位置と前記目的音の配置位置に基づいて、前記外部音の到来方向と、前記外部音の到来方向に対して前記ユーザにより設定された、前記目的音が聞こえやすい方向とを示す配置設定情報が生成される。

情報処理装置の構成例を示す図である。３次元等ラウドネス特性テーブルの例を示す図である。周波数特性表示画面の例を示す図である。 GUI表示処理を説明するフローチャートである。情報処理装置の他の構成例を示す図である。反射オブジェクトについて説明する図である。情報処理装置の構成例を示す図である。 GUI表示処理を説明するフローチャートである。アラート表示の一例を示す図である。情報処理装置の構成例を示す図である。 GUI表示処理を説明するフローチャートである。オブジェクトの移動先の候補の表示例を示す図である。 GUI表示処理を説明するフローチャートである。エンコーダの構成例を示す図である。符号化処理を説明するフローチャートである。目的音の配置位置の調整例を示す図である。音声再生装置の構成例を示す図である。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈情報処理装置の構成例〉
　本技術は、３次元空間上におけるオブジェクト間の聴覚マスキングの周波数特性をGUI（Graphical User Interface）のグラフで表示することで、視覚的にオブジェクト間のマスキング効果を理解することができるようにするものである。これにより、オブジェクト位置とゲインの調整の繰り返しに必要な試聴回数を減らすことができ、コンテンツの制作時間をより短くすることができる。

　図１は、本技術を適用した情報処理装置の一実施の形態の構成例を示す図である。

　図１に示す情報処理装置１１は、例えばパーソナルコンピュータなどからなる。

　ミキシングエンジニア（コンテンツ制作者）であるユーザは、情報処理装置１１で動作するミキシングソフトウェア、すなわちコンテンツ制作ツールにより、3Dオーディオコンテンツを制作することができる。

　例えばユーザは、各楽器や効果音などのオブジェクトごとに分かれたオーディオ信号に対して、ミキシングソフトウェア上で３次元空間上のオブジェクトの位置を示すオブジェクト位置情報と、オブジェクトの音のゲインを示すゲイン情報を付与することでミキシングを行う。

　情報処理装置１１は、入力部２１、制御部２２、および表示部２３を有している。なお、表示部２３は、情報処理装置１１とは別の装置であってもよい。

　入力部２１は、例えばマウスやキーボードなどからなり、ユーザの操作に応じた信号を制御部２２に供給する。

　制御部２２は、情報処理装置１１全体の動作を制御する。制御部２２は、時間周波数変換部３１、ゲイン補正部３２、3D聴覚特性テーブル保持部３３、周波数スペクトル補正部３４、マスキング情報計算部３５、およびGUI生成部３６を有している。

　制御部２２においては、コンテンツを構成する各オブジェクトのオーディオ信号が時間周波数変換部３１に供給され、コンテンツを構成する各オブジェクトのメタデータがゲイン補正部３２およびマスキング情報計算部３５に供給される。

　図１では、Object[k]（但し、k=1,2,…,N）は、コンテンツを構成するk番目のオブジェクトを表しており、時間周波数変換部３１にはN個の各オブジェクトのオーディオ信号が入力される。また、ゲイン補正部３２およびマスキング情報計算部３５にはN個の各オブジェクトのメタデータが入力される。

　ここで、オブジェクトのメタデータには、ユーザが入力部２１を操作すること等により指定（入力）されたオブジェクト位置情報およびゲイン情報が含まれている。

　オブジェクト位置情報は、例えば水平角度（Azimuth）、垂直角度（Elevation）、および距離（Radius）からなる。なお、前述した表記に限らず、例えばXYZ形式などの他の形式でオブジェクト位置情報が記述されていてもよい。

　水平角度および垂直角度は、３次元空間における基準となる聴取位置から見たオブジェクトの位置を示す水平方向および垂直方向の角度である。また、距離（Radius）は３次元空間におけるオブジェクトの位置を示す、基準となる聴取位置からオブジェクトまでの距離（半径）を示している。

　時間周波数変換部３１は、供給された各オブジェクトのオーディオ信号に対してMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）を用いた時間周波数変換を行う。これにより、時間信号であるオーディオ信号が周波数領域の信号である周波数スペクトルに変換される。

　時間周波数変換部３１は、時間周波数変換により得られた周波数スペクトルを周波数スペクトル補正部３４に供給する。なお、メタデータに含まれるゲイン情報が時間周波数変換部３１に供給され、時間周波数変換部３１がゲイン情報に基づいて、オーディオ信号または周波数スペクトルに対するゲイン補正を行うようにしてもよい。

　ゲイン補正部３２は、供給された各オブジェクトのメタデータと、3D聴覚特性テーブル保持部３３に保持されている３次元等ラウドネス特性テーブルとに基づいて補正ゲイン情報を求め、周波数スペクトル補正部３４に供給する。

　この補正ゲイン情報は、各オブジェクトの周波数スペクトルに対して、各オブジェクトの３次元空間上の位置に応じて、３次元等ラウドネス特性を考慮したゲイン補正を行うためのゲインを示す情報である。

　音源から聴取者への音の到来方向によって、人間（聴取者）の主観的な音圧感度、すなわち聴覚感度（音の大きさの感じ方）が異なることが知られている。例えばある音の音圧感度が高ければ、その分、その音はマスクされにくくなる（マスクしやすくなる）ため、周波数スペクトル補正部３４では、このような音の到来方向と音圧感度に関する特性、すなわち３次元等ラウドネス特性が考慮されたゲイン補正が行われる。

　例えば3D聴覚特性テーブル保持部３３には、図２に示す３次元等ラウドネス特性テーブルが保持されている。

　この例では、３次元等ラウドネス特性テーブルには、オブジェクト位置情報を構成する水平角度（Azimuth）と垂直角度（Elevation）により定まる３次元空間上の位置（オブジェクト位置）ごとに、その位置に対応するゲイン補正値（dB）が格納されている。

　換言すれば、３次元等ラウドネス特性テーブルには、音源であるオブジェクトから聴取者への音の到来方向、つまり聴取者から見た音源の方向（位置）と、その方向に応じたゲイン補正値とが対応付けられている。なお、ここではオブジェクト位置情報を構成する距離（Radius）の値は1.0mであるものとされている。

　３次元等ラウドネス特性テーブルにより示されるゲイン補正値は、音の到来方向に対する人の聴覚特性に応じて定められたものであり、特に音の到来方向によらず聴感上の音の大きさが一定になるようなゲイン補正量となっている。換言すれば、ゲイン補正値は、音の到来方向に関する聴覚特性（３次元等ラウドネス特性）に基づくゲイン値の補正を行うための補正値である。

　したがって、３次元等ラウドネス特性テーブルにより示されるゲイン補正値によりオブジェクトのオーディオ信号をゲイン補正すれば、オブジェクトの位置によらず、同じオブジェクトの音は同じ大きさで聞こえるようになる。

　例えば聴取者からに見て音源が正面にある場合、つまりAzimuthが0度であり、かつElevationが0度である場合（ゲイン補正値は「0.00」）と比較して、音源が聴取者から見て右側にある場合、つまりAzimuthが90度であり、かつElevationが0度である場合、聴取者には音源からの音が大きく聞こえる。そのため、Azimuth＝90度、かつElevation＝0度である位置に対しては、音源からの音が小さくなるようなゲイン補正を行うためのゲイン補正値「-0.52」が定められている。

　なお、オブジェクトの位置は、３次元等ラウドネス特性テーブルにおいて、対応するゲイン補正値が格納されている位置にあるとは限らない。

　具体的には、例えば3D聴覚特性テーブル保持部３３に図２に示した３次元等ラウドネス特性テーブルが保持されており、オブジェクト位置情報としての水平角度、垂直角度、および距離が-120度、15度、および1.0mであるとする。

　この場合、図２の３次元等ラウドネス特性テーブルには、水平角度「-120」、垂直角度「15」、および距離「1.0」に対応するゲイン補正値は格納されていない。

　そこで、３次元等ラウドネス特性テーブルに、オブジェクト位置情報により示される位置に対応するゲイン補正値がない場合には、そのオブジェクト位置情報により示される位置に隣接する、対応するゲイン補正値が存在する複数の位置のゲイン補正値を用いて、ゲイン補正部３２が補間処理等により所望の位置のゲイン補正値を算出するようにしてもよい。換言すれば、オブジェクト位置情報により示される位置の近傍にある、複数の各位置に対応付けられているゲイン補正値に基づいて補間処理等を行うことにより、オブジェクト位置情報により示される位置のゲイン補正値が求められる。

　例えば、ゲイン補正値の補間方法の１つとしてVBAP（Vector Base Amplitude Panning）を利用した方法がある。

　VBAP（３点VBAP）は、３次元空間音響のレンダリングでよく用いられる振幅パンニング手法である。

　VBAPでは、任意の仮想スピーカの近傍にある３つの実スピーカに対して、それぞれ重み付けのゲインを与えて音源信号を再生することで、仮想スピーカの位置を任意に変えることができる。

　その際、聴取位置から各実スピーカまでの３方向のベクトルL1、ベクトルL2、およびベクトルL3を、実スピーカに与えるゲインで重み付け加算して得られる合成ベクトルの向きが、仮想スピーカの向き（Lp）と一致するように各実スピーカのゲインvg1、ゲインvg2、およびゲインvg3が求められる。具体的には、仮想スピーカの向き、すなわち聴取位置から仮想スピーカまでのベクトルをベクトルLpとすると、次式（１）を満たすゲインvg1乃至ゲインvg3が求められる。

　ここで、上述の３つの各実スピーカの位置を、３次元等ラウドネス特性テーブルに対応する３つのゲイン補正値CG1、ゲイン補正値CG2、およびゲイン補正値CG3が存在する位置とする。また、上述の仮想スピーカの位置を、３次元等ラウドネス特性テーブルに対応するゲイン補正値がない任意の位置とする。

　このとき、次式（２）を計算することで、仮想スピーカの位置におけるゲイン補正値CGpを得ることができる。

　式（２）では、まず、VBAPで求めた上述の重み付けのゲインvg1、ゲインvg2、およびゲインvg3に対して２乗和が１になるように正規化が行われて比率R1、比率R2、および比率R3が求められる。

　そして、求められた比率R1、比率R2、および比率R3により、実スピーカ位置のゲイン補正値CG1、ゲイン補正値CG2、およびゲイン補正値CG3が重み付けされて加算された合成ゲインが、仮想スピーカの位置におけるゲイン補正値CGpとされる。

　具体的には、３次元空間内においてゲイン補正値が用意されている複数の位置でメッシュが区切られる。すなわち、例えば３次元空間内の３つの各位置のゲイン補正値が用意されているとすると、それらの３つの位置を頂点とする１つの３角形の領域が１つのメッシュとされる。

　このようにして３次元空間が複数のメッシュに区切られると、ゲイン補正値を得ようとする所望の位置を注目位置として、その注目位置を内包するメッシュが特定される。

　また、特定されたメッシュを構成する３つの頂点位置を示す位置ベクトルの乗加算により注目位置を示す位置ベクトルを表したときの３つの各頂点位置を示す位置ベクトルに乗算される係数がVBAPにより求められる。

　そして、このようにして求められた３つの係数を２乗和が１になるように正規化したそれぞれが、注目位置を内包するメッシュの３つの各頂点位置のゲイン補正値のそれぞれに乗算され、係数が乗算されたゲイン補正値の和が注目位置のゲイン補正値として算出される。また、正規化は、和または３乗以上の和が１になるようにするなど、どのような方法で行われてもよい。

　なお、ゲイン補正値の補間方法はVBAPを利用した補間に限らず、他のどのような方法であってもよい。

　例えば３次元等ラウドネス特性テーブルにおいてゲイン補正値が存在する位置のうち、注目位置の近傍にあるN個（例えばN＝5）の位置など、複数個の位置のゲイン補正値の平均値を注目位置のゲイン補正値として用いてもよい。

　また、例えば３次元等ラウドネス特性テーブルにおいてゲイン補正値が存在する位置のうち、注目位置に最も近い、ゲイン補正値が用意（格納）されている位置のゲイン補正値を注目位置のゲイン補正値として用いるようにしてもよい。

　図１の説明に戻り、ゲイン補正部３２は、３次元等ラウドネス特性テーブルから、メタデータに含まれているオブジェクト位置情報により示される位置に対応付けられているゲイン補正値を読み出して、読み出したゲイン補正値を補正ゲイン情報として周波数スペクトル補正部３４に供給する。

　なお、メタデータに含まれているゲイン情報に基づくゲイン補正は、時間周波数変換部３１において行われるようにしてもよいし、周波数スペクトル補正部３４において行われるようにしてもよい。

　例えば周波数スペクトル補正部３４においてゲイン情報に基づくゲイン補正が行われる場合、ゲイン補正部３２は、ゲイン情報と、３次元等ラウドネス特性テーブルから読み出した、オブジェクト位置情報により定まるゲイン補正値とに基づいて補正ゲイン情報を生成する。

　この場合、補正ゲイン情報に基づくゲイン補正を行うことにより、ユーザにより指定されたゲイン情報に基づくゲイン補正と、３次元等ラウドネス特性を考慮したゲイン補正値に基づくゲイン補正とが同時に行われることになる。換言すれば、ゲイン情報により示されるゲインがゲイン補正値により補正される。以下では、ゲイン情報に基づくゲイン補正が周波数スペクトル補正部３４において行われるものとして説明を続ける。

　周波数スペクトル補正部３４は、ゲイン補正部３２から供給された補正ゲイン情報に基づいて、時間周波数変換部３１から供給された周波数スペクトルに対するゲイン補正を行い、その結果得られた補正周波数スペクトルをマスキング情報計算部３５およびGUI生成部３６に供給する。

　周波数スペクトル補正部３４において得られるオブジェクトの補正周波数スペクトルは、コンテンツを構成するオブジェクトの音の周波数特性を示す情報である。特に、ここでは、補正周波数スペクトルは３次元等ラウドネス特性を考慮した周波数特性となっている。

　マスキング情報計算部３５は、周波数スペクトル補正部３４から供給された各オブジェクトの補正周波数スペクトルに基づいて、オブジェクトごとに、オブジェクト内での各周波数における聴覚マスキング量、すなわちマスキング閾値（周波数マスキング閾値）をオブジェクト内マスキング閾値として計算により求める。マスキング閾値とは、マスキングによって聞こえなくなる音圧の境界の閾値であり、その閾値よりも小さな音は聴感上知覚されなくなる。

　オブジェクト内マスキング閾値は、１つのオブジェクトの音に関するマスキング周波数特性、すなわち周波数成分間のマスキングの特性を示す情報である。以下、各周波数におけるオブジェクト内マスキング閾値により示されるマスキング周波数特性を、オブジェクト内マスキング周波数特性とも称することとする。

　例えば１つのオブジェクトの音は複数の周波数成分からなり、各周波数成分の音は、他の周波数成分の音をマスクする。すなわち、３次元空間上に１つのオブジェクト以外に音源がない場合であっても、オブジェクトの大きい周波数成分の音によって、その周波数成分の近傍の他の小さい周波数分の音はマスクされてしまう。

　なお、オブジェクト内マスキング閾値の計算方法等については、例えば「Marina Bosi and Richard E. Goldberg “Introduction to Digital Audio Coding and Standards”Kluwer Academic Publishers, 2002.」などに詳細に記載されている。

　また、以下においては、周波数マスキングを単にマスキングと説明するが、周波数マスキングの代わりに継時マスキングを用いてもよいし、周波数マスキングと継時マスキングの両方を用いることもできる。すなわち、周波数マスキングと継時マスキングの少なくとも何れか一方を考慮したマスキング閾値に関する特性を表示部２３にグラフ表示することができる。

　周波数マスキングとは、複数の周波数の音が同時に再生されたとき、ある周波数の音が別の周波数の音をマスクして聞こえにくくする現象である。

　継時マスキングとは、ある音が再生されたとき、時間的にその前後に再生された音をマスクして聞こえにくくする現象である。

　また、マスキング情報計算部３５は、各オブジェクトの補正周波数スペクトルと、入力部２１から供給された各オブジェクトのメタデータに含まれるオブジェクト位置情報とに基づいて、２つのオブジェクトの組み合わせごとに、オブジェクト間マスキング閾値を計算により求める。

　オブジェクト間マスキング閾値は、オブジェクト間の各周波数における聴覚マスキング量、すなわちマスキング閾値（空間マスキング閾値）である。

　換言すれば、オブジェクト間マスキング閾値は、オブジェクト間の音に関するマスキング周波数特性を示す情報である。以下、各周波数におけるオブジェクト間マスキング閾値により示されるマスキング周波数特性を、オブジェクト間マスキング周波数特性とも称することとする。

　例えば、オブジェクト間マスキング閾値は、主観評価実験により求めたテーブルを用いることで求めることができる。

　なお、オブジェクト間マスキング閾値は、主観評価実験により求めたテーブルを用いる方法に限らず、他のどのような方法で求められてもよい。

　例えば、主観評価実験の結果を用いて空間マスキングモデルを構築し、その空間マスキングモデルに基づいてオブジェクト間マスキング閾値を求めるようにしてもよい。

　さらにマスキング情報計算部３５は、各オブジェクトについて、周波数ごとに他のオブジェクトとの間のオブジェクト間マスキング閾値の合成値を計算により求め、得られた合成値をマスキング合成値（空間マスキング閾値）とする。

　オブジェクト間マスキング閾値の合成値は、例えば複数のオブジェクト間マスキング閾値の加算値（合計値）とされてもよいし、複数のオブジェクト間マスキング閾値を所定の重みにより重み付き加算することで得られる値とされてもよい。

　このとき、重み付き加算に用いられる重みは、３次元空間における基準となる聴取位置とオブジェクトとの間の位置関係や距離などに基づき定められるものであってもよいし、オブジェクトの種別等に対して予め定められたものであってもよい。また、周波数ごとに重みが定められてもよく、特に周波数ごとに定められた全オブジェクトで共通の重みが用いられるようにしてもよい。また、前述した以外の要素に基づいて重みが定められてもよい。

　マスキング合成値は、オブジェクトの３次元空間上にある他の全てのオブジェクトからの音に関する周波数ごとの聴覚マスキング量、すなわちマスキング閾値（空間マスキング閾値）である。なお、他の全てのオブジェクトではなく、オブジェクトの３次元空間上にある他の一部（２以上）のオブジェクトからの音に関する周波数ごとの聴覚マスキング量をマスキング合成値として求めてもよい。また、マスキング合成値は、複数の他のオブジェクトとの間のオブジェクト間マスキング閾値と、オブジェクト内マスキング閾値との周波数ごとの合成値であってもよい。以下、各周波数におけるマスキング合成値により示されるマスキング周波数特性を、合成マスキング周波数特性とも称することとする。

　マスキング情報計算部３５は、少なくとも１つのオブジェクトについて、オブジェクト内マスキング閾値（オブジェクト内マスキング周波数特性）、オブジェクト間マスキング閾値（オブジェクト間マスキング周波数特性）、およびマスキング合成値（合成マスキング周波数特性）を求め、GUI生成部３６に供給する。

　GUI生成部３６は、周波数スペクトル補正部３４から供給された補正周波数スペクトルと、マスキング情報計算部３５から供給されたオブジェクト内マスキング閾値、オブジェクト間マスキング閾値、およびマスキング合成値とに基づいて周波数特性表示画面を表示させるための画像データを生成し、表示部２３に供給する。GUI生成部３６は、画像データに基づき表示部２３に周波数特性表示画面等を表示させる表示制御部として機能する。

　周波数特性表示画面では、少なくとも１つのオブジェクトについて、そのオブジェクトについての３次元等ラウドネス特性を考慮した周波数特性、オブジェクト内マスキング周波数特性、オブジェクト間マスキング周波数特性、および合成マスキング周波数特性がグラフ表示される。

　すなわち、GUI生成部３６は、画像データを表示部２３に供給することで、表示部２３にオブジェクトについての３次元等ラウドネス特性を考慮した周波数特性、オブジェクト内マスキング周波数特性、オブジェクト間マスキング周波数特性、および合成マスキング周波数特性をGUIのグラフで表示させる。

　なお、ユーザは、入力部２１を操作することで、どのオブジェクトについてオブジェクト内マスキング周波数特性等を表示させるかを指定することが可能である。

　以下では、説明を簡単にするため、周波数特性表示画面には、１つのオブジェクトについてオブジェクト内マスキング周波数特性等が表示されるものとする。

　また、以下、周波数特性表示画面にオブジェクト内マスキング周波数特性等を表示させるオブジェクトを、特に注目オブジェクトとも称することとする。さらに、注目オブジェクトについて、オブジェクト間マスキング周波数特性を表示させるときの注目オブジェクトとは異なる他のオブジェクトを指定別オブジェクトとも称することとする。これらの注目オブジェクトと指定別オブジェクトはユーザにより指定可能である。

　その他、ユーザが周波数特性表示画面上に、オブジェクトの周波数特性、オブジェクト内マスキング周波数特性、オブジェクト間マスキング周波数特性、および合成マスキング周波数特性のうちの何れのものをグラフ表示させるかを指定（選択）できるようにしてもよい。このとき、オブジェクトの周波数特性やオブジェクト内マスキング周波数特性などのうちの任意の１以上のものを指定できるようにしてもよい。

　表示部２３は、例えばディスプレイからなり、GUI生成部３６から供給された画像データに基づいて、周波数特性表示画面等の各種の画像（画面）を表示する。

　以上のような情報処理装置１１では、ユーザが指定別オブジェクトを変更したり、オブジェクトを追加したり、オブジェクトのオブジェクト位置情報やゲイン情報を変更したりすると、それらの変更や追加に応じて周波数特性表示画面が更新される。

　表示部２３には、例えば図３に示す周波数特性表示画面が表示される。

　図３において横軸は周波数を示しており、縦軸は振幅（レベル）を示している。曲線L11は注目オブジェクトのオブジェクト内マスキング周波数特性（オブジェクト内マスキング閾値）を示しており、曲線L12は注目オブジェクトと指定別オブジェクトとの間のオブジェクト間マスキング周波数特性（オブジェクト間マスキング閾値）を示している。

　曲線L13は、注目オブジェクトについての合成マスキング周波数特性（マスキング合成値）を示しており、曲線L14は、３次元等ラウドネス特性を考慮した注目オブジェクトの周波数特性（補正周波数スペクトル）を示している。

　例えば注目オブジェクトと、３次元空間上に配置された注目オブジェクト以外の他の全てのオブジェクトとの関係に注目すると、曲線L14に示す補正周波数スペクトルが、曲線L13に示すマスキング合成値より小さくなると、注目オブジェクトの音は、他のオブジェクトの音にマスクされて聞こえなくなる。

　また、注目オブジェクトと指定別オブジェクトに注目すると、曲線L14に示す補正周波数スペクトルが、曲線L12に示すオブジェクト間マスキング閾値より小さくなると、注目オブジェクトの音は、指定別オブジェクトの音にマスクされて聞こえなくなる。

　ユーザは、曲線L11乃至曲線L14に示される各周波数特性を確認しながら、入力部２１を操作し、各オブジェクトのオブジェクト位置情報やゲイン情報を指定（調整）する。

　周波数特性表示画面では曲線L14に示す注目オブジェクトの周波数特性や、曲線L12に示すオブジェクト間マスキング周波数特性、曲線L13に示す合成マスキング周波数特性がグラフ表示されている。

　複数の各オブジェクトの周波数特性のみをグラフ表示しても、ユーザがオブジェクト間の聴覚マスキングの効果を理解することは困難である。

　これに対して、図３に示す周波数特性表示画面では、注目オブジェクトの周波数特性だけでなく、オブジェクト間マスキング周波数特性や合成マスキング周波数特性もグラフ表示されている。そのため、ユーザは各オブジェクトのオブジェクト位置情報やゲイン情報に応じたオブジェクト間の聴覚マスキングの効果を視覚的に理解することができる。

　これにより、オブジェクト位置情報とゲイン情報の調整を繰り返す工程で必要となる試聴確認の回数を減らすことができ、より短い時間で3Dオーディオコンテンツを制作することができるようになる。

　なお、周波数特性表示画面において、注目オブジェクトの周波数特性（補正周波数スペクトル）だけでなく、指定別オブジェクトなど、他のオブジェクトの周波数特性（補正周波数スペクトル）も表示されるようにしてもよい。

　また、ユーザがマスキング合成値（合成マスキング周波数特性）の計算に用いるオブジェクトを指定（選択）できるようにしてもよい。そのような場合、例えばユーザによって、３次元空間上における注目オブジェクトの周囲にある１または複数のオブジェクトが選択され、それらの選択されたオブジェクトのオブジェクト間マスキング閾値の合成値がマスキング合成値として求められる。

〈GUI表示処理の説明〉
　次に、情報処理装置１１の動作について説明する。すなわち、以下、図４のフローチャートを参照して、情報処理装置１１により行われるGUI表示処理について説明する。

　ステップＳ１１において入力部２１は、ユーザの指定操作に応じて、オブジェクト位置情報およびゲイン情報の入力を行う。

　すなわち、入力部２１は、ユーザによる指定操作により指定されたオブジェクトのオブジェクト位置情報およびゲイン情報を示す信号を制御部２２に供給する。このとき、ユーザは、必要に応じて入力部２１を操作し、注目オブジェクトや指定別オブジェクトの指定も行い、入力部２１はその指定に応じた信号も制御部２２に供給する。

　ステップＳ１２において時間周波数変換部３１は、供給された各オブジェクトのオーディオ信号に対して時間周波数変換を行い、その結果得られた周波数スペクトルを周波数スペクトル補正部３４に供給する。

　ステップＳ１３において周波数スペクトル補正部３４は、時間周波数変換部３１から供給された周波数スペクトルに対するゲイン補正を行い、その結果得られた補正周波数スペクトルをマスキング情報計算部３５およびGUI生成部３６に供給する。

　例えばゲイン補正部３２は、供給された各オブジェクトのメタデータに含まれるオブジェクト位置情報に基づいて、3D聴覚特性テーブル保持部３３に保持されている３次元等ラウドネス特性テーブルから、オブジェクト位置情報により示される位置に対応付けられているゲイン補正値を読み出す。

　そしてゲイン補正部３２は、読み出したゲイン補正値に基づいて、オブジェクトのメタデータに含まれるゲイン情報を補正することで補正ゲイン情報を算出し、周波数スペクトル補正部３４に供給する。

　周波数スペクトル補正部３４は、ゲイン補正部３２から供給された補正ゲイン情報に基づいて、時間周波数変換部３１から供給された周波数スペクトルに対するゲイン補正を行うことで補正周波数スペクトルを生成する。

　ステップＳ１４においてマスキング情報計算部３５は、入力部２１から供給された信号により示される注目オブジェクトについて、周波数スペクトル補正部３４から供給された注目オブジェクトの補正周波数スペクトルに基づいて、オブジェクト内マスキング閾値を算出する。

　ステップＳ１５においてマスキング情報計算部３５は、各オブジェクトの補正周波数スペクトルと、入力部２１から供給された各オブジェクトのオブジェクト位置情報とに基づいて、注目オブジェクトの他のオブジェクトとの間のオブジェクト間マスキング閾値を算出する。

　ステップＳ１６においてマスキング情報計算部３５は、ステップＳ１５でオブジェクトごとに求めたオブジェクト間マスキング閾値の合成値を周波数ごとに求めることで、注目オブジェクトについてのマスキング合成値を算出する。

　マスキング情報計算部３５は、以上のステップＳ１４乃至ステップＳ１６の処理で得られたオブジェクト内マスキング閾値、オブジェクト間マスキング閾値、およびマスキング合成値をGUI生成部３６に供給する。

　ステップＳ１７においてGUI生成部３６は、入力部２１から供給された信号により示される注目オブジェクトおよび指定別オブジェクトに応じた周波数特性表示画面の画像データを生成するとともに、生成した画像データを表示部２３に供給し、周波数特性表示画面を表示させる。

　すなわち、GUI生成部３６は、周波数スペクトル補正部３４から供給された補正周波数スペクトルと、マスキング情報計算部３５から供給されたオブジェクト内マスキング閾値、オブジェクト間マスキング閾値、およびマスキング合成値とに基づいて周波数特性表示画面の画像データを生成する。

　これにより、例えば図３に示した周波数特性表示画面の画像データが生成される。この周波数特性表示画面には、注目オブジェクトのオブジェクト内マスキング周波数特性、注目オブジェクトの指定別オブジェクトとの間のオブジェクト間マスキング周波数特性、注目オブジェクトについての合成マスキング周波数特性、および３次元等ラウドネス特性を考慮した注目オブジェクトの周波数特性がグラフ表示される。

　ステップＳ１８において制御部２２は、ミキシング、すなわちオブジェクト位置情報とゲイン情報を調整する処理を終了するか否かを判定する。

　ステップＳ１８において、まだ処理を終了しないと判定された場合、その後、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。

　この場合、例えばステップＳ１１では、注目オブジェクトや指定別オブジェクトが変更されたり、任意のオブジェクトのオブジェクト位置情報やゲイン情報が変更（調整）されたりする。また、ステップＳ１１では、新たなオブジェクトが追加され、そのオブジェクトのオブジェクト位置情報やゲイン情報が入力されることもある。

　そのため、その後のステップＳ１３乃至ステップＳ１６では、それらの変更や追加が反映された補正周波数スペクトル、オブジェクト内マスキング周波数特性、オブジェクト間マスキング周波数特性、合成マスキング周波数特性が求められる。

　そしてステップＳ１７では、注目オブジェクトや指定別オブジェクト、オブジェクト位置情報、ゲイン情報の変更、新たなオブジェクトの追加などに応じて、周波数特性表示画面の表示が更新される。すなわち、変更や追加が反映された補正周波数スペクトルや、オブジェクト内マスキング周波数特性、オブジェクト間マスキング周波数特性、合成マスキング周波数特性が表示される。

　なお、ステップＳ１１乃至ステップＳ１７の処理が繰り返し行われる場合、ステップＳ１２の処理は１度だけ行われればよい。

　また、ステップＳ１８において処理を終了すると判定された場合、制御部２２は、オブジェクトごとに指定されたオブジェクト位置情報およびゲイン情報からなる、各オブジェクトのメタデータを生成して図示せぬ記録部に記録させ、GUI表示処理は終了する。

　以上のようにして情報処理装置１１は、オブジェクト間マスキング周波数特性や合成マスキング周波数特性がグラフ表示される周波数特性表示画面の画像データを生成し、周波数特性表示画面を表示する。

　このようにすることで、ユーザに対してオブジェクト間の聴覚マスキングの効果を視覚的に理解させることができる。その結果、オブジェクト位置情報とゲイン情報の調整を繰り返す工程で必要となる試聴確認の回数を減らすことができ、より短い時間で3Dオーディオコンテンツを制作することができる。

〈第１の実施の形態の変形例１〉
〈情報処理装置の他の構成例〉
　なお、図１に示した情報処理装置１１では、各オブジェクトの３次元空間上の位置に応じた３次元等ラウドネス特性を考慮する例について説明した。しかし、３次元等ラウドネス特性は特に考慮されないようにしてもよい。

　そのような場合、情報処理装置１１は、例えば図５に示すように構成される。なお、図５において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図５に示す情報処理装置１１は、入力部２１、制御部２２、および表示部２３を有している。また、制御部２２は、時間周波数変換部３１、マスキング情報計算部３５、およびGUI生成部３６を有している。

　図５に示す情報処理装置１１の構成は、制御部２２にゲイン補正部３２、3D聴覚特性テーブル保持部３３、および周波数スペクトル補正部３４が設けられていない点で図１の情報処理装置１１と異なり、その他の点については図１の情報処理装置１１と同じ構成となっている。

　時間周波数変換部３１は、供給された各オブジェクトのオーディオ信号に対して時間周波数変換を行い、その結果得られた周波数スペクトルをマスキング情報計算部３５およびGUI生成部３６に供給する。このとき時間周波数変換部３１は、供給されたメタデータに含まれるゲイン情報に基づいて、オーディオ信号または周波数スペクトルに対するゲイン補正を行う。したがって、マスキング情報計算部３５およびGUI生成部３６には、ゲイン情報に基づくゲイン補正がなされた周波数スペクトルが供給される。

　マスキング情報計算部３５は、時間周波数変換部３１から供給された各オブジェクトの周波数スペクトルと、供給された各オブジェクトのオブジェクト位置情報とに基づいて、オブジェクト内マスキング閾値、オブジェクト間マスキング閾値、およびマスキング合成値を求め、GUI生成部３６に供給する。

　GUI生成部３６は、時間周波数変換部３１から供給された周波数スペクトルと、マスキング情報計算部３５から供給されたオブジェクト内マスキング閾値、オブジェクト間マスキング閾値、およびマスキング合成値とに基づいて周波数特性表示画面を表示させるための画像データを生成し、表示部２３に供給する。

　この場合、周波数特性表示画面には、注目オブジェクトの周波数特性として、３次元等ラウドネス特性が考慮されていない周波数スペクトル、すなわち時間周波数変換部３１で得られた周波数スペクトルが表示される。

〈第２の実施の形態〉
〈音響パラメータに基づく周波数特性の計算について〉
　ところで、聴覚マスキング（空間マスキング）の効果は、オブジェクトが配置される仮想的な３次元空間を形成する部屋等の反射や残響によって影響を受ける。

　例えば、マスクする音の反射音を仮想的な反射オブジェクトとみなせば、あるオブジェクトからの空間マスキング閾値は、そのオブジェクトの直接音によるマスキングと仮想的な反射オブジェクトからのマスキングとの合計と考えることができる。

　具体的には、例えば図６に示すように、壁WL11により囲まれる部屋（空間）内に、聴取者U11、オブジェクトOB11、およびオブジェクトOB12が配置されているとする。特に、聴取者U11を中心とする円上にオブジェクトOB11とオブジェクトOB12が配置されているとする。

　また、聴取者U11の正面にあるオブジェクトOB11が注目オブジェクトとされ、オブジェクトOB12が指定別オブジェクトとされているとする。すなわち、オブジェクトOB11からの音がマスクされる音であり、オブジェクトOB12からの音が、オブジェクトOB11からの音をマスクする音であるとする。

　この例では聴取者U11は、オブジェクトOB12から発せられた音として、オブジェクトOB12から直接、聴取者U11へと到達する直接音と、オブジェクトOB12から発せられ、壁WL11における位置P11で反射して聴取者U11へと到達する反射音とを聴取することになる。

　したがって、注目オブジェクトであるオブジェクトOB11のオブジェクトOB12との間のオブジェクト間マスキング閾値は、オブジェクトOB12の直接音との間のオブジェクト間マスキング閾値と、オブジェクトOB12の反射音との間のオブジェクト間マスキング閾値との合計値となる。

　このようなオブジェクトOB11のオブジェクト間マスキング閾値を求めるには、オブジェクトOB11やオブジェクトOB12が配置された円と、オブジェクトOB12からの反射音の経路との交点の位置に反射オブジェクトOB13を配置すればよい。

　この反射オブジェクトOB13は、オブジェクトOB12からの反射音に対応する仮想的なオブジェクトである。反射オブジェクトOB13の位置は、例えばオブジェクトOB12のオブジェクト位置情報と、壁WL11の位置等とから鏡像法などにより求めることができる。

　このような場合、オブジェクトOB11とオブジェクトOB12（直接音）との間のオブジェクト間マスキング閾値、およびオブジェクトOB11と反射オブジェクトOB13（反射音）との間のオブジェクト間マスキング閾値の合計値が、最終的なオブジェクトOB11のオブジェクトOB12との間のオブジェクト間マスキング閾値として求められる。

　なお、直接音のオブジェクト間マスキング閾値と、反射音のオブジェクト間マスキング閾値とを重み付き加算等により合成し、その結果得られた合成値を最終的なオブジェクト間マスキング閾値としてもよい。ここで、反射音は大きく初期反射音と後部残響音に分けることができるため、合成の過程で、初期反射音と後部残響音とでそれぞれ異なる重み付けを行ってもよい。また、直接音が聞こえてから残響音が鳴り始めるまでの時間（プリディレイ）が考慮されるようにしてもよい。さらに、オブジェクト毎の指向性が考慮されてもよい。

　直接音だけでなく反射音についても考慮することで、オブジェクトが配置された３次元空間の音響特性を考慮したオブジェクト間マスキング閾値を得ることができる。

　すなわち、オブジェクトが配置される３次元空間としての部屋等で、オブジェクトの音を聴いたときのオブジェクト間マスキング閾値やマスキング合成値を表示部２３にグラフ表示させることができる。

　なお、反射音（反射オブジェクト）の位置（オブジェクト位置情報）やゲイン（ゲイン情報）、周波数特性（周波数スペクトル）は、直接音のオーディオ信号およびオブジェクト位置情報と、音響パラメータとを用いた音響シミュレーションにより求めることができる。

　ここで、音響パラメータとは、例えばオブジェクトが配置される３次元空間としての部屋等のサイズ（大きさ）や壁の反射率、壁の配置位置（部屋の形状）などといった、オブジェクトが配置される３次元空間の音響特性に関するパラメータである。

　また、音響シミュレーションとして、例えば鏡像法などの幾何音響シミュレーションを行うようにすることができる。このようにすることで、対象とする部屋でオブジェクトの音を聴いたときに近い空間マスキング閾値を表示することができる。

　音響シミュレーションに用いる音響パラメータの設定方法として、例えば以下に示す３つの設定方法ST1乃至設定方法ST3のなかの任意のものをユーザが選択できるようにしてもよい。

　設定方法ST1：　プリセットとして用意した音響パラメータのなかからユーザが選択
　設定方法ST2：　ユーザが音響パラメータを入力
　設定方法ST3：　ユーザが選択した実測データから音響パラメータを計算

　例えば設定方法ST1では、互いに音響特性の異なる複数の部屋など、複数の空間ごとの音響パラメータが予めプリセットとして用意される。そして、ユーザは、それらのプリセットされた複数の音響パラメータのなかから所望の１つの音響パラメータを選択する。設定方法ST1の一例として、著名なミキシングエンジニアが過去に設定したプリセット（音響パラメータ）をユーザが選択できるようにしてもよい。このようにすることで、初心者やミキシング経験の浅いクリエイタがコンテンツを制作する際の障壁を軽減することができる。

　設定方法ST2では、ユーザが入力部２１を操作することで、直接、部屋（空間）のサイズや壁の反射率などといった空間の音響特性に関するパラメータを音響パラメータとして入力する。そして、ユーザにより入力された音響パラメータが用いられて音響シミュレーションが行われる。

　設定方法ST3では、オブジェクトが配置される３次元空間に対応する実在（実際）の部屋等の空間において、予めマイクロホン等によりインパルス応答などの音響特性に関する測定が行われ、その測定結果が実測データのファイルとして用意される。

　そして、ユーザが、互いに音響特性の異なる複数の空間ごとに用意された実測データのファイルのなかから所望の１つの実測データを選択すると、選択された実測データに基づき音響パラメータが算出され、その音響パラメータが用いられて音響シミュレーションが行われる。設定方法ST3の一例として、著名なアーティストが使用するスタジオの実測データが格納されており、その実測データを選択することで、当該アーティストと同様のミキシング環境を再現できるようにしてもよい。

〈情報処理装置の構成例〉
　空間内での音の反射も考慮されて周波数特性表示画面が表示される場合、情報処理装置１１は、例えば図７に示すように構成される。なお、図７において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図７に示す情報処理装置１１は、入力部２１、制御部２２、および表示部２３を有している。また、制御部２２は、時間周波数変換部３１、反射オブジェクト計算部６１、マスキング情報計算部３５、およびGUI生成部３６を有している。

　図７に示す情報処理装置１１の構成は、図５に示した情報処理装置１１に新たに反射オブジェクト計算部６１が設けられた構成となっている。

　反射オブジェクト計算部６１は、入力部２１から供給される信号に基づいて、音響パラメータの設定を行う。

　また、反射オブジェクト計算部６１は、供給された各オブジェクトのメタデータ、時間周波数変換部３１から供給された各オブジェクトの周波数スペクトル、および音響パラメータに基づいて音響シミュレーションを行う。

　反射オブジェクト計算部６１は、音響シミュレーションにより得られた反射オブジェクトのオブジェクト位置情報および周波数スペクトルをマスキング情報計算部３５に供給する。

　マスキング情報計算部３５は、時間周波数変換部３１から供給された各オブジェクトの周波数スペクトルと、供給された各オブジェクトのオブジェクト位置情報と、反射オブジェクト計算部６１から供給された反射オブジェクトのオブジェクト位置情報および周波数スペクトルとに基づいて、オブジェクト内マスキング閾値、オブジェクト間マスキング閾値、およびマスキング合成値を求め、GUI生成部３６に供給する。

　なお、図７に示した情報処理装置１１においても３次元等ラウドネス特性テーブルに基づくゲイン補正が行われるようにしてもよい。

〈GUI表示処理の説明〉
　次に、図７に示した構成の情報処理装置１１により行われるGUI表示処理について説明する。すなわち、以下、図８のフローチャートを参照して、空間内での音の反射が考慮される場合に情報処理装置１１により行われるGUI表示処理について説明する。

　ステップＳ５１において反射オブジェクト計算部６１は、入力部２１から供給されるユーザの操作に応じた信号に基づいて、音響パラメータの設定を行う。

　例えばユーザが上述の設定方法ST1を選択し、プリセットされた複数の音響パラメータのなかから１つの音響パラメータを選択した場合、反射オブジェクト計算部６１は、ユーザにより選択された音響パラメータを音響シミュレーションに用いるものとして設定する。

　また、例えばユーザが上述の設定方法ST2を選択し、ユーザにより音響パラメータが入力された場合、反射オブジェクト計算部６１は、ユーザにより入力された音響パラメータを、音響シミュレーションに用いるものとして設定する。

　さらに、例えばユーザが上述の設定方法ST3を選択し、予め用意された複数の実測データのなかから１つの実測データを選択した場合、反射オブジェクト計算部６１は、ユーザにより選択された実測データに基づいて音響パラメータを算出する。そして反射オブジェクト計算部６１は、算出した音響パラメータを、音響シミュレーションに用いるものとして設定する。

　音響パラメータの設定が行われると、その後、ステップＳ５２およびステップＳ５３の処理が行われて、各オブジェクトの直接音についての周波数スペクトルが生成される。なお、これらの処理は図４のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

　但し、ステップＳ５３では、時間周波数変換部３１は、時間周波数変換の前または後において、適宜、供給されたメタデータに含まれるゲイン情報に基づいて、オーディオ信号または周波数スペクトルに対するゲイン補正を行う。

　時間周波数変換部３１は、時間周波数変換およびゲイン補正により得られた各オブジェクトの直接音の周波数スペクトルを反射オブジェクト計算部６１、マスキング情報計算部３５、およびGUI生成部３６に供給する。

　ステップＳ５４において反射オブジェクト計算部６１は、供給された各オブジェクトのメタデータ、時間周波数変換部３１から供給された各オブジェクトの周波数スペクトル、および音響パラメータに基づいて、反射オブジェクト（反射音）の周波数スペクトルおよびオブジェクト位置情報を生成する。

　反射オブジェクト計算部６１は、オブジェクトの直接音のメタデータ、すなわちオブジェクト位置情報およびゲイン情報と、オブジェクトの直接音の周波数スペクトルと、ステップＳ５１で設定した音響パラメータとに基づいて音響シミュレーションを行うことで、反射オブジェクトのオブジェクト位置情報および周波数スペクトルを求める。

　例えば反射オブジェクトのオブジェクト位置情報は、図６を参照して説明したように、反射音の音源となるオブジェクトのオブジェクト位置情報と、３次元空間の形状やサイズ、すなわち壁の配置位置や向きとによって定まるものである。

　なお、音響シミュレーションにより反射オブジェクトのゲイン情報が求められ、そのゲイン情報と、直接音の周波数スペクトルまたはオーディオ信号とから反射オブジェクトの周波数スペクトルが求められるようにしてもよい。

　この場合、反射オブジェクトのゲイン情報は、反射音の音源となるオブジェクトのゲイン情報やオブジェクト位置情報、反射オブジェクトのオブジェクト位置情報、３次元空間の形状やサイズ、３次元空間を形成する部屋の壁の反射率、オブジェクトごとの指向性などによって定まる。

　また、３次元空間としての部屋の形状等に応じて、１つのオブジェクトに対して、複数の反射オブジェクトが生成されるようにしてもよい。

　反射オブジェクトの周波数スペクトルおよびオブジェクト位置情報が生成されると、その後、ステップＳ５５乃至ステップＳ５９の処理が行われてGUI表示処理は終了するが、これらの処理は図４のステップＳ１４乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　但し、ステップＳ５５では、マスキング情報計算部３５は、時間周波数変換部３１から供給された各オブジェクトの直接音の周波数スペクトルに基づいて、オブジェクト内マスキング閾値を算出する。

　また、ステップＳ５６では、マスキング情報計算部３５は、時間周波数変換部３１から供給された周波数スペクトルと、供給された各オブジェクトのメタデータと、反射オブジェクト計算部６１から供給された反射オブジェクトの周波数スペクトルおよびオブジェクト位置情報とに基づいてオブジェクト間マスキング閾値を算出する。

　このとき、図４のステップＳ１５における場合と同様の処理が行われて、直接音と反射音についてオブジェクト間マスキング閾値が算出され、それらのオブジェクト間マスキング閾値の合計値が、最終的なオブジェクト間マスキング閾値とされる。

　すなわち、注目オブジェクトと、直接音である指定別オブジェクトとの間のオブジェクト間マスキング閾値が算出される。また、注目オブジェクトと、反射音である、指定別オブジェクトに対応する反射オブジェクトとの間のオブジェクト間マスキング閾値も算出される。そして、それらの指定別オブジェクトとの間のオブジェクト間マスキング閾値と、１または複数の各反射オブジェクトとの間のオブジェクト間マスキング閾値との合計値が求められ、得られた合計値が注目オブジェクトの指定別オブジェクトとの間の最終的なオブジェクト間マスキング閾値とされる。

　したがって、マスキング情報計算部３５では、注目オブジェクトや他のオブジェクトが配置される３次元空間の音響特性を示す音響パラメータに基づく、オブジェクト間マスキング閾値が算出（計算）されるということができる。換言すれば、マスキング情報計算部３５では、音響パラメータに基づいてオブジェクト間マスキング閾値が算出される。

　その結果、ステップＳ５８では、反射音も考慮された、すなわち３次元空間としての部屋等の音響特性も考慮されたオブジェクト間マスキング周波数特性や合成マスキング周波数特性が周波数特性表示画面上に表示されることになる。

　以上のようにして情報処理装置１１は、反射オブジェクトについても周波数スペクトルを生成し、３次元空間としての部屋等の音響特性が考慮されたオブジェクト間マスキング周波数特性等がグラフ表示される周波数特性表示画面を表示する。

　このようにすることで、ユーザに対して、部屋等の音響特性を考慮した、より正確なオブジェクト間の聴覚マスキングの効果を視覚的に理解させることができる。その結果、オブジェクト位置情報とゲイン情報の調整を繰り返す工程で必要となる試聴確認の回数を減らすことができ、より短い時間で3Dオーディオコンテンツを制作することができる。

〈第３の実施の形態〉
〈上限値の設定について〉
　ところで、コンテンツを構成するオブジェクトのなかには、他のオブジェクトからマスクされたくない重要なオブジェクトがある。また、１つのオブジェクトであっても、オブジェクトのオーディオ信号に含まれる複数の周波数成分のなかに、他のオブジェクトからマスクされたくない重要な周波数成分もある。

　そこで、他のオブジェクトからマスクされたくないオブジェクトや周波数に対して、許容されるマスキング合成値の上限値が設定されるようにしてもよい。

　なお、上限値は、１つのオブジェクトに対して全周波数で共通の値が設定されるようにしてもよいし、１つのオブジェクトに対して周波数ごとに設定されるようにしてもよい。また、ユーザにより選択された複数のオブジェクトに対して、全周波数で共通の上限値や周波数ごとの上限値が設定されるようにしてもよい。

　上限値の設定が行われる場合、注目オブジェクトについてマスキング合成値が、設定した許容量である上限値を超えた場合には、マスキング合成値が上限値を超えた旨のアラート表示がGUIで行われる。そうすることで、ユーザが３次元空間上においてオブジェクトの位置を移動させるときなどに、聴覚マスキング（空間マスキング）の影響を視覚的に理解しやすく提示することができる。

　図９にアラート表示の一例を示す。なお、図９において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図９では、図３における場合と同様の周波数特性表示画面において、低域側の周波数帯域で曲線L13に示すマスキング合成値（合成マスキング周波数特性）が設定した上限値を超えてしまっている。

　そのため、この例では、上限値を超えた周波数帯域についてアラートAL11が表示されている。このアラートAL11は周波数帯域に対して設定された上限値を示す直線となっている。アラートAL11の部分では、そのアラートAL11である直線より上側に曲線L13に示すマスキング合成値が位置しており、ユーザは、どの周波数帯域において、どれだけマスキング合成値が上限値よりも大きいかを視覚的に理解することができる。

　なお、マスキング合成値が上限値を超えた場合のアラート表示は、図９の例に限らず、どのようなものであってもよい。また、アラート表示ではなく、音声や振動などの手段でユーザにアラートを通知してもよいし、アラート表示と音声や振動などの手段のうちの任意のものを組み合わせてユーザに対する通知を行ってもよい。

　また、ユーザによる上限値の設定方法は、上限値を直接入力する方法やGUIで設定する方法など、どのような方法であってもよい。

　具体的には、例えばユーザが入力部２１を操作することで表示部２３に表示されたGUI、すなわち設定画面上で上限値を表すバーなどを動かすなどして、グラフィカルEQ（Equalizer）のように上限値の設定を行うことができるようにしてもよい。

　また、情報処理装置１１がオブジェクトのオーディオ信号に基づき楽曲解析等を行い、その結果として得られたコンテンツのジャンルやメロディなどの解析結果に基づいて、ユーザの操作等によらずに自動で上限値を設定するようにしてもよい。

　例えば、Vocal（ボーカル）のオブジェクトについて、解析結果に基づきVocalの重要な周波数帯域が自動的に判別され、その判別結果に基づき上限値が設定されるようにすることができる。同様に、Guitar（ギター）のオブジェクトについて、解析結果に基づきGuitarの重要な周波数帯域が自動的に判別され、その判別結果に基づき上限値が設定されるようにすることができる。

〈情報処理装置の構成例〉
　情報処理装置１１がマスキング合成値の上限値の設定を行う場合、情報処理装置１１は、例えば図１０に示すように構成される。なお、図１０において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１０に示す情報処理装置１１の構成は、制御部２２に新たに上限値設定部９１が設けられた点で図１に示した構成と異なっており、その他の点では図１に示した例と同じ構成となっている。

　上限値設定部９１は、オブジェクトに対してマスキング合成値の上限値を設定し、その設定結果をGUI生成部３６に供給する。

〈GUI表示処理の説明〉
　続いて、図１１のフローチャートを参照して、図１０に示した情報処理装置１１により行われるGUI表示処理について説明する。

　ステップＳ１０１において上限値設定部９１は、オブジェクトに対してマスキング合成値の上限値を設定し、その設定結果をGUI生成部３６に供給する。

　例えば上限値設定部９１は、ユーザが入力部２１を操作することで上限値の設定操作を行った場合、その設定操作に応じて入力部２１から供給される信号に基づいて、オブジェクトごとや周波数ごとに上限値を設定する。

　また、例えば上限値設定部９１は、供給された全オブジェクトのオーディオ信号を加算して得られるコンテンツのオーディオ信号に対して楽曲解析を行い、その解析結果に基づいてオブジェクトごとや周波数ごとに上限値を設定する。

　上限値の設定が行われると、その後、ステップＳ１０２乃至ステップＳ１０９の処理が行われてGUI表示処理は終了するが、これらの処理は図４のステップＳ１１乃至ステップＳ１８の処理と同様であるので、その説明は省略する。

　但し、ステップＳ１０８では、GUI生成部３６は、ステップＳ１０１で上限値設定部９１から供給された上限値に基づいて、注目オブジェクトについて求めたマスキング合成値が上限値を超えたか否かを判定し、その判定結果に応じた周波数特性表示画面を生成する。

　具体的には、GUI生成部３６は、上限値を超えたマスキング合成値がないと判定された場合、例えば図３に示したようにアラート表示のない周波数特性表示画面を表示させる画像データを生成し、表示部２３に供給する。

　これに対して、GUI生成部３６は、上限値を超えたマスキング合成値があると判定された場合、例えば図９に示したようにアラート表示のある周波数特性表示画面を表示させる画像データを生成し、表示部２３に供給する。

　以上のようにして情報処理装置１１は、上限値を超えたマスキング合成値の有無に応じた周波数特性表示画面の画像データを生成し、周波数特性表示画面を表示する。

　このようにすることで、ユーザに対してオブジェクト間の聴覚マスキングの効果を、さらに容易に、視覚的に理解させることができる。その結果、オブジェクト位置情報とゲイン情報の調整を繰り返す工程で必要となる試聴確認の回数を減らすことができ、より短い時間で3Dオーディオコンテンツを制作することができる。

〈第４の実施の形態〉
〈オブジェクトの移動先の候補の表示について〉
　例えばマスキング合成値が、設定した許容量である上限値を超えてしまうオブジェクトがある場合、３次元空間上における、そのオブジェクトの位置や他のオブジェクトの位置を変更することで、マスキング合成値が上限値を超えないようにできることもある。

　そこで、マスキング合成値が上限値を超えたオブジェクトがある場合に、マスキング合成値が上限値を超えないような、そのオブジェクトの位置の候補（変更先の位置の候補）や、他のオブジェクトの位置の候補を解析等により求め、求めた候補をGUIで表示するようにしてもよい。位置の候補を提示する際には、マスキング合成値が上限値を超えないような場所であることに加えて、当該オブジェクトの種別やコンテンツの種別に応じて、ユーザに聴感上違和感がないような配置を選別して表示してもよい。

　さらに、例えばステムデータのような複数のグルーピングされたオブジェクトについては、それらの複数のオブジェクトからなるグループ全体を移動させる候補先を同時にGUIで表示してもよい。

　そのような場合、例えば各オブジェクトの左右対称な位置関係を維持したり、オブジェクト間の角度を維持したりしたままオブジェクトを並行移動させるなど、候補先にオブジェクト位置関係を考慮した制約が加えられるようにしてもよい。

　図１２にオブジェクトの位置の移動先の候補の表示例を示す。

　例えば表示部２３に図１２の左側に示す画面が表示されていたとする。この例では、表示画面には３次元空間が示されており、その３次元空間上にオブジェクトOBJ31を含む複数のオブジェクトが配置されている。特に、ここでは１つの球が１つのオブジェクトを表している。

　例えばオブジェクトOBJ31が注目オブジェクトとされており、図中、左側に示すオブジェクトOBJ31の配置位置では、マスキング合成値が上限値を超えてしまうとする。

　そのような場合、マスキング合成値が上限値を超えなくなるようなオブジェクトOBJ31の位置の候補、すなわちオブジェクトOBJ31の移動先の候補がマスキング情報計算部３５により求められ、求められた候補の位置が表示される。

　これにより、表示部２３の表示は、例えば図中、左側に示した表示から図中、右側に示す表示へと更新される。

　図中、右側に示す例では、オブジェクトOBJ31の移動先の候補として、位置P51乃至位置P53が表示されている。ユーザは、入力部２１を操作することで、これらの３つの位置P51乃至位置P53のうちの何れかをオブジェクトOBJ31の移動先の位置として指定することができる。

　ユーザにより所定の候補が移動先の位置として指定されると、その後、オブジェクト位置情報により示される位置が、ユーザにより指定された位置となるように、オブジェクトOBJ31のオブジェクト位置情報が更新（変更）される。

　なお、ここではオブジェクトの移動先の候補として３つの候補が表示される例について説明したが、表示される候補の数はいくつであってもよい。

〈GUI表示処理の説明〉
　オブジェクトの移動先の候補が表示される場合、図１０に示した情報処理装置１１は、図１３に示すGUI表示処理を行う。以下、図１３のフローチャートを参照して、情報処理装置１１によるGUI表示処理について説明する。

　なお、ステップＳ１４１乃至ステップＳ１４８の処理は、図１１のステップＳ１０１乃至ステップＳ１０８の処理と同様であるので、その説明は省略する。

　ステップＳ１４９においてGUI生成部３６は、オブジェクト位置情報、すなわち３次元空間におけるオブジェクト位置の移動先の候補を表示させるか否かを判定する。

　例えばステップＳ１４９では、上限値を超えた注目オブジェクトのマスキング合成値がある場合に、オブジェクト位置の移動先の候補を表示させると判定される。

　その他、例えば上限値を超えた注目オブジェクトのマスキング合成値があり、かつユーザが入力部２１を操作することで、オブジェクト位置の移動先の候補の表示を指示した場合に、オブジェクト位置の移動先の候補を表示させると判定されるようにしてもよい。

　ステップＳ１４９においてオブジェクト位置の移動先の候補を表示させないと判定された場合、ステップＳ１５０およびステップＳ１５１の処理はスキップされ、その後、処理はステップＳ１５２へと進む。

　これに対して、ステップＳ１４９においてオブジェクト位置の移動先の候補を表示させると判定された場合、その後、ステップＳ１５０の処理が行われる。

　ステップＳ１５０においてマスキング情報計算部３５は、所定のオブジェクトのオブジェクト位置情報を変化させながら、注目オブジェクトについてのマスキング合成値を算出することで、オブジェクト位置の移動先の候補を求める。

　具体的にはマスキング情報計算部３５は、所定のオブジェクトのオブジェクト位置情報を変化させながら、各オブジェクトの補正周波数スペクトルやオブジェクト位置情報に基づいて図４のステップＳ１５およびステップＳ１６と同様の処理を行う。

　そしてマスキング情報計算部３５は、上限値設定部９１から供給された上限値に基づいて、マスキング合成値が上限値を超えなくなる所定のオブジェクトのオブジェクト位置を特定し、特定されたオブジェクト位置を、移動先の候補となるオブジェクト位置とする。

　このとき、オブジェクト位置情報を変化させる所定のオブジェクトは、注目オブジェクトであってもよいし、指定別オブジェクトや、注目オブジェクトからの距離が最も近い所定個数のオブジェクト、ユーザにより指定されたオブジェクトなどであってもよい。

　また、移動先の候補となるオブジェクト位置（以下、候補位置とも称する）は、１つであってもよいし、複数であってもよい。候補位置が１つだけとされる場合、例えばマスキング合成値が上限値を超えなくなるオブジェクト位置のうち、もともとステップＳ１４２の処理で指定されていたオブジェクト位置に最も近い位置が候補位置とされる。その他、複数のオブジェクトについて移動先の候補位置を求めるようにしてもよい。

　マスキング情報計算部３５は、求めたオブジェクト位置の移動先の候補、すなわち候補位置を示すオブジェクト位置情報をGUI生成部３６に供給する。

　ステップＳ１５１においてGUI生成部３６は、マスキング情報計算部３５から供給された候補位置、すなわちオブジェクト位置の移動先の候補を表示部２３に表示させる。

　すなわち、GUI生成部３６は、１または複数の候補位置を示すオブジェクト位置情報に基づいて、３次元空間上におけるそれらの候補位置を視覚的に提示する候補位置表示画面を表示するための画像データを生成する。

　例えば１つのオブジェクトについて複数の候補位置があるときには、候補位置表示画面では、３次元空間におけるオブジェクトについての複数の候補位置からなる領域が表示されるようにしてもよい。

　GUI生成部３６は、生成した画像データを表示部２３に供給することで、表示部２３に候補位置表示画面を表示させる。これにより、例えば図１２の右側に示した画面が表示される。この場合、どのオブジェクトの移動先の候補が提示されているかや、移動前後のオブジェクトの位置が容易に把握できるように表示が行われる。

　なお、候補位置表示画面は、周波数特性表示画面上に表示されるようにしてもよいし、周波数特性表示画面とは別画面として表示されるようにしてもよい。

　ステップＳ１５１の処理が行われ、候補位置表示画面が表示されたか、またはステップＳ１４９において候補を表示させないと判定された場合、その後、処理はステップＳ１５２へと進む。

　ステップＳ１５２において制御部２２は、ミキシング、すなわちオブジェクト位置情報とゲイン情報を調整する処理を終了するか否かを判定する。

　ステップＳ１５２において、まだ処理を終了しないと判定された場合、その後、処理はステップＳ１４１に戻り、上述した処理が繰り返し行われる。

　この場合、特に上限値の変更がない場合にはステップＳ１４１の処理は行われない。また、例えばステップＳ１４２において、ユーザが入力部２１を操作して候補位置表示画面上の候補位置を指定することで、オブジェクト位置情報の入力、すなわちオブジェクト位置情報の変更を指示することができるようにしてもよい。

　これに対して、ステップＳ１５２において処理を終了すると判定された場合、制御部２２は、指定されたオブジェクト位置情報とゲイン情報からなる、各オブジェクトのメタデータを生成して図示せぬ記録部に記録させ、GUI表示処理は終了する。

　以上のようにして情報処理装置１１は、適宜、オブジェクト位置の候補を求め、候補位置表示画面を表示させる。

　このようにすることで、ユーザは、上限値を超えなくなるようなオブジェクト位置を視覚的に理解することができる。したがって、オブジェクト位置情報とゲイン情報の調整を繰り返す工程で必要となる試聴確認の回数をさらに減らすことができ、さらに短い時間で3Dオーディオコンテンツを制作することができる。

〈第５の実施の形態〉
〈エンコーダの構成例〉
　また、本技術は、3Dオーディオエンコーダ（以下、単にエンコーダとも称する）にも適用可能である。

　例えば、上述した許容されるマスキング合成値の上限値が設定されるオブジェクトや周波数帯域は、他のオブジェクトからマスクされたくない重要なオブジェクトや周波数帯域であると考えられる。

　そこで、そのような許容される空間マスキングに関する設定情報をエンコーダのビットアロケーション時に利用するようにしてもよい。

　設定情報は、他のオブジェクトからマスクされたくない重要なオブジェクトや周波数のマスキング閾値に関する情報である。例えば設定情報には、許容マスキング閾値、すなわちマスキング合成値（マスキング閾値）の上限値が設定されているオブジェクトを示すオブジェクトIDや、上限値が設定されている周波数を示す情報、設定されている上限値（許容マスキング閾値）などを示す情報が含まれている。

　すなわち、例えば設定情報では、各オブジェクトについて、周波数ごとに許容マスキング閾値（許容されるマスキング合成値の上限値）が設定されている。

　このようにすることで、ミキシングエンジニアの重要視するオブジェクトや周波数に優先的にビットを割り当てて他のオブジェクトや周波数よりも音質比を高くし、コンテンツ全体の音質を改善したり符号化効率を改善したりすることができる。

　図１４は、本技術を適用したエンコーダの構成例を示す図である。

　図１４に示すエンコーダ２０１は、例えばエンコーダ（符号化装置）として機能するコンピュータ等の信号処理装置などからなる。

　例えば、エンコーダ２０１では、設定情報がオブジェクトのメタデータやコンフィグ情報などの形でコンテンツデータの一部に含められ、エンコード時にオーディオ信号やメタデータとともに入力される。

　エンコーダ２０１は、メタデータ符号化部２１１、オブジェクトオーディオ符号化部２１２、およびパッキング部２１３を有している。

　メタデータ符号化部２１１は、供給された複数の各オブジェクトのメタデータを、例えばMPEG（Moving Picture Experts Group）-H規格等に従って符号化し、その結果得られた符号化メタデータをパッキング部２１３に供給する。

　この例では、メタデータを構成する各パラメータとして水平角度（Azimuth）、垂直角度（Elevation）、距離（Radius）、ゲイン情報（Gain）、および他のパラメータ（Other parameters）がメタデータ符号化部２１１に入力される。

　特に、水平角度、垂直角度、および距離からなる情報がオブジェクト位置情報となっており、他のパラメータ（Other parameters）は音像を広げるスプレッド処理のためのパラメータや、オブジェクトの優先度などである。なお、メタデータとして入力されるパラメータは、前述の水平角度（Azimuth）、垂直角度（Elevation）、距離（Radius）のような極座標形式で表されるパラメータに限らず、例えばXYZ形式で表されるパラメータなどであってもよい。

　メタデータ符号化部２１１は、量子化部２３１および符号化部２３２を有しており、量子化部２３１に各オブジェクトのメタデータが入力される。

　量子化部２３１は、入力（供給）されたメタデータを量子化し、その結果得られた量子化パラメータを符号化部２３２に供給する。符号化部２３２は、量子化部２３１から供給された量子化パラメータを符号化し、その結果得られた符号化メタデータをパッキング部２１３に供給する。

　オブジェクトオーディオ符号化部２１２は、供給された各オブジェクトのオーディオ信号を、例えばMPEG-H規格等に従って符号化し、その結果得られた符号化オーディオ信号をパッキング部２１３に供給する。

　オブジェクトオーディオ符号化部２１２は、時間周波数変換部２４１、量子化部２４２、および符号化部２４３を有している。

　時間周波数変換部２４１は、供給された各オブジェクトのオーディオ信号に対してMDCTを用いた時間周波数変換を行い、その結果得られた、各オブジェクトの周波数スペクトル情報であるMDCT係数を量子化部２４２に供給する。

　量子化部２４２は、時間周波数変換部２４１から供給されたMDCT係数を量子化し、その結果得られた量子化された周波数スペクトル情報、すなわち量子化周波数スペクトル情報である量子化MDCT係数を符号化部２４３に供給する。

　量子化部２４２は、聴覚心理パラメータ計算部２５１およびビットアロケーション部２５２を有している。

　聴覚心理パラメータ計算部２５１は、供給された設定情報と、時間周波数変換部２４１から供給されたMDCT係数とに基づいて、人間の聴覚特性（聴覚マスキング）を考慮するための聴覚心理パラメータを計算し、ビットアロケーション部２５２に供給する。

　ビットアロケーション部２５２は、時間周波数変換部２４１から供給されたMDCT係数、および聴覚心理パラメータ計算部２５１から供給された聴覚心理パラメータに基づいて、ビットアロケーション処理を行う。

　ビットアロケーション処理では、各スケールファクターバンドの量子化ビットと量子化ノイズの計算および評価が行われる、聴覚心理モデルに基づいたビットアロケーションが行われる。そして、そのビットアロケーションの結果に基づきスケールファクターバンドごとにMDCT係数が量子化され、量子化MDCT係数が得られる（生成される）。

　ビットアロケーション部２５２は、このようにして得られた各オブジェクトのスケールファクターバンドごとの量子化MDCT係数を、各オブジェクトの量子化結果、より詳細には各オブジェクトのMDCT係数の量子化結果として符号化部２４３に供給する。

　ここで、スケールファクターバンドとは、人間の聴覚特性に基づいて所定帯域幅のサブバンド（ここではMDCTの分解能）を複数束ねて得られる帯域（周波数帯域）である。

　以上のようなビットアロケーション処理により、MDCT係数の量子化で発生してしまう量子化ノイズがマスクされて知覚されないスケールファクターバンドの量子化ビットの一部が、量子化ノイズが知覚されやすいスケールファクターバンドに割り当てられる（回される）。このとき、設定情報に応じて、重要なオブジェクトや周波数（スケールファクターバンド）に対して優先的にビットが割り当てられる。換言すれば、上限値が設定されているオブジェクトや周波数に対して、上限値に応じて適切にビットが割り当てられる。

　これにより、全体の音質の劣化、特にユーザ（ミキシングエンジニア）が重要であると考えるオブジェクトや周波数の音質の劣化を抑制し、効率的な量子化を行うことができる。すなわち、符号化効率を向上させることができる。

　特に、量子化MDCT係数の算出にあたっては、聴覚心理パラメータ計算部２５１において、設定情報に基づいて、各オブジェクトについて周波数ごとにマスキング閾値（聴覚心理パラメータ）が計算される。そして、ビットアロケーション部２５２におけるビットアロケーション処理時には、量子化ノイズがマスキング閾値を超えないように量子化ビットの割り当てが行われる。

　例えば聴覚心理パラメータの計算時には、設定情報により上限値が設定された周波数に対しては、許容される量子化ノイズが小さくなるようなパラメータ調整が行われ、聴覚心理パラメータが算出される。

　なお、設定情報により示される許容マスキング閾値、すなわち上限値に応じてパラメータ調整の調整量が変化するようにしてもよい。これにより、該当周波数に多くビットを割り当てるようにすることができる。

　符号化部２４３は、ビットアロケーション部２５２から供給された各オブジェクトのスケールファクターバンドごとの量子化MDCT係数を符号化し、その結果得られた符号化オーディオ信号をパッキング部２１３に供給する。

　パッキング部２１３は、符号化部２３２から供給された符号化メタデータと、符号化部２４３から供給された符号化オーディオ信号とをパッキングし、その結果得られた符号化ビットストリームを出力する。

〈符号化処理の説明〉
　続いて、エンコーダ２０１の動作について説明する。すなわち、以下、図１５のフローチャートを参照して、エンコーダ２０１による符号化処理について説明する。

　ステップＳ２４１においてメタデータ符号化部２１１は、各オブジェクトのメタデータを符号化し、その結果得られた符号化メタデータをパッキング部２１３に供給する。

　すなわち、量子化部２３１は、供給された各オブジェクトのメタデータを量子化し、その結果得られた量子化パラメータを符号化部２３２に供給する。また、符号化部２３２は、量子化部２３１から供給された量子化パラメータを符号化し、その結果得られた符号化メタデータをパッキング部２１３に供給する。

　ステップＳ２４２において聴覚心理パラメータ計算部２５１は、設定情報を取得する。

　ステップＳ２４３において時間周波数変換部２４１は、供給された各オブジェクトのオーディオ信号に対してMDCTを用いた時間周波数変換を行い、スケールファクターバンドごとのMDCT係数を生成する。時間周波数変換部２４１は、生成したMDCT係数を聴覚心理パラメータ計算部２５１およびビットアロケーション部２５２に供給する。

　ステップＳ２４４において聴覚心理パラメータ計算部２５１は、ステップＳ２４２で取得した設定情報と、時間周波数変換部２４１から供給されたMDCT係数とに基づいて聴覚心理パラメータを計算し、ビットアロケーション部２５２に供給する。

　このとき聴覚心理パラメータ計算部２５１は、設定情報により示されるオブジェクトや周波数（スケールファクターバンド）については、許容される量子化ノイズが小さくなるように、設定情報により示される上限値に基づき聴覚心理パラメータを算出する。

　ステップＳ２４５においてビットアロケーション部２５２は、時間周波数変換部２４１から供給されたMDCT係数、および聴覚心理パラメータ計算部２５１から供給された聴覚心理パラメータに基づいて、ビットアロケーション処理を行う。

　ビットアロケーション部２５２は、ビットアロケーション処理により得られた量子化MDCT係数を符号化部２４３に供給する。

　ステップＳ２４６において符号化部２４３は、ビットアロケーション部２５２から供給された量子化MDCT係数を符号化し、その結果得られた符号化オーディオ信号をパッキング部２１３に供給する。

　例えば符号化部２４３では、量子化MDCT係数に対してコンテキストベースの算術符号化が行われ、符号化された量子化MDCT係数が符号化オーディオ信号としてパッキング部２１３に出力される。なお、符号化方式は算術符号化に限らず、ハフマン符号化方式やその他の符号化方式など、他のどのような符号化方式であってもよい。

　ステップＳ２４７においてパッキング部２１３は、符号化部２３２から供給された符号化メタデータと、符号化部２４３から供給された符号化オーディオ信号とをパッキングし、その結果得られた符号化ビットストリームを出力する。パッキングにより得られた符号化ビットストリームが出力されると、符号化処理は終了する。

　以上のようにしてエンコーダ２０１は、設定情報に基づき聴覚心理パラメータを計算し、ビットアロケーション処理を行う。このようにすることで、コンテンツ制作者、すなわちミキシングエンジニアが優先したいオブジェクトや周波数帯域の音に対するビット割り当てを増やすことができ、符号化効率を改善することができる。

〈第６の実施の形態〉
〈その他の適用例〉
　ところで、ヘッドホンやイヤホンで複数のマイクロホンを使用し、外部音の到来方向を特定することができる。

　さらにヘッドホンやイヤホンで音を再生するときに、頭部伝達関数（HRTF（Head Related Transfer Function））やEQ・パンニングなどの信号処理を再生音に施すことで再生音の音像位置を調整することができる。

　これらの外部音の到来方向の特定と、再生音の音像位置の調整とを組み合わせることで、外部音と再生音が同方向やマスキングが強くなる方向にあった場合に、音が聞こえ難くなるのに対して、再生音の音像位置をマスキングが弱くなる位置に移動させることで聞こえを良くすることができる。また、補聴器や収音器などの補聴機器を使用する場合でも、正面で話している人の声を補聴機器で増幅再生する際に、音像位置を調整することができる。

　このような場合、マスキングが弱くなって聞こえが良くなる位置には個人差があり、その効果を強めるためには個人ごとに調整が必要である。そこで、簡単にマスキング位置が弱くなる方向を調べて補聴機器を調整する機能が必要になる。

　例えば図１６に示すように、３次元空間上の聴取位置LP11に対して、正面方向に外部音（ノイズ）のオブジェクトOBJ71が配置されており、右斜め前方に音声や危険音などの聞きたい音（目的音）のオブジェクトOBJ72が配置されているとする。

　すなわち、ユーザが装着する補聴機器において、聴取位置LP11にいるユーザ（聴取者）から見て、正面方向にあるオブジェクトOBJ71の方向で外部音（ノイズ）が再生されるとする。換言すれば、オブジェクトOBJ71の方向から外部音が到来するとする。

　また、ユーザが装着する補聴機器において、聴取位置LP11にいるユーザから見て、右斜め前方にあるオブジェクトOBJ72の方向で聞きたい音（目的音）が再生されるとする。

　このような場合に、例えばユーザが球（ボール）により表される、目的音に対応するオブジェクトOBJ72の配置位置を移動させることで、ユーザにとってオブジェクトOBJ72がどの位置にあるときに、最も目的音が聞こえやすいかを探すことができるアプリケーションプログラムがあるとよい。

　ここでは、例えばユーザがスマートホンやタブレット、パーソナルコンピュータなどで動作するアプリケーションプログラムによる再生位置調整画面上において、目的音に対応するオブジェクトOBJ72の配置位置を調整できるようにすることが考えられる。

　この場合、ユーザは、例えば再生位置調整画面を指で触ったり、マウス等を操作したりすることでオブジェクトOBJ72の配置位置の調整を行う。

　また、オブジェクトOBJ71やオブジェクトOBJ72に対応する外部音（非目的音）や目的音の到来方向は、HRTFなどを用いた信号処理により再現することができる。

　このように、外部音に対応するオブジェクトOBJ71を３次元空間上の様々な位置に配置した場合における、補聴機器使用者であるユーザが聞きたい目的音が一番聞こえやすくなるような、目的音のオブジェクトOBJ72の配置位置を探して補聴機器に設定しておくようにすることができる。そうすれば、補聴機器の実際の使用時に外部音の到来方向を推定し、その推定結果に応じて、声などの聞きたい音（目的音）の音像位置を、設定されたマスキングされにくい位置に配置し、より目的音を聞こえやすくすることができる。

　このような場合、例えば図１に示した情報処理装置１１において、制御部２２が表示部２３を制御し、図１６に示した再生位置調整画面を表示させる。このとき、制御部２２は、表示部２３を制御することで、入力部２１から供給されるユーザの操作に応じた信号に基づき、再生位置調整画面（３次元空間）上における目的音のオブジェクトOBJ72の配置位置を移動させる。

　また、制御部２２は、入力部２１から供給されるユーザの操作に応じた信号に応じて、外部音の配置位置ごとに、その外部音（オブジェクトOBJ71）の配置位置を示す位置情報と、目的音（オブジェクトOBJ72）の配置位置を示す位置情報とからなる配置設定情報を生成し、記録する。換言すれば、配置位置情報は、外部音の到来方向と、その外部音の到来方向に対してユーザにより設定された、目的音が聞こえやすい方向、すなわち聞こえの良い目的音の到来方向とを示す情報である。

　なお、配置設定情報の生成にあたり、適宜、目的音と外部音についての周波数特性表示画面等が表示部２３に表示されるようにしてもよい。また、制御部２２がオブジェクトOBJ71の配置位置に応じた音像位置の外部音と、オブジェクトOBJ72の配置位置に応じた音像位置の目的音とが再生されるオーディオ信号を生成して図示せぬスピーカに供給し、外部音と目的音を再生させるようにしてもよい。

　制御部２２は、生成した配置設定情報を情報処理装置１１に接続された補聴機器に出力し、補聴機器では適宜、情報処理装置１１から供給された配置設定情報が利用される。情報処理装置１１から補聴機器への配置設定情報の供給は、ネットワークや他の装置を介して行われるようにしてもよい。

　情報処理装置１１から供給された配置設定情報を利用する補聴機器として機能する音声再生装置は、例えば図１７に示すように構成される。

　図１７に示す音声再生装置３０１は、取得部３１１、記録部３１２、収音部３１３、制御部３１４、および再生部３１５を有している。音声再生装置３０１はイヤホンやヘッドホンなどであってもよいし、補聴器や集音器などの補聴機器であってもよい。

　取得部３１１は、情報処理装置１１等の外部の装置から配置設定情報を取得して記録部３１２に供給し、記録させる。

　記録部３１２は、取得部３１１から供給された配置設定情報やHRTFなどの各種のデータを記録しており、記録しているデータを適宜、制御部３１４に供給する。

　収音部３１３は、例えば１つまたは複数のマイクユニットからなり、外部音や目的音を含む周囲の音を収音し、その結果得られた収音信号を制御部３１４に供給する。

　制御部３１４は、収音部３１３から供給された収音信号に基づいて、音声が増幅された再生信号を生成し、再生部３１５に供給する。

　このとき、例えば制御部３１４は、収音信号に対する音源分離や到来方向推定など、収音信号に基づく信号処理を行うとともに、外部音の到来方向の推定結果に対応する配置設定情報を記録部３１２から読み出す。すなわち、外部音の位置情報により示される位置の方向が、到来方向推定結果と同じ方向となっている配置設定情報が読み出される。

　この場合、少なくとも収音信号に基づいて外部音の到来方向を推定する処理が信号処理として行われる。その他、収音信号から外部音の信号や目的音の信号を抽出する音源分離等の処理、補聴処理などが行われるようにしてもよい。

　読み出した配置設定情報から、推定された外部音の到来方向に対して、ユーザが設定した、マスキングされにくくなる目的音の配置位置、すなわち目的音の到来方向（以下、設定到来方向とも称する）を特定することができる。

　制御部３１４は、例えば設定到来方向についてのHRTFを記録部３１２から読み出して、読み出したHRTFと、収音信号、より詳細には収音信号から得られた目的音の信号とに基づいて信号処理を行うことで再生信号を生成する。なお、再生信号を生成する際に行う目的音の到来方向（音像位置）を調整する処理は、HRTFを用いた処理に限らず、EQ・パンニングなど、どのような処理であってもよい。

　このようにして得られた再生信号は、外部音の到来方向の推定結果に対応する配置設定情報により示される、目的音が聞こえやすい方向（設定到来方向）に、目的音の音像が定位する音声信号、すなわち設定到来方向から目的音が聞こえる音声信号である。したがって、再生信号に基づき音声を再生することで、目的音が外部音にマスキングされにくくなり、目的音をより聞き取りやすくすることができる。

　再生部３１５は、例えばスピーカユニットからなり、制御部３１４から供給された再生信号に基づいて音声を再生（出力）する。

　以上のような音声再生装置３０１によれば、外部音の到来方向によらず、目的音をより聞き取りやすくすることができる。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算するマスキング情報計算部と、
　前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる表示制御部と
　を備える情報処理装置。
（２）
　前記マスキング情報計算部は、前記注目オブジェクトの複数の各前記他のオブジェクトとの間の前記聴覚マスキング量の周波数ごとの合成値を合成マスキング周波数特性として計算し、
　前記表示制御部は、前記注目オブジェクトの前記合成マスキング周波数特性をさらに表示させる
　（１）に記載の情報処理装置。
（３）
　前記マスキング情報計算部は、
　　前記注目オブジェクトの前記周波数スペクトルに基づいて、前記注目オブジェクト内における各周波数の聴覚マスキング量を計算し、
　　前記注目オブジェクトの複数の各前記他のオブジェクトとの間の前記聴覚マスキング量、および前記注目オブジェクト内における前記聴覚マスキング量の周波数ごとの合成値を前記合成マスキング周波数特性として計算する
　（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記合成値が所定の上限値を超えた場合、前記合成値が前記上限値を超えたことをユーザに通知する
　（２）に記載の情報処理装置。
（５）
　前記上限値は、ユーザにより、オブジェクトごと、または周波数ごとに設定される
　（４）に記載の情報処理装置。
（６）
　１つまたは複数の各オブジェクトのオーディオ信号に基づいて、前記上限値を設定する上限値設定部をさらに備える
　（４）または（５）に記載の情報処理装置。
（７）
　前記マスキング情報計算部は、前記合成値が前記上限値を超えた場合、前記合成値が前記上限値を超えなくなる前記注目オブジェクトまたは前記他のオブジェクトの空間上の移動先の候補となる位置を計算し、
　前記表示制御部は、前記注目オブジェクトまたは前記他のオブジェクトの前記移動先の候補となる位置を表示させる
　（４）乃至（６）の何れか一項に記載の情報処理装置。
（８）
　前記マスキング情報計算部は、前記注目オブジェクトの前記周波数スペクトルに基づいて、前記注目オブジェクト内における各周波数の聴覚マスキング量をオブジェクト内マスキング周波数特性として計算し、
　前記表示制御部は、前記注目オブジェクトの前記オブジェクト内マスキング周波数特性をさらに表示させる
　（１）乃至（７）の何れか一項に記載の情報処理装置。
（９）
　オブジェクトのゲイン情報に基づいて、前記オブジェクトの前記周波数スペクトルのゲイン補正を行い、補正周波数スペクトルを生成する周波数スペクトル補正部をさらに備え、
　前記マスキング情報計算部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報と、前記他のオブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記オブジェクト間マスキング周波数特性を計算し、
　前記表示制御部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　（１）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
　前記注目オブジェクトの前記ゲイン情報、および前記他のオブジェクトの前記ゲイン情報の少なくとも何れかが変更された場合、
　前記表示制御部は、前記注目オブジェクトの前記変更が反映された前記補正周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　（９）に記載の情報処理装置。
（１１）
　前記オブジェクト位置情報により定まるゲイン補正値に基づいて、オブジェクトの前記周波数スペクトルのゲイン補正を行い、補正周波数スペクトルを生成する周波数スペクトル補正部をさらに備え、
　前記マスキング情報計算部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報と、前記他のオブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記オブジェクト間マスキング周波数特性を計算し、
　前記表示制御部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　（１）乃至（８）の何れか一項に記載の情報処理装置。
（１２）
　前記注目オブジェクトの前記オブジェクト位置情報、および前記他のオブジェクトの前記オブジェクト位置情報の少なくとも何れかが変更された場合、
　前記表示制御部は、前記注目オブジェクトの前記変更が反映された前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　（１）乃至（１１）の何れか一項に記載の情報処理装置。
（１３）
　前記マスキング情報計算部は、前記注目オブジェクトおよび前記他のオブジェクトが配置される空間の音響特性を示す音響パラメータに基づく前記オブジェクト間マスキング周波数特性を計算する
　（１）乃至（１２）の何れか一項に記載の情報処理装置。
（１４）
　前記オブジェクト間マスキング周波数特性の計算に用いられる前記音響パラメータは、予め用意された複数の前記音響パラメータのなかからユーザにより選択された前記音響パラメータ、前記ユーザにより入力された前記音響パラメータ、または複数の前記空間ごとの音響特性の実測データのなかから前記ユーザにより選択された前記実測データに基づき算出された前記音響パラメータである
　（１３）に記載の情報処理装置。
（１５）
　前記音響パラメータは、前記空間の大きさ、前記空間の形状、前記空間における壁の反射率のうちの少なくとも何れかを含む
　（１３）または（１４）に記載の情報処理装置。
（１６）
　情報処理装置が、
　注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算し、
　前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　情報処理方法。
（１７）
　注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算し、
　前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　ステップを含む処理をコンピュータに実行させるプログラム。
（１８）
　オブジェクトのオーディオ信号に対する時間周波数変換を行い、周波数スペクトル情報を生成する時間周波数変換部と、
　前記周波数スペクトル情報と、前記オブジェクトについてのマスキング閾値に関する設定情報とに基づいて聴覚心理パラメータを計算する聴覚心理パラメータ計算部と、
　前記聴覚心理パラメータおよび前記周波数スペクトル情報に基づいてビットアロケーション処理を行い、量子化周波数スペクトル情報を生成するビットアロケーション部と
　を備える符号化装置。
（１９）
　外部音の到来方向と、前記外部音の到来方向に対して、目的音が聞こえやすい方向とを示す配置設定情報を記録する記録部と、
　周囲の音を収音する収音部と、
　前記収音により得られた収音信号に基づいて前記外部音の到来方向を推定するとともに、前記収音信号に基づいて、前記外部音の到来方向の推定結果に対応する前記配置設定情報により示される前記目的音が聞こえやすい方向に、前記目的音の音像が定位する再生信号を生成する制御部と、
　前記再生信号に基づき音声を再生する再生部と
　を備える音声再生装置。
（２０）
　　空間上における外部音の配置位置と、目的音の配置位置とを示す位置調整画面を表示させるとともに、ユーザの操作に応じて、前記空間上における前記目的音の配置位置を移動させ、
　　配置位置に応じた音像位置の前記外部音および前記目的音を再生させ、
　　前記外部音の配置位置と前記目的音の配置位置に基づいて、前記外部音の到来方向と、前記外部音の到来方向に対して前記ユーザにより設定された、前記目的音が聞こえやすい方向とを示す配置設定情報を生成する
　制御部を備える情報処理装置。

　１１　情報処理装置，　２１　入力部，　２２　制御部，　２３　表示部，　３１　時間周波数変換部，　３２　ゲイン補正部，　３３　3D聴覚特性テーブル保持部，　３４　周波数スペクトル補正部，　３５　マスキング情報計算部，　３６　GUI生成部，　６１　反射オブジェクト計算部，　９１　上限値設定部，　２０１　エンコーダ，　２１２　オブジェクトオーディオ符号化部，　２１３　パッキング部，　２４２　量子化部

Claims

　注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算するマスキング情報計算部と、
　前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる表示制御部と
　を備える情報処理装置。
　前記マスキング情報計算部は、前記注目オブジェクトの複数の各前記他のオブジェクトとの間の前記聴覚マスキング量の周波数ごとの合成値を合成マスキング周波数特性として計算し、
　前記表示制御部は、前記注目オブジェクトの前記合成マスキング周波数特性をさらに表示させる
　請求項１に記載の情報処理装置。
　前記マスキング情報計算部は、
　　前記注目オブジェクトの前記周波数スペクトルに基づいて、前記注目オブジェクト内における各周波数の聴覚マスキング量を計算し、
　　前記注目オブジェクトの複数の各前記他のオブジェクトとの間の前記聴覚マスキング量、および前記注目オブジェクト内における前記聴覚マスキング量の周波数ごとの合成値を前記合成マスキング周波数特性として計算する
　請求項２に記載の情報処理装置。
　前記表示制御部は、前記合成値が所定の上限値を超えた場合、前記合成値が前記上限値を超えたことをユーザに通知する
　請求項２に記載の情報処理装置。
　前記上限値は、ユーザにより、オブジェクトごと、または周波数ごとに設定される
　請求項４に記載の情報処理装置。
　１つまたは複数の各オブジェクトのオーディオ信号に基づいて、前記上限値を設定する上限値設定部をさらに備える
　請求項４に記載の情報処理装置。
　前記マスキング情報計算部は、前記合成値が前記上限値を超えた場合、前記合成値が前記上限値を超えなくなる前記注目オブジェクトまたは前記他のオブジェクトの空間上の移動先の候補となる位置を計算し、
　前記表示制御部は、前記注目オブジェクトまたは前記他のオブジェクトの前記移動先の候補となる位置を表示させる
　請求項４に記載の情報処理装置。
　前記マスキング情報計算部は、前記注目オブジェクトの前記周波数スペクトルに基づいて、前記注目オブジェクト内における各周波数の聴覚マスキング量をオブジェクト内マスキング周波数特性として計算し、
　前記表示制御部は、前記注目オブジェクトの前記オブジェクト内マスキング周波数特性をさらに表示させる
　請求項１に記載の情報処理装置。
　オブジェクトのゲイン情報に基づいて、前記オブジェクトの前記周波数スペクトルのゲイン補正を行い、補正周波数スペクトルを生成する周波数スペクトル補正部をさらに備え、
　前記マスキング情報計算部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報と、前記他のオブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記オブジェクト間マスキング周波数特性を計算し、
　前記表示制御部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　請求項１に記載の情報処理装置。
　前記注目オブジェクトの前記ゲイン情報、および前記他のオブジェクトの前記ゲイン情報の少なくとも何れかが変更された場合、
　前記表示制御部は、前記注目オブジェクトの前記変更が反映された前記補正周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　請求項９に記載の情報処理装置。
　前記オブジェクト位置情報により定まるゲイン補正値に基づいて、オブジェクトの前記周波数スペクトルのゲイン補正を行い、補正周波数スペクトルを生成する周波数スペクトル補正部をさらに備え、
　前記マスキング情報計算部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報と、前記他のオブジェクトの前記補正周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記オブジェクト間マスキング周波数特性を計算し、
　前記表示制御部は、前記注目オブジェクトの前記補正周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　請求項１に記載の情報処理装置。
　前記注目オブジェクトの前記オブジェクト位置情報、および前記他のオブジェクトの前記オブジェクト位置情報の少なくとも何れかが変更された場合、
　前記表示制御部は、前記注目オブジェクトの前記変更が反映された前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　請求項１に記載の情報処理装置。
　前記マスキング情報計算部は、前記注目オブジェクトおよび前記他のオブジェクトが配置される空間の音響特性を示す音響パラメータに基づく前記オブジェクト間マスキング周波数特性を計算する
　請求項１に記載の情報処理装置。
　前記オブジェクト間マスキング周波数特性の計算に用いられる前記音響パラメータは、予め用意された複数の前記音響パラメータのなかからユーザにより選択された前記音響パラメータ、前記ユーザにより入力された前記音響パラメータ、または複数の前記空間ごとの音響特性の実測データのなかから前記ユーザにより選択された前記実測データに基づき算出された前記音響パラメータである
　請求項１３に記載の情報処理装置。
　前記音響パラメータは、前記空間の大きさ、前記空間の形状、前記空間における壁の反射率のうちの少なくとも何れかを含む
　請求項１３に記載の情報処理装置。
　情報処理装置が、
　注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算し、
　前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　情報処理方法。
　注目オブジェクトの周波数スペクトルおよびオブジェクト位置情報と、前記注目オブジェクトとは異なる他のオブジェクトの前記周波数スペクトルおよび前記オブジェクト位置情報とに基づいて、前記注目オブジェクトの前記他のオブジェクトとの間における各周波数の聴覚マスキング量をオブジェクト間マスキング周波数特性として計算し、
　前記注目オブジェクトの前記周波数スペクトルおよび前記オブジェクト間マスキング周波数特性を表示させる
　ステップを含む処理をコンピュータに実行させるプログラム。
　オブジェクトのオーディオ信号に対する時間周波数変換を行い、周波数スペクトル情報を生成する時間周波数変換部と、
　前記周波数スペクトル情報と、前記オブジェクトについてのマスキング閾値に関する設定情報とに基づいて聴覚心理パラメータを計算する聴覚心理パラメータ計算部と、
　前記聴覚心理パラメータおよび前記周波数スペクトル情報に基づいてビットアロケーション処理を行い、量子化周波数スペクトル情報を生成するビットアロケーション部と
　を備える符号化装置。
　外部音の到来方向と、前記外部音の到来方向に対して、目的音が聞こえやすい方向とを示す配置設定情報を記録する記録部と、
　周囲の音を収音する収音部と、
　前記収音により得られた収音信号に基づいて前記外部音の到来方向を推定するとともに、前記収音信号に基づいて、前記外部音の到来方向の推定結果に対応する前記配置設定情報により示される前記目的音が聞こえやすい方向に、前記目的音の音像が定位する再生信号を生成する制御部と、
　前記再生信号に基づき音声を再生する再生部と
　を備える音声再生装置。
　　空間上における外部音の配置位置と、目的音の配置位置とを示す位置調整画面を表示させるとともに、ユーザの操作に応じて、前記空間上における前記目的音の配置位置を移動させ、
　　配置位置に応じた音像位置の前記外部音および前記目的音を再生させ、
　　前記外部音の配置位置と前記目的音の配置位置に基づいて、前記外部音の到来方向と、前記外部音の到来方向に対して前記ユーザにより設定された、前記目的音が聞こえやすい方向とを示す配置設定情報を生成する
　制御部を備える情報処理装置。