JPWO2020066681A1 - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

本技術は、簡単に3D Audioコンテンツを制作することができるようにする情報処理装置および方法、並びにプログラムに関する。
情報処理装置は、オブジェクトのメタデータを構成する１または複数のパラメタを、オブジェクトの１または複数の属性情報に基づいて決定する決定部を備える。本技術は情報処理装置に適用することができる。

Description

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、簡単に3D Audioコンテンツを制作することができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、MPEG（Moving Picture Experts Group）-H 3D Audio規格が知られている（例えば、非特許文献１および非特許文献２参照）。

MPEG-H 3D Audio規格等で扱われる3D Audioでは、３次元的な音の方向や距離、拡がりなどを再現することができ、従来のステレオ再生に比べ、より臨場感のあるオーディオ再生が可能となる。

ISO/IEC 23008-3, MPEG-H 3D Audio ISO/IEC 23008-3:2015/AMENDMENT3, MPEG-H 3D Audio Phase 2

しかしながら3D Audioでは、コンテンツ（3D Audioコンテンツ）の制作の時間的なコストが高くなってしまう。

例えば3D Audioでは、ステレオと比較してオブジェクトの位置情報、すなわち音源の位置情報の次元数が高い（3D Audioは３次元でステレオは２次元）。そのため、3D Audioでは、特にオブジェクトの位置を示す水平角度や垂直角度、距離、オブジェクトについてのゲインなどといったオブジェクトごとのメタデータを構成するパラメタを決定する作業において、時間的なコストが高くなってしまう。

また、3D Audioコンテンツはステレオコンテンツに比べて、コンテンツと制作者の両面で圧倒的に数が少ない。それゆえ、品質の高い3D Audioコンテンツが少ないのが現状である。

以上のようなことから、より簡単に、すなわち短時間で十分な品質の3D Audioコンテンツを制作できるようにすることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、簡単に3D Audioコンテンツを制作することができるようにするものである。

本技術の一側面の情報処理装置は、オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する決定部を備える。

本技術の一側面の情報処理方法またはプログラムは、オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定するステップを含む。

本技術の一側面においては、オブジェクトのメタデータを構成する１または複数のパラメタが、前記オブジェクトの１または複数の属性情報に基づいて決定される。

決定木によるメタデータの決定について説明する図である。 メタデータの分布調整について説明する図である。 メタデータの分布調整について説明する図である。 情報処理装置の構成例を示す図である。 メタデータ決定処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術はオブジェクトごとにメタデータ、より詳細にはメタデータを構成する１または複数のパラメタを決定することで、より簡単に、すなわち短時間で十分に高い品質の3D Audioコンテンツを制作できるようにするものである。

特に、本技術は以下の特徴（Ｆ１）乃至特徴（Ｆ５）を有している。

特徴（Ｆ１）：オブジェクトごとに付与される情報からメタデータを決定する
特徴（Ｆ２）：オブジェクトごとのオーディオ信号からメタデータを決定する
特徴（Ｆ３）：その他の情報からメタデータを決定する
特徴（Ｆ４）：所望の分布になるようにメタデータを修正する
特徴（Ｆ５）：メタデータの決定パターンが複数である

本技術では、オブジェクトのメタデータを以下に示す情報から決定することで、品質の高い3D Audioコンテンツを短時間で制作できるようになる。これにより、品質の高い3D Audioコンテンツや、3D Audioコンテンツの制作者がより多くなることが期待される。

以下、オブジェクトのメタデータの自動算出（自動決定）に用いる情報ごとに、オブジェクトのメタデータの決定の具体的な例について説明する。

なお、本技術においては、オブジェクトは、オーディオオブジェクトや画像オブジェクトなど、位置情報やゲインなどのパラメタをメタデータとしてもつものであれば、どのようなものであってもよい。

例えば本技術は、空間内における３Ｄモデル等の画像オブジェクトの位置を示すパラメタをメタデータとして、画像オブジェクトの属性を示す属性情報に基づいて、その画像オブジェクトのメタデータを決定する場合などにも適用可能である。なお、画像オブジェクトの属性情報は、画像オブジェクトの種類（種別）や優先度などとすることができる。

以下では、オブジェクトがオーディオオブジェクトである場合を例として説明を行う。

オブジェクトがオーディオオブジェクトである場合、メタデータはオブジェクトのオーディオ信号に基づく音の再生のための処理、より詳細にはオブジェクトのレンダリング処理に用いる１または複数のパラメタ（情報）により構成される。

具体的には、メタデータは、例えば３次元空間内におけるオブジェクトの位置を示す位置情報を構成する水平角度、垂直角度、および距離、並びにオブジェクトのオーディオ信号のゲインからなる。なお、以下では、メタデータが水平角度、垂直角度、距離、およびゲインの合計４個のパラメタからなる例について説明するが、メタデータのパラメタは１以上であれば、いくつであってもよい。

水平角度とは、ユーザの位置などの所定の基準位置から見たオブジェクトの水平方向の位置を示す角度であり、垂直角度とは、基準位置から見たオブジェクトの垂直方向の位置を示す角度である。また、位置情報を構成する距離とは、基準位置からオブジェクトまでの距離である。

（オブジェクトごとに付与される情報からの決定）
まず、オブジェクトごとに付与される情報からメタデータ、より詳細にはメタデータのパラメタを決定する方法について説明する。

オブジェクトのメタデータは、楽器情報や音響効果情報、優先度情報など、オブジェクトの属性に関する情報に基づいて決定されることが多い。但し、これらの楽器情報等に応じたメタデータの決定ルールは、3D Audioコンテンツの制作者により異なる。

楽器情報とは、例えばボーカル「vocal」、ドラム「drums」、ベース「bass」、ギター「guitar」、ピアノ「piano」など、オブジェクト（音源）がどのような種別のものであるかを示す情報、つまり音源種別を示す情報である。より具体的には、楽器情報とは楽器や音声パート、男性や女性等の音声の性別などのオブジェクトの種別、つまり音源となるオブジェクト自体の属性を示す情報である。

例えば、ある制作者の場合、楽器情報が「vocal」であるオブジェクトについては、メタデータを構成する水平角度が０度（０°）とされることが多く、またゲインが1.0よりも大きな値とされる傾向がある。また、例えば、ある制作者の場合、楽器情報が「bass」であるオブジェクトについてはメタデータを構成する垂直角度が負の値とされることが多い。

このように3D Audioコンテンツの制作者個人で、楽器情報に対してメタデータを構成するパラメタの値や、メタデータを構成するパラメタの値のとり得る範囲がある程度決まっていることがある。そのような場合には、楽器情報からオブジェクトのメタデータを決定することが可能である。

また、音響効果情報とは、オブジェクトのオーディオ信号に付加された、つまりオーディオ信号に施されたエフェクト等の音響効果を示す情報である。換言すれば、音響効果情報はオブジェクトの音響効果に関する属性を示す情報である。特に、ここでは音響効果を示す音響効果情報のうち、音響効果としての残響効果、すなわち残響特性を示すものを残響情報とし、残響効果以外の音響効果を示すものを音響情報とする。

残響情報とは、例えばドライ「dry」、ショートリバーブ「short reverb」、ロングリバーブ「long reverb」など、オブジェクトのオーディオ信号に付加（付与）する残響効果、すなわちオーディオ信号の残響特性を示す情報である。なお、例えばドライ「dry」は、オーディオ信号に対して残響効果が施されていないことを示している。

例えば、ある制作者の場合、残響情報が「dry」であるオブジェクトについては、メタデータを構成する水平角度が-90度から90度までの範囲内の値とされることが多く、残響情報が「long reverb」であるオブジェクトについては、メタデータを構成する垂直角度が正の値とされることが多い。

このように残響情報についても楽器情報と同様に、制作者ごとに、残響情報に対してメタデータのパラメタの値や、メタデータのパラメタの値のとり得る範囲がある程度決まっていることがある。そのため、残響情報を用いてもメタデータを決定することが可能である。

さらに音響情報とは、例えばナチュラル「natural」やディストーション「dist」など、オブジェクトのオーディオ信号に付加（付与）する残響以外の音響効果を示す情報である。なお、ナチュラル「natural」は、特にオーディオ信号に対してエフェクトが施されていないことを示している。

例えば、ある制作者の場合、音響情報が「natural」であるオブジェクトについては、メタデータを構成する水平角度が-90度から90度までの範囲内の値とされることが多く、音響情報が「dist」であるオブジェクトについては、メタデータを構成する垂直角度が正の値とされることが多い。したがって、音響情報を用いてもメタデータを決定することが可能である。

さらに、優先度情報とはオブジェクトの優先度を示す情報である。例えば優先度情報は、0から7までの何れかの値とされ、その値が大きいほど優先度が高いオブジェクトであることを示しているなどとされる。このような優先度もオブジェクトの属性を示す情報であるといえる。

例えば、ある制作者の場合、優先度情報の値が６未満であるオブジェクトについては、メタデータを構成する水平角度が-30度から30度までの範囲外の値とされることが多く、優先度情報の値が６以上でないと垂直角度が０度未満とされにくい傾向がある。したがって、優先度情報を用いてもメタデータを決定することが可能である。

このように楽器情報や残響情報、音響情報、優先度情報を用いれば、制作者ごとにオブジェクトのメタデータを決定することが可能である。

これに加えて、オブジェクトがあるスピーカ配置、すなわちあるチャネル構成を前提に収録されたものである場合、そのオブジェクトのチャネル情報に基づきメタデータが決定されることも多い。

ここで、チャネル情報とは、例えばステレオ（stereo）のＬ，Ｒや、5.1チャネル（5.1ch）のＣ，Ｌ，Ｒ，Ｌｓ，Ｒｓなど、オブジェクトのオーディオ信号の供給先となるスピーカに対応するチャネル、つまりオブジェクトのチャネルに関する属性を示す情報である。

例えば、ある制作者の場合、チャネル情報が「ステレオのＲ」であるＲチャネルのオブジェクトと、チャネル情報が「ステレオのＬ」であるＬチャネルのオブジェクトについては、ＬチャネルとＲチャネルでメタデータを構成する水平角度は正負反転の関係であり、垂直角度は同一の角度とされることが多い。

また、例えばチャネル情報が「5.1チャネルのＬｓ」であるＬｓチャネルのオブジェクトと、チャネル情報が「5.1チャネルのＲｓ」であるＲｓチャネルのオブジェクトについては、ＬｓチャネルとＲｓチャネルでメタデータを構成する水平角度は正負反転の関係であり、垂直角度は同一の角度とされることが多い。

これらのことから、チャネル情報を用いてもメタデータを決定することが可能であることが分かる。

本技術では楽器情報、残響情報、音響情報、優先度情報、およびチャネル情報の少なくとも何れか１つに基づいて各オブジェクトのメタデータ、より詳細にはメタデータを構成するパラメタの決定が行われる。

具体的には本技術では、メタデータの決定は、例えば教師あり学習手法である決定木を用いて行われる。

決定木では、予め複数の3D Audioコンテンツについて収集した、オブジェクトごとの楽器情報、残響情報、音響情報、優先度情報、およびチャネル情報と、メタデータのパラメタの値とが学習用のデータ（学習データ）とされる。

そして楽器情報、残響情報、音響情報、優先度情報、およびチャネル情報を入力とし、メタデータを出力とする決定木モデルの学習が行われる。このようにして得られた決定木モデルを用いれば、各オブジェクトのメタデータを簡単に決定（予測）することができる。

ここで、メタデータを構成する水平角度と垂直角度を決定する決定木の例を図１に示す。

図１に示す例では、決定木においてオブジェクトのそれぞれについて、まず楽器情報が「vocal」であるか否かが判定される。

楽器情報が「vocal」であると判定された場合、次に「残響情報」が「dry」であるか否かが判定される。このとき、「残響情報」が「dry」であると判定された場合には、オブジェクトの水平角度は０度であり、垂直角度は０度であると決定され、決定木の処理は終了する。

一方、残響情報が「dry」でないと判定された場合、残響情報が「long reverb」であるか否かが判定される。そして、残響情報が「long reverb」であると判定された場合には、オブジェクトの水平角度は０度であり、垂直角度は３０度であると決定され、決定木の処理は終了する。

このように決定木では楽器情報や残響情報、音響情報、優先度情報、チャネル情報といった各情報に基づく判定の結果に応じて、その決定木の終端まで連続的に判定が行われていき、最終的な水平角度と垂直角度が決定される。

このような決定木を用いれば、楽器情報や残響情報、音響情報、優先度情報、チャネル情報などのオブジェクトごとに付与される情報から、オブジェクトごとにメタデータを構成する水平角度と垂直角度を決定することが可能である。

なお、メタデータの決定手法は決定木に限らず、線形決定、サポートベクタマシン、ニューラルネットワークなど、他の教師あり学習手法であってもよい。

（オブジェクトごとのオーディオ信号からの決定）
続いて、各オブジェクトのオーディオ信号からメタデータを決定する方法について説明する。

例えばオブジェクトのメタデータは、そのオブジェクトのオーディオ信号から得られる音圧（音圧情報）や音の高さ（音高情報）などの情報に基づいて決定されることもある。これらの音圧や音の高さ（音高）などの情報は、オブジェクトの音の特徴を表すものであるから、オブジェクトの属性を示す情報であるともいうことができる。

具体的には、例えば、ある制作者の場合、オーディオ信号の音圧が高いほどメタデータを構成する垂直角度は０度に近い値とされ、また音圧が高いほどメタデータを構成するゲインは1.0未満の値とされることが多い。

さらに、例えば、ある制作者の場合、オーディオ信号が低音の信号であるときにはメタデータを構成する垂直角度が負の値とされやすく、逆にオーディオ信号が高音の信号であるときには垂直角度が正の値とされやすい傾向がある。

したがって、これらの音圧や音の高さに関する情報を、上述したオブジェクトごとに付与される情報からメタデータを決定する手法（以下、メタデータ決定手法とも称する）の入力に加えることで、メタデータの決定精度を向上させることができる。

具体的には、例えば音圧や音の高さについて、以下に説明する方法により算出される特徴量を上述のメタデータ決定手法の入力、つまり決定木等の入力に加えればよい。

例えば、音圧については次式（１）により算出される特徴量level(i_obj)をメタデータ決定手法の入力の１つとすればよい。

なお、式（１）においてi_objはオブジェクトのインデックスを示しており、i_sampleはオーディオ信号のサンプルのインデックスを示している。

また、式（１）においてpcm(i_obj, i_sample)は、インデックスがi_objであるオブジェクトのオーディオ信号における、インデックスがi_sampleであるサンプルのサンプル値を示しており、n_sampleはオーディオ信号の全サンプルの数を示している。

さらに音の高さ（音高）については、例えば次式（２）により算出される特徴量level_sub(i_obj,i_band)をメタデータ決定手法の入力の１つとすればよい。

なお、式（２）においてインデックスi_obj、インデックスi_sample、およびn_sampleは式（１）における場合と同様であり、i_bandは帯域を示すインデックスである。

例えばバンドパスフィルタでオーディオ信号に対するフィルタリング処理を行うことで、各オブジェクトのオーディオ信号を0kHz乃至2kHz、2kHz乃至8kHz、および8kHz乃至15kHzの３つの帯域のオーディオ信号に分割することとする。また、ここでは各帯域のオーディオ信号をpcm_sub(i_obj,i_band,i_sample)と表すこととする。

さらにインデックスi_band＝1は0kHz乃至2kHzの帯域を示し、インデックスi_band＝2は2kHz乃至8kHzの帯域を示し、インデックスi_band＝3は8kHz乃至15kHzの帯域を示すこととする。

このような場合、式（２）により特徴量level_sub(i_obj,1)、特徴量level_sub(i_obj,2)、および特徴量level_sub(i_obj,3)が求められてメタデータ決定手法の入力とされる。

（その他の情報からの決定）
さらに、その他の情報からメタデータを決定する方法について説明する。

例えばオブジェクトのメタデータは、3D Audioコンテンツのオブジェクト数や、他のオブジェクトのメタデータ、オブジェクト名、オブジェクトにより構成される3D Audioコンテンツのジャンルなどの各情報に基づいて決定されることもある。そこで、そのような各情報もメタデータ決定手法の入力に加えることで、決定精度を向上させることができる。

オブジェクト名には、例えばオブジェクトの楽器名や対応するチャネルなど、楽器情報やチャネル情報の代替となる情報、つまりオブジェクトの属性を示す情報が含まれていることも多いため、メタデータの決定に利用することができる。

また、ジャズなど、音楽等の3D Audioコンテンツのジャンルを示す情報や、3D Audioコンテンツを構成するオブジェクトの総数であるオブジェクト数などは、オブジェクトにより構成されるコンテンツの属性を示す情報である。そのため、そのようなジャンルやオブジェクト数といった、コンテンツの属性に関する情報もオブジェクトの属性情報としてメタデータの決定に利用することができる。

例えば、ある制作者の場合、空間内に配置されるオブジェクトの数（オブジェクト数）が多いと、各オブジェクトを空間内において不等間隔に配置し、逆にオブジェクト数が少ないと、各オブジェクトを等間隔に配置することが多い。

そこで、例えば3D Audioコンテンツを構成するオブジェクト数を、メタデータ決定手法の入力の１つとして加えるようにすることができる。この場合、例えば空間内においてオブジェクトが等間隔または不等間隔に並ぶように、メタデータを構成する水平角度や垂直角度、距離が決定される。

また、例えば、ある制作者の場合、既に空間内の位置が決定されているオブジェクトと同じ位置に、他のオブジェクトを配置しないことが多い。

そこで、例えば既にメタデータが決定された他のオブジェクトのメタデータもメタデータ決定手法の入力として用いてもよい。

なお、以上において説明したオブジェクトごとに付与される情報、オーディオ信号から得られる情報、およびオブジェクト数等のその他の情報は、単独でメタデータ決定手法の入力として用いられるようにしてもよいし、それらの情報が組み合わせられてメタデータ決定手法の入力として用いられてもよい。

〈メタデータの修正について〉
ところで、上述した各情報を用いれば、オブジェクトのメタデータを決定することが可能である。しかし、オブジェクト数が少ない3D Audioコンテンツ（以下、単にコンテンツとも称する）では、決定されたメタデータのパラメタが一か所に偏って決定されることがある。そのような例を図２に示す。

図２では、横軸はメタデータを構成する水平角度を示しており、縦軸はメタデータを構成する垂直角度を示している。

また、図２において１つの円は１つのオブジェクトを示しており、各円に付加された模様は、それらの円に対応するオブジェクトに付与される楽器情報ごとに異なっている。

ここでは、円C11および円C12は楽器情報としてボーカル「vocal」が付与されたオブジェクトを示しており、円C13および円C14は楽器情報としてベース「bass」が付与されたオブジェクトを示している。また、円C15乃至円C20は楽器情報としてピアノ「piano」が付与されたオブジェクトを示している。

これらの各円は、対応するオブジェクトについて予測により決定された水平角度および垂直角度により定まる位置に配置されている。つまり、各円の横軸方向の位置は、それらの各円に対応するオブジェクトの水平角度により示される位置とされ、各円の縦軸方向の位置は、それらの各円に対応するオブジェクトの垂直角度により示される位置とされる。

また、各円の大きさは、オブジェクトのオーディオ信号の音圧の大きさ（高さ）を示しており、音圧に比例して円の大きさが大きくなるようになされている。

したがって図２は、水平角度および垂直角度を軸とするパラメタの空間（パラメタ空間）内における各オブジェクトのパラメタ（メタデータ）の分布と、各オブジェクトのオブジェクト信号の音圧の大きさとを示しているといえる。

例えばオブジェクト数が少ないコンテンツでは、図２に示すようにボーカルやピアノ、ベースなど、多くのコンテンツで重要な楽器のみがオブジェクトとして含まれることが多い。これらの楽器の配置は、ある制作者の場合、前方中央の位置とされやすく、その結果、決定されたメタデータが一か所に偏ってしまう。

この例では円C11乃至C18が図２中、中央に集中しており、それらの円に対応するオブジェクトのメタデータは近い値となっていることが分かる。換言すれば、各オブジェクトのメタデータの分布は、パラメタ空間内の互いに近い位置に集中した分布となっている。このような場合、決定されたメタデータをそのまま用いてレンダリングを行うと、得られるコンテンツは３次元的な音の方向や距離、拡がりのない品質の低いものとなってしまう。

そこで、本技術ではオブジェクトの分布、すなわちオブジェクトのメタデータの分布の調整を行うことで、３次元的な音の方向や距離、拡がりのある品質の高いコンテンツが得られるようにした。

分布調整では、入力として既に制作者の入力等により決定されたメタデータ、または決定木等による予測によって決定されたメタデータが用いられる。そのため、上述のメタデータ決定手法とは独立に適用可能である。すなわち、メタデータの決定方法がどのような方法であるかによらず、メタデータの分布調整を行うことができる。

メタデータの分布調整は、手動による方法（以下、手動調整方法と称する）と自動による方法（以下、自動調整方法と称する）との何れの方法により行われてもよい。以下、それぞれの方法について説明する。

（手動調整方法）
まず、メタデータの手動調整方法について説明する。

手動調整方法では、オブジェクトのメタデータのパラメタの値に対して加算用の所定の値が加算されるか、乗算用の所定の値が乗算されるか、またはそれらの加算と乗算の両方が行われてメタデータの分布調整が行われる。

例えば手動調整方法の加算処理で加算される値や乗算処理で乗算される値は、GUI（Graphical User Interfac）の3D Audioコンテンツ制作ツール上でバー等に対する操作などにより調整されるようにすればよい。

これにより、オブジェクトの位置関係は保持したまま、全オブジェクトの分布、つまりメタデータの分布を広げたり狭めたりといった調整が可能となり、短時間で簡単に制作者の意図するメタデータに調整することができる。

ここで、例えば加算処理のみでメタデータの分布調整を行う場合、メタデータのパラメタのうち、値が負であるパラメタに対しては負の値が加算されるようにし、値が正であるパラメタに対しては正の値が加算されるようにすれば、メタデータの分布を、より空間的な広がりを有する分布に調整（修正）することができる。

また、例えば加算処理のみでメタデータの分布調整を行う場合には、各パラメタに同じ値を加算することで、各オブジェクトの位置関係を保持したまま、それらのオブジェクトを空間内で平行移動させるようなメタデータの分布調整を実現することができる。

（自動調整方法）
自動調整方法では、オブジェクトのそれぞれがメタデータを構成する水平角度、垂直角度、および距離により示されるベクトルとみなされる。以下では、そのような水平角度、垂直角度、および距離を要素として持つベクトルをオブジェクトベクトルと呼ぶこととする。

自動調整方法では、全オブジェクトのオブジェクトベクトルの平均値がオブジェクト平均ベクトルとして求められる。

そして、オブジェクト平均ベクトルと、オブジェクトベクトルのそれぞれとの差分ベクトルが求められ、それらの差分ベクトルの二乗平均値を要素として持つベクトルが求められる。すなわち、水平角度、垂直角度、および距離のそれぞれについて、その平均値からオブジェクトのそれぞれの値の差分の二乗平均値を要素として持つベクトルが求められる。

このようにして得られた水平角度、垂直角度、および距離のそれぞれについての二乗平均値は、水平角度、垂直角度、および距離のそれぞれについての分散に相当し、この水平角度、垂直角度、および距離のそれぞれについての二乗平均値を要素として持つベクトルをオブジェクト分散ベクトルと呼ぶこととする。オブジェクト分散ベクトルは、複数のオブジェクトのメタデータの分布を示しているということができる。

さらに、以上の計算により得られるオブジェクト分散ベクトルが所望の値、つまり目標となる分散値となるようにメタデータが調整される。メタデータの調整時には、メタデータを構成する水平角度等の１つのパラメタ（要素）が調整されるようにしてもよいし、複数のパラメタが調整されるようにしてもよい。また、メタデータを構成する全パラメタが調整されてもよい。

ここで、オブジェクト分散ベクトルの目標となる所望の値は、例えば予め複数の3D Audioコンテンツについてオブジェクト分散ベクトルを求めておき、それらのオブジェクト分散ベクトルの平均値とすればよい。

同様に、自動調整方法において、オブジェクト平均ベクトルが目標となる値になるようにメタデータが調整されてもよいし、オブジェクト平均ベクトルとオブジェクト分散ベクトルの両方が目標となる値となるようにメタデータが調整されてもよい。

なお、自動調整方法において調整時に目標とされるオブジェクト平均ベクトルやオブジェクト分散ベクトルの値は、3D Audioコンテンツのジャンルごとや制作者ごと、3D Audioコンテンツのオブジェクト数ごとに予め学習等により求めておくようにしてもよい。そうすれば、コンテンツのジャンルに適した分布調整や、制作者らしさが反映された分布調整を実現することができる。

また、オブジェクトベクトルに対して、オブジェクトごとの音圧の重みづけを行うようにしてもよい。すなわち、オブジェクトについて求めたオブジェクトベクトルに、そのオブジェクトのオーディオ信号の音圧に応じた重みを乗算し、その結果得られたベクトルが最終的なオブジェクトベクトルとされてもよい。

この場合、音圧の分布を所望の値、すなわち目標とする音圧分布とすることができ、より品質の高いメタデータの調整（修正）を行うことができる。これは、適度な音圧分布のオーディオコンテンツは品質のよいコンテンツであるとされているからである。

なお、これらの手動調整方法や自動調整方法によるメタデータの分布調整において、調整の対象外とするオブジェクトがあってもよい。

分布調整の対象外とされたオブジェクトについては、そのオブジェクトのメタデータはオブジェクト平均ベクトルの計算には用いられない。しかし、対象外とされたオブジェクトのメタデータをオブジェクト平均ベクトルの計算に用いるようにしてもよい。

例えば楽器情報が「vocal」であるオブジェクトはコンテンツ中において重要である場合が多く、メタデータの分布が一か所に偏っていた方が品質が高い場合がある。そのような場合、楽器情報が「vocal」のオブジェクトについてはメタデータの分布調整の対象外とされるなどとしてもよい。

なお、メタデータの分布調整の対象外とされるオブジェクトは、楽器情報などのオブジェクトごとに付与される情報が予め定めたもの（値等）を示しているオブジェクトとされてもよいし、制作者等により指定されたオブジェクトとされてもよい。

以上の分布調整により、図２に示した分布は、例えば図３に示すようになる。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図３においても横軸はメタデータを構成する水平角度を示しており、縦軸はメタデータを構成する垂直角度を示している。

図３の例では、楽器情報が「vocal」であるオブジェクト、すなわち円C11および円C12により示されるオブジェクトは、メタデータの分布調整の対象外とされている。

図３に示すように、メタデータの分布調整によって、図２に示した場合よりも各オブジェクト、すなわち各オブジェクトのメタデータが適度に離れて分布していることが分かる。これにより、３次元的な音の方向や距離、拡がりのある品質の高いコンテンツを得ることができる。

〈情報処理装置の構成例〉
次に、以上において説明したメタデータ決定手法によりメタデータを決定し、さらに決定されたメタデータの分布調整を行う情報処理装置について説明する。

例えばメタデータ決定手法として、決定木によりメタデータを決定する手法が用いられる場合、情報処理装置は図４に示すように構成される。

図４に示す情報処理装置１１は、メタデータ決定部２１および分布調整部２２を有している。

メタデータ決定部２１は、各オブジェクトについて、外部から供給されたオブジェクトの属性に関する情報、すなわちオブジェクトの１または複数の属性情報に基づいて各オブジェクトのメタデータを予測により決定し、決定されたメタデータを出力する。なお、メタデータの決定対象とされるオブジェクトの数は１つであってもよいし、複数であってもよいが、ここでは複数のオブジェクトについてメタデータが決定されるものとする。

また、オブジェクトの属性情報とは楽器情報、残響情報、音響情報、優先度情報、チャネル情報、オブジェクト数、他のオブジェクトのメタデータ、オブジェクト名、およびジャンルを示す情報のうちの少なくとも何れか１つである。メタデータ決定部２１には、オブジェクトの属性情報として音圧や音の高さに関する特徴量を算出するためのオーディオ信号も供給される。

また、メタデータ決定部２１は、決定木処理部３１を有している。メタデータ決定部２１は、適宜、オーディオ信号に基づいてオブジェクトの属性情報としての音圧や音の高さに関する特徴量を算出し、算出された特徴量や、外部から供給されたオブジェクトの属性情報を決定木処理部３１に入力する。なお、決定木処理部３１に入力される属性情報は、１つであってもよいし、複数であってもよい。

決定木処理部３１は、入力されたオブジェクトの属性情報に基づいて、決定木によりメタデータを決定する処理を行い、その決定結果として得られた各オブジェクトのメタデータを分布調整部２２に供給する。決定木処理部３１には、予め学習により求められた決定木（決定木モデル）が保持されている。

なお、ここでは決定木処理部３１では、メタデータのパラメタとして水平角度、垂直角度、および距離が決定される例について説明するが、決定されるパラメタにゲインが含まれるようにしてもよい。また、メタデータを構成する複数のパラメタのうちの任意の１つまたは複数のパラメタが決定木処理部３１で決定されるようにしてもよい。

分布調整部２２は、決定木処理部３１から供給された複数の各オブジェクトのメタデータに対して上述した分布調整を行い、分布調整後のメタデータを最終的な各オブジェクトのメタデータとして後段に供給（出力）する。

分布調整部２２は、オブジェクト分散ベクトル算出部３２、係数ベクトル算出部３３、および係数ベクトル適用部３４を有している。

オブジェクト分散ベクトル算出部３２は、決定木処理部３１から供給された各オブジェクトのメタデータを構成する水平角度、垂直角度、および距離を要素とするベクトルをオブジェクトベクトルとするとともに、各オブジェクトのオブジェクトベクトルに基づいてオブジェクト平均ベクトルを求める。さらに、オブジェクト分散ベクトル算出部３２は、求めたオブジェクト平均ベクトルと、各オブジェクトベクトルとに基づいてオブジェクト分散ベクトルを算出し、係数ベクトル算出部３３に供給する。

係数ベクトル算出部３３は、水平角度、垂直角度、および距離のそれぞれについて予め求められた所定値を要素としてもつ所定値ベクトルの要素のそれぞれを、オブジェクト分散ベクトル算出部３２から供給されたオブジェクト分散ベクトルの要素のそれぞれで除算することにより、水平角度、垂直角度、および距離のそれぞれについて係数を要素として持つ係数ベクトルを算出し、係数ベクトル適用部３４に供給する。

ここでは、予め求められた所定値ベクトルは、目標とするオブジェクト分散ベクトルであり、例えばジャンルごとや制作者ごとの学習等により求められる。具体的には、例えば目標とするオブジェクト分散ベクトルの値は、同ジャンルの複数の3D Audioコンテンツについて得られたオブジェクト分散ベクトルの要素ごとの平均値を要素としてもつベクトルなどとされる。

係数ベクトル適用部３４は、決定木処理部３１から供給されたメタデータに対して、係数ベクトル算出部３３から供給された係数ベクトルを要素ごとに乗算することで分布調整後のメタデータを算出し、得られたメタデータを後段に出力する。係数ベクトル適用部３４では、メタデータに係数ベクトルを要素ごとに乗算することで、メタデータの分布調整が行われる。これによりメタデータの分布が、目標となるオブジェクト分散ベクトルに対応する分布となる。

例えば係数ベクトル適用部３４の後段においては、各オブジェクトのオーディオ信号とメタデータとに基づいてレンダリング処理が行われたり、制作者の手動によりメタデータの調整が行われたりする。

なお、決定木処理部３１からオブジェクト分散ベクトル算出部３２や係数ベクトル適用部３４には、メタデータだけでなく楽器情報等のオブジェクトの属性情報も供給されるようにし、オブジェクトの属性情報に基づいて、分布調整の対象外とするオブジェクトが決定されてもよい。この場合、対象外とされたオブジェクトについては、メタデータの分布調整は行われず、決定木処理部３１で決定されたメタデータがそのまま最終的なメタデータとして出力される。

また、メタデータの分布調整として、オブジェクト平均ベクトルの調整が行われるようにしてもよいし、オブジェクト分散ベクトルとオブジェクト平均ベクトルの両方の調整が行われるようにしてもよい。さらに、ここでは分布調整部２２において自動調整方法により分布調整が行われる例について説明したが、分布調整部２２において、制作者等の入力に応じて手動調整方法により分布調整が行われるようにしてもよい。

そのような場合、例えば分布調整部２２は、制作者等により指定された所定の値をオブジェクトのメタデータに加算したり乗算したりして、所定の値とメタデータに基づく演算を行い、分布調整後のメタデータを求める。また、この場合においても制作者により指定されたオブジェクトや、オブジェクトの属性情報等により定まるオブジェクトが分布調整の対象外とされるようにしてもよい。

〈メタデータ決定処理の説明〉
続いて、図４に示した情報処理装置１１の動作について説明する。すなわち、以下、図５のフローチャートを参照して、情報処理装置１１によるメタデータ決定処理について説明する。

ステップＳ１１において決定木処理部３１は、オブジェクトの属性情報に基づいてメタデータを決定し、その決定結果をオブジェクト分散ベクトル算出部３２および係数ベクトル適用部３４に供給する。

すなわちメタデータ決定部２１は、必要に応じて供給されたオーディオ信号に基づいて上述した式（１）や式（２）の計算を行うことで音圧や音の高さの特徴量を算出する。そしてメタデータ決定部２１は、算出された特徴量や、外部から供給された楽器情報等を、オブジェクトの属性情報として決定木処理部３１に入力する。

決定木処理部３１は、供給されたオブジェクトの属性情報に基づいて、決定木によりメタデータを決定する処理を行う。また、メタデータ決定部２１は、必要に応じてオブジェクトの属性情報をオブジェクト分散ベクトル算出部３２や係数ベクトル適用部３４にも供給する。

ステップＳ１２においてオブジェクト分散ベクトル算出部３２は、決定木処理部３１から供給された各オブジェクトのメタデータに基づいてオブジェクト平均ベクトルを求めるとともに、オブジェクト平均ベクトルとオブジェクトベクトルとからオブジェクト分散ベクトルを算出し、係数ベクトル算出部３３に供給する。

ステップＳ１３において係数ベクトル算出部３３は、水平角度、垂直角度、および距離のそれぞれについて予め求められた所定値を要素として持つベクトル、すなわち予め求められた目標となるオブジェクト分散ベクトルを、オブジェクト分散ベクトル算出部３２から供給されたオブジェクト分散ベクトルで要素ごとに除算することにより係数ベクトルを算出し、係数ベクトル適用部３４に供給する。

ステップＳ１４において係数ベクトル適用部３４は、係数ベクトル算出部３３から供給された係数ベクトルに基づいて、決定木処理部３１から供給されたメタデータの分布調整を行い、その結果得られた分布調整後のメタデータを出力してメタデータ決定処理は終了する。

例えば係数ベクトル適用部３４は、メタデータに係数ベクトルを要素ごとに乗算することにより、メタデータの分布調整を行う。なお、上述したように所定のオブジェクトはメタデータの分布調整の対象外とされるようにしてもよい。

以上のようにして情報処理装置１１は、オブジェクトの属性情報に基づいて各オブジェクトのメタデータを決定するとともに、それらのメタデータの分布調整を行う。このようにすることで、制作者はいちいち各オブジェクトのメタデータを指定（入力）する必要がなくなるので、簡単に、すなわち短時間で高い品質の3D Audioコンテンツを制作することができるようになる。

〈決定木の学習について〉
ところで、上述の手法によってメタデータを決定することができるが、決定のパターン、すなわちメタデータの決定に用いる決定木等は１つではなく複数であった方がよい。これは、１つの決定パターン（決定木等）で多種多様なコンテンツに対応することは困難であり、また、複数の決定パターンから制作者にとって最適なものを選択できるようにすることで、より品質の高い3D Audioコンテンツの制作が可能になるからである。

上述の通り、メタデータの決定は学習データに基づくため、学習データを複数に分割して、分割されたそれぞれの学習データを用いて決定木モデルの学習を行うことで、複数パターンでの決定を行うことができるようになる。このとき学習データをどのように分割するかによって利点が異なる。

具体的には、例えば学習データを制作者ごとに分割すれば、制作者ごとのメタデータの決定精度を高めることができる。すなわち、制作者の特徴をより反映したメタデータの決定を行う決定木（決定木モデル）を得ることができるようになる。

制作者の特徴は、コンテンツの品質を決定付けるうえで最も重視されるもののひとつであり、制作者ごとに学習データを分割することにより、決定パターンで品質のバリエーションを増やすことが可能となる。また、制作者自身が制作したデータを学習データとすることで、過去の自身の特徴をより反映した決定を行うことができ、制作時間を短縮することが可能となる。

このような場合、例えば複数の制作者ごとに決定木を学習して用意しておけば、一般ユーザなどが、複数の制作者ごとの決定木のなかから自身の好みの制作者の決定木を選択し、その選択した決定木を用いてメタデータが決定されるようにすることができる。これにより、自身の好みの制作者の特徴が反映されたコンテンツが得られるようになる。

また、例えば学習データをロックやポップス、クラシックなどのコンテンツのジャンル（種別）ごとに分割すれば、メタデータの決定精度を向上させることができる。すなわち、コンテンツのジャンルごとに決定木を学習すれば、コンテンツのジャンルに適したメタデータを得ることができるようになる。

さらに、上述したように、メタデータの分布調整に用いるオブジェクト平均ベクトルやオブジェクト分散ベクトルの目標とする値もジャンルごとや制作者ごと、コンテンツを構成するオブジェクトの数ごとに学習等により求めるようにすることができる。

以上のように本技術によれば、オブジェクトの属性情報に基づいてメタデータを決定したり、その決定結果に対して分布調整を行ったりすることで、品質の高い3D Audioコンテンツを、短時間で制作することができるようになる。

なお、本技術は各オブジェクトの空間内の位置が時刻によらず常に同じ位置である場合、つまりオブジェクトが移動しない場合であっても、オブジェクトの空間内の位置が時刻によって変化する場合であっても適用可能である。

オブジェクトの位置が変化する場合、例えば時刻ごとに図５を参照して説明したメタデータ決定処理を行い、必要に応じて２つの時刻間のメタデータを補間処理等により求めればよい。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する決定部を備える
情報処理装置。
（２）
前記パラメタは、前記オブジェクトの位置を示す位置情報である
（１）に記載の情報処理装置。
（３）
前記パラメタは、前記オブジェクトのオーディオ信号のゲインである
（１）または（２）に記載の情報処理装置。
（４）
前記属性情報は、前記オブジェクトの種類を示す情報である
（１）乃至（３）の何れか一項に記載の情報処理装置。
（５）
前記属性情報は、前記オブジェクトの優先度を示す優先度情報である
（１）乃至（４）の何れか一項に記載の情報処理装置。
（６）
前記オブジェクトはオーディオオブジェクトである
（１）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記属性情報は、前記オブジェクトの音源種別を示す情報である
（６）に記載の情報処理装置。
（８）
前記音源種別は、楽器、音声パート、または音声の性別を示す情報である
（７）に記載の情報処理装置。
（９）
前記属性情報は、前記オブジェクトのオーディオ信号に施された音響効果を示す情報である
（６）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
前記音響効果は残響効果である
（９）に記載の情報処理装置。
（１１）
前記属性情報は、前記オブジェクトのオーディオ信号の音圧または音高に関する情報である
（６）乃至（１０）の何れか一項に記載の情報処理装置。
（１２）
前記属性情報は、前記オブジェクトにより構成されるコンテンツの属性に関する情報である
（６）乃至（１１）の何れか一項に記載の情報処理装置。
（１３）
前記コンテンツの属性に関する情報は、前記コンテンツのジャンル、または前記コンテンツを構成する前記オブジェクトの数である
（１２）に記載の情報処理装置。
（１４）
複数の前記オブジェクトの前記パラメタの分布調整を行う分布調整部をさらに備える
（１）乃至（１３）の何れか一項に記載の情報処理装置。
（１５）
前記分布調整部は、前記パラメタの分散または平均を調整することにより前記分布調整を行う
（１４）に記載の情報処理装置。
（１６）
前記分布調整部は、前記パラメタの前記分散または前記平均が、コンテンツを構成する前記オブジェクトの数、コンテンツ制作者、または前記コンテンツのジャンルに対して定められた値となるように前記分布調整を行う
（１５）に記載の情報処理装置。
（１７）
前記決定部は、前記属性情報を入力とし、前記パラメタを出力とする決定木により前記パラメタを決定する
（１）乃至（１６）の何れか一項に記載の情報処理装置。
（１８）
前記決定木は、前記オブジェクトにより構成されるコンテンツのジャンルごと、またはコンテンツ制作者ごとに学習される
（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する
情報処理方法。
（２０）
オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 情報処理装置， ２１ メタデータ決定部， ２２ 分布調整部， ３１ 決定木処理部， ３２ オブジェクト分散ベクトル算出部， ３３ 係数ベクトル算出部， ３４ 係数ベクトル適用部

Claims (20)

1. オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する決定部を備える
   情報処理装置。
2. 前記パラメタは、前記オブジェクトの位置を示す位置情報である
   請求項１に記載の情報処理装置。
3. 前記パラメタは、前記オブジェクトのオーディオ信号のゲインである
   請求項１に記載の情報処理装置。
4. 前記属性情報は、前記オブジェクトの種類を示す情報である
   請求項１に記載の情報処理装置。
5. 前記属性情報は、前記オブジェクトの優先度を示す優先度情報である
   請求項１に記載の情報処理装置。
6. 前記オブジェクトはオーディオオブジェクトである
   請求項１に記載の情報処理装置。
7. 前記属性情報は、前記オブジェクトの音源種別を示す情報である
   請求項６に記載の情報処理装置。
8. 前記音源種別は、楽器、音声パート、または音声の性別を示す情報である
   請求項７に記載の情報処理装置。
9. 前記属性情報は、前記オブジェクトのオーディオ信号に施された音響効果を示す情報である
   請求項６に記載の情報処理装置。
10. 前記音響効果は残響効果である
    請求項９に記載の情報処理装置。
11. 前記属性情報は、前記オブジェクトのオーディオ信号の音圧または音高に関する情報である
    請求項６に記載の情報処理装置。
12. 前記属性情報は、前記オブジェクトにより構成されるコンテンツの属性に関する情報である
    請求項６に記載の情報処理装置。
13. 前記コンテンツの属性に関する情報は、前記コンテンツのジャンル、または前記コンテンツを構成する前記オブジェクトの数である
    請求項１２に記載の情報処理装置。
14. 複数の前記オブジェクトの前記パラメタの分布調整を行う分布調整部をさらに備える
    請求項１に記載の情報処理装置。
15. 前記分布調整部は、前記パラメタの分散または平均を調整することにより前記分布調整を行う
    請求項１４に記載の情報処理装置。
16. 前記分布調整部は、前記パラメタの前記分散または前記平均が、コンテンツを構成する前記オブジェクトの数、コンテンツ制作者、または前記コンテンツのジャンルに対して定められた値となるように前記分布調整を行う
    請求項１５に記載の情報処理装置。
17. 前記決定部は、前記属性情報を入力とし、前記パラメタを出力とする決定木により前記パラメタを決定する
    請求項１に記載の情報処理装置。
18. 前記決定木は、前記オブジェクトにより構成されるコンテンツのジャンルごと、またはコンテンツ制作者ごとに学習される
    請求項１７に記載の情報処理装置。
19. 情報処理装置が、
    オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する
    情報処理方法。
20. オブジェクトのメタデータを構成する１または複数のパラメタを、前記オブジェクトの１または複数の属性情報に基づいて決定する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images