JP4578243B2 - 空間性が拡張された音源を有する３次元音響シーンの生成及び消費方法 - Google Patents

Description

本発明は、空間性が拡張された音源を有する３次元音響シーンの生成及び消費方法に関し、さらに詳しくは、３次元音響シーンにおいて、音源が有する空間性を拡張させるための３次元音響シーンの生成及び消費方法に関する。

一般に、コンテンツ提供サーバは、所定の方式に従ってコンテンツを符号化（ｅｎｃｏｄｉｎｇ）してコンテンツ消費端末に伝送し、コンテンツ消費端末は、所定の方式に従ってコンテンツを復号化（ｄｅｃｏｄｉｎｇ）して伝送されたコンテンツを出力する。

従って、コンテンツ提供サーバは、コンテンツを符号化するための符号化部と、符号化されたコンテンツを送信するための送信部とを含む。コンテンツ消費端末は、送信されたコンテンツを受信する受信部、受信されたコンテンツを復号化する復号化部及び復号されたコンテンツをユーザに出力する出力部を含む。

今まで知られているオーディオ／ビデオ信号の符号化／復号化方式は非常に多様である。その中で、ＭＰＥＧ−４による符号化／復号化方式が最近に広く用いられている。 ＭＰＥＧ−４は、低い伝送率で動画を伝送するために、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が定義したデータ圧縮及び復元技術に関する標準である。

ＭＰＥＧ−４によれば、任意形状のオブジェクト（ｏｂｊｅｃｔ）を符号化することができる。従って、コンテンツ消費端末は、複数のオブジェクトが合成されたシーンを消費できる。このため、 ＭＰＥＧ−４は、音響オブジェクトの表示方法と特性とを指定するためのシーン記述（Ｓｃｅｎｅ Ｄｅｓｃｒｉｐｔｉｏｎ）言語としてＡｕｄｉｏＢＩＦＳ（Ａｕｄｉｏ Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ）を定義している。

一方、映像物の発展と共に、ユーザはもっと実在感のある音質と画質のコンテンツを消費することを望む。上述したＭＰＥＧ−４ ＡｕｄｉｏＢＩＦＳ では、３次元音響シーンの空間感を表現するために、 ＡｕｄｉｏＦＸノード及びＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードなどを使用する。このようなノードにおいて、音源のモデリングは点音源（ｐｏｉｎｔ−ｓｏｕｒｃｅ）に依存するが、点音源は、３次元音響空間で描写しやすく、具現することも容易である。

しかし、現実の音源は、点よりは２次元以上の次元を持っている場合がもっと多く、重要なことは、音源の形状が人間に認識されることができるという点である（特許文献１）。

例えば、直線に伸びている海岸線に当る波の音は点音源でない、１次元的な線音源として認識されることができる。
従って、ＡｕｄｉｏＢＩＦＳを用いて３次元音響シーンの現実感を一層向上させるためには、音源の大きさ（ｓｉｚｅ）と形状（ｓｈａｐｅ）とが表現されなければならず、そうでない場合は、３次元音響シーンにおいて、音響オブジェクトの現実感は深刻に毀損される。

即ち、３次元音響シーンに１次元以上の次元を有する音源を付与するためには、音源の空間性を記述できなければならない。

Ｊ．Ｂａｌｕｅｒｔ， Ｓｐａｔｉａｌ Ｈｅａｒｉｎｇ， Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ Ｍａｓｓ， １９９６ Ａ．Ｊ． Ｂｅｒｋｈｏｕｔ， Ｄ． ｄｅ Ｖｒｉｅｓ， ａｎｄ Ｐ．Ｖｏｇｅｌ， “Ａｃｏｕｓｔｉｃ ｃｏｎｔｒｏｌ ｂｙ ｗａｖｅ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ，” Ｊ． Ａｏｕｓｔ．Ｓｏｃ． Ａｍ． Ｖｏｌ．９３， Ｎｏ．５．ｐｐ．２７６４−２７７８， Ｍａｙ １９９３

本発明は上述した問題を解決するためになされたものであって、その目的は、３次元音響シーン記述情報に音源の空間性拡張情報を含む音源特性情報を含むことにより、空間性が拡張された音源を有する３次元音響シーンの生成及び消費方法を提供することである。

前記のような目的を達成するための本発明は、空間性が拡張された音源を有する３次元音響シーン（３Ｄ ａｕｄｉｏ ｓｃｅｎｅ）の生成方法であって、音響オブジェクトを生成するステップと、前記音響オブジェクトに対する音源特性情報を含む３次元音響シーン記述情報を生成するステップとを含み、前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む。

また、本発明は、空間性が拡張された音源を有する３次元音響シーンの消費方法（Ａ ｍｅｔｈｏｄ ｆｏｒ ｃｏｎｓｕｍｉｎｇ ａ ３Ｄ ａｕｄｉｏ ｓｃｅｎｅ）であって、音響オブジェクト及び前記音響オブジェクトに対する音源特性情報を含む３次元音響シーン記述情報を受信するステップと、前記３次元音響シーン記述情報に基づいて前記音響オブジェクトを出力するステップとを含み、前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む。

本発明によれば、コンテンツ音源の空間性を拡張する装置及び方法を提示して、より効果的な３次元音響を作り出すことができる効果がある。

以下の内容は単に本発明の原理を例示する。従って、当業者は例え本明細書に明確に説明されたり、図示されてはいないが、本発明の原理を具現し、本発明の概念と範囲に含まれた多様な装置を発明できる。また、本明細書に列挙された全ての条件部用語及び実施例などは原則的に、本発明の概念が理解されるようにするための目的のみに明確に意図され、このように、特別に列挙された実施例及び状態に制限的でないものとして理解しなければならない。

また、本発明の原理、観点及び実施例だけでなく、特定の実施例を列挙する全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されるものとして理解しなければならない。なお、このような均等物などは、現在公知された均等物だけでなく、将来に開発される均等物、即ち、構造と関係なく、同じ機能を行うように発明された全ての素子を含むものとして理解しなければならない。

従って、例えば、本明細書のブロック図は本発明の原理を具体化する例示的な回路の概念的な観点を表すものとして理解しなければならない。これと同様に、全てのフローチャート、状態変換図、擬似コードなどはコンピュータが読み取り可能な媒体に実質的に表すことができ、コンピュータまたはプロセッサが明確に示されているか否かに関わらず、コンピュータまたはプロセッサにより行われる多様なプロセスを表すものとして理解しなければならない。

プロセッサまたはこれと類似した概念として表示された機能ブロックを含む図面に示された多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行する能力を有したハードウェアの使用に提供され得る。プロセッサにより提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサ、或いは、複数の個別的プロセッサにより提供されることができ、これらのうち、一部は共有されることができる。

またプロセッサ、制御、またはこれと類似した概念として提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解析されてはいけないし、制限無しでデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に含むことと理解しなければならない。また、周知慣用の他のハードウェアも含まれることができる。

本明細書の請求の範囲において、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはファームウェア／マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものとして意図され、上記の機能を行うように、上記ソフトウェアを実行するための適切な回路と組み合わせられる。このような請求の範囲により定義される本発明は、多様に列挙された手段により提供される機能などが結合され、請求項が要求する方式と結合されるため、上記の機能を提供できるいかなる手段も本明細書から把握されるものと均等なものとして理解しなければならない。

上述した目的、特徴及び長所などは、添付された図面と関連した次の詳細な説明を通してより明確になるだろう。まず、各図面の構成要素などに参照番号を付することにおいて、同じ構成要素などに限っては、例え、異なる図面上に表示されても、できるだけ同じ番号を持つようにしていることに留意しなければならない。また、本発明を説明するにおいて、関連した公知技術に対する具体的な説明が本発明の要旨を不必要にする恐れがあると判断される場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明に係る好ましい実施例を詳細に説明する。

図１は多様な形状と大きさとを有することのできる音源を説明するための図面である。図１Ａ乃至図１Ｄに示されているように、音源は点、連続した線、面及び体積を有した空間になることができる。音源は任意の形状と大きさとを有するため、このような音源を記述することは非常に複雑になる恐れがある。しかし、モデリングしようとする音源形状を調整すれば、音源をそれほど複雑でないように記述することができる。

本発明では、多様な形状と大きさとを有する音源を簡単にモデリングするために、点音源が仮想音源（ｖｉｒｔｕａｌ ｓｏｕｎｄ ｓｏｕｒｃｅ）の次元に等しく分布することと仮定する。その結果、多様な形態の音源は点音源の連続した配列で表現されることができる。この時、仮想オブジェクト上の各点音源の位置は、３次元シーンで定義された音源のベクトル位置を用いて計算することができる。

複数の点音源で空間音源をモデリングすれば、空間音源はＡｕｄｉｏＢＩＦＳで定義されたノードを用いて記述されなければならず、ＡｕｄｉｏＦＸノードを用いれば、いかなる効果でも３次元シーンに含ませることができる。従って、空間音源に対応する効果は、ＡｕｄｉｏＦＸノードを通してプログラミングされ、３次元シーンに挿入されることができる。

しかし、この場合、非常に複雑なＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）アルゴリズムが要求され、音源の次元を調整することも極めて困難である。

また、ＡｕｄｉｏＢＩＦＳを用いてオブジェクトの有限次元に分布している点音源をグルーピングし、前記音源グループを変換して空間的な位置及び方向を変更することができる。まず、複数のＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードを用いて点音源の特徴を記述する。点音源の位置はオブジェクト表面に均一に分布するように計算する。

次に、前記点音源を空間エイリアシング（ｓｐａｔｉａｌ ａｌｉａｓｉｎｇ）を排除できる空間上の距離に位置させる（特許文献２）。グループノードを用いて前記点音源をグルーピングすることにより、空間音源は３次元音響シーンでベクトル化されることができる。

図２はＡｕｄｉｏＢＩＦＳシーンの例示的な概略図であって、仮想音源の概念を示している。線音源の軸に沿って均一に分布している３個の点音源を用いて仮想の連続的な線音源がモデリングされている。

このような仮想音源の概念に従って点音源の位置は（ｘｏ−ｄｘ、ｙｏ−ｄｙ、ｚｏ−ｄｚ）（ｘｏ、ｙｏ、ｚｏ）及び（ｘｏ＋ｄｘ、ｙｏ＋ｄｙ、ｚｏ＋ｄｚ）として設定される。ここで、ｄｘ、ｄｙ及びｄｚは、ａｎｇｌｅフィールド及びｄｉｒｅｃｔｉｏｎフィールドに定義されている聴取者と音源位置との間のベクトルと、音源の方向ベクトル間の角度とから計算することができる。

図２に示された例示的な概略図は、複数の点音源で空間音源を記述している。ＡｕｄｉｏＢＩＦＳは、このような特定のシーン記述を支援できるようにみえる。しかし、このような方法は、不必要な音響オブジェクト定義があまり多く要求される。１つのオブジェクトをモデリングするために、複数のオブジェクトが定義されるためである。ＭＰＥＧ−４のハイブリッド記述（ｈｙｂｒｉｄ ｄｅｓｃｒｉｐｔｉｏｎ）の主な目的がより多いオブジェクト指向表現（ｏｂｊｅｃｔ ｏｒｉｅｎｔｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）であるとすれば、一つの空間音源をモデリングするために用いられる点音源が結合されて一つのオブジェクトに再生産されることが好ましい。

本発明によれば、音源の形状及び大きさ属性を記述するために、ＡｕｄｉｏＢＩＦＳのＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードに新しいフィールドが追加される。図３は本発明に係るＤｉｒｅｃｔｉｖｅＳｏｕｎｄノードの概略図であって、音源の空間性拡張情報が追加されたことを例示している。

図３に示されているように、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値に応じて対応される新しいレンダリング設計が「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードに適用される。「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールドは音源の形状情報もさらに含んでいる。もし、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値が「０、０、０」であれば、音源は１つの点になり、音源を拡張するための追加的な記述が「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードに適用されない。

「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値が「０、０、０」でない、ある値を有すれば、音源の次元は仮想的に拡張される。「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードのｌｏｃａｔｉｏｎフィールド及びｄｉｒｅｃｔｉｏｎフィールドで音源の位置及び方向が各々定義される。「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎｓ」フィールド値に基づいて当該音源の次元は「ｄｉｒｅｃｔｉｏｎ」フィールドに定義されるベクトルに垂直な方向に拡張される。

「ｌｏｃａｔｉｏｎ」フィールドは、拡張された音源の幾何学的中央を定義し、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は、音源の３次元的大きさ（ｓｉｚｅ）を定義する。従って、Δｘ、Δｙ、Δｚの値に応じて空間に拡張される音源の大きさが決められる。

図４は本発明に係る音源拡張過程を説明するための図である。図示されているように、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は、（０、Δｙ、Δｚ）であり、（Δｙ≠０、Δｚ≠０）、これは、Δｙ×Δｚの面積を有する面音源を示す。

図示された音源は、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールド値（０、Δｙ、Δｚ）に基づいて、「ｄｉｒｅｃｔｉｏｎ」フィールドに定義されたベクトルに垂直な方向に拡張されて面音源をなす。このように、音源の次元と位置とが定義されると、点音源は拡張された音源の表面に位置する。本発明では、拡張された音源の表面に点音源が均等に分布するように点音源の位置を計算する。

図５Ａ乃至図５Ｃは本発明によって多様な音源形状による点音源の分布を説明するための図である。

音源の次元と距離は自由変数であるため、ユーザが知覚できる音源の大きさは自由に構成することができる。

例えば、マイクロホンの配列を用いて録音されたマルチトラックオーディオ信号は図５Ａのように点音源の線拡張により表現されることができる。この場合、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は（０、０、Δｚ）である。

また、互いに異なる音響信号が拡散音源を生成するために、本発明に係る点音源の拡張として表現されることができる。

図５Ｂ及び５Ｃは、点音源の拡散により表現される面音源と体積を持つ空間音源を示す。図５Ｂの場合、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」フィールドの値は（０、Δｙ、Δｚ） であり、図５Ｃの場合、「ｓｏｕｒｃｅＤｉｍｅｎｓｉｏｎ」 フィールドの値は（Δｘ、Δｙ、Δｚ）である。

このように、空間音源の次元が定義されることにより、点音源の数（即ち、入力オーディオチャネル数）は拡張された音源での点音源密度を決める。

もし、「ＡｕｄｉｏＳｏｕｒｃｅ」ノードが「ｓｏｕｒｃｅ」フィールドで定義されると、「ｎｕｍＣｈａｎ」フィールドの値は使用される点音源の数を表すことができる。

そして、「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」ノードの「ａｎｇｌｅ」、 「ｄｉｒｅｃｔｉｖｉｔｙ」及び「ｆｒｅｑｕｅｎｃｙ」フィールドで定義された方向性は、拡張された音源に含まれた全ての点音源に同一に適用されることができる。

なお、本発明は、上記の実施の形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲で様々な変更が可能であり、それらも本発明の技術的範囲に属する。

多様な形状を有することのできる音源を説明するための図である。 連続した点音源をグルーピングして空間音源を表現する方法を説明するための図である。 本発明に従ってＡｕｄｉｏＢＩＦＳの「ＤｉｒｅｃｔｉｖｅＳｏｕｎｄ」音源の空間性拡張情報が追加されたことを例示する図である。 本発明に係る音源拡張過程を説明するための図である。 本発明に従って多様な音源形状による点音源の分布を説明するための図である。

Claims (20)

1. 空間性が拡張された音源を有する３次元音響シーンの生成方法であって、
   音響オブジェクトを生成するステップと、
   前記音響オブジェクトに対する音源特性情報を含む３次元音響シーン記述情報を生成するステップとを含み、
   前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
   ことを特徴とする３次元音響シーンの生成方法。
2. 前記音源の空間性拡張情報は、３次元座標系の３つの成分として表現され、音源が線音源、面音源または空間音源であること及びその大きさを示す情報を含むことを特徴とする請求項１に記載の３次元音響シーンの生成方法。
3. 前記３つの成分は、直角座標系のｘ成分、ｙ成分及びｚ成分であることを特徴とする請求項２に記載の３次元音響シーンの生成方法。
4. 前記音源の空間性拡張情報は、音源の幾何中心位置を示す情報をさらに含むことを特徴とする請求項２に記載の３次元音響シーンの生成方法。
5. 前記音源の空間性拡張情報は、前記音源の方向情報をさらに含み、該音源方向に垂直な方向に音源の空間性を拡張して３次元音響シーンを記述することを特徴とする請求項２に記載の３次元音響シーンの生成方法。
6. 空間性が拡張された音源を有する３次元音響シーンの消費方法であって、
   音響オブジェクト及び該音響オブジェクトに対する音源特性情報を含む３次元音響シーンの記述情報を受信するステップと、
   前記３次元音響シーンの記述情報に基づいて、前記音響オブジェクトを出力するステップとを含み、
   前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
   ことを特徴とする３次元音響シーンの消費方法。
7. 前記音源の空間性拡張情報は、３次元座標系の３つの成分として表現され、音源が線音源、面音源または空間音源であること及びその大きさを示す情報を含むことを特徴とする請求項６に記載の３次元音響シーンの消費方法。
8. 前記３つの成分は、直角座標系のｘ成分、ｙ成分及びｚ成分であることを特徴とする請求項７に記載の３次元音響シーンの生成方法。
9. 前記音源の空間性拡張情報は、音源の幾何中心位置を示す情報をさらに含むことを特徴とする請求項７に記載の３次元音響シーンの消費方法。
10. 前記音源の空間性拡張情報は、前記音源の方向情報をさらに含み、該音源方向に垂直な方向に音源の空間性を拡張して３次元音響シーンを記述することを特徴とする請求項７に記載の３次元音響シーンの消費方法。
11. 空間性が拡張された音源を有する３次元音響シーンの処理方法であって、
    音響オブジェクトに対する音源特性情報を含む３次元音響シーンの記述情報を生成するステップと、
    前記音響オブジェクト及び前記音響オブジェクトに対する音源特性情報を含む３次元音響シーンの技術情報を符号化するステップとを含み、
    前記音源特性情報は、３次元空間に表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
    ことを特徴とする３次元音響シーンの処理方法。
12. 前記音源の空間性拡張情報は、３次元座標系の３つの成分として表現され、音源が線音源、面音源または空間音源であること及びその大きさを示す情報を含むことを特徴とする請求項１１に記載の３次元音響シーンの処理方法。
13. 前記３つの成分は、直角座標系のｘ成分、ｙ成分及びｚ成分であることを特徴とする請求項１２に記載の３次元音響シーンの処理方法。
14. 前記音源の空間性拡張情報は、音源の幾何中心位置を示す情報をさらに含むことを特徴とする請求項１２に記載の３次元音響シーンの処理方法。
15. 前記音源の空間性拡張情報は、前記音源の方向情報をさらに含み、該音源方向に垂直な方向に音源の空間性を拡張して３次元音響シーンを記述することを特徴とする請求項１２に記載の３次元音響シーンの処理方法。
16. 空間性が拡張された音源を有する３次元音響シーンの処理方法であって、
    音響オブジェクト及び該音響オブジェクトに対する音源特性情報を含む３次元音響シーンの記述情報を復号化するステップと、
    前記３次元音響シーンの記述情報に基づいて、前記音響オブジェクトを出力するステップとを含み、
    前記音源特性情報は、３次元空間で表現される音源の大きさ及び形状情報である音源の空間性拡張情報を含む
    ことを特徴とする３次元音響シーンの処理方法。
17. 前記音源の空間性拡張情報は、３次元座標系の３つの成分として表現され、音源が線音源、面音源または空間音源であること及びその大きさを示す情報を含むことを特徴とする請求項１６に記載の３次元音響シーンの処理方法。
18. 前記３つの成分は、直角座標系のｘ成分、ｙ成分及びｚ成分であることを特徴とする請求項１７に記載の３次元音響シーンの処理方法。
19. 前記音源の空間性拡張情報は、音源の幾何中心位置を示す情報をさらに含むことを特徴とする請求項１７に記載の３次元音響シーンの処理方法。
20. 前記音源の空間性拡張情報は、前記音源の方向情報をさらに含み、該音源方向に垂直な方向に音源の空間性を拡張して３次元音響シーンを記述することを特徴とする請求項１７に記載の３次元音響シーンの処理方法。

Images