JPWO2010109918A1 - 復号化装置、符号化復号化装置および復号化方法 - Google Patents

Abstract

受信したオブジェクト符号化情報から得られるオブジェクト信号の仮想音源を受信拠点側で受聴空間に配置する方法が存在しなかった。オブジェクト符号化された音響符号化情報を複数受信し、受信した音響符号化情報をオブジェクト復号化して複数のオブジェクト信号を生成するオブジェクト復号化部（８０６）と、オブジェクト復号化により得られた各オブジェクト信号の仮想音源の位置を、オブジェクト信号を合成して得られる音響信号ごとに、受聴空間に配置するレンダリング部（８０７）とを備え、音響符号化情報には、音響信号に対する優先度の大小を示す優先度情報が重畳され、レンダリング部（８０７）は、優先度情報が示す優先度の大小に応じて、または音響信号に含まれるオブジェクト信号の数に応じて、受聴空間において音響信号に対して割り当てられる領域の大小を決定し、音響信号に含まれるオブジェクト信号の仮想音源のそれぞれを前記領域内に配置する。

Description

本発明は、多拠点・多人数の話者が参加する会議システムにおける音響信号をオブジェクト符号化およびオブジェクト復号化する装置に関する。

昨今のブロードバンド通信技術の発展とともにＩＰ通信技術が一般的になり、一般的なビジネスシーンでの会議や一般家庭間のコミュニケーションシーンでも、ＩＰ通信技術を基盤とした電話会議システムや音声信号のみならずビデオ画像も同時に提示するような臨場感コミュニケーションシステムが登場してきた。また、ＩＰ通信の速度や安定性の向上により、多拠点・多人数が参加可能な臨場感会議システムも登場している。利便性の向上により、多人数・多拠点での会議・通信システムを使う機会が増加するに従って、より簡単に会議に参加できるような仕組みが重要になってきている。

従来型のビデオ会議システムにおいて、多人数・多拠点が参加する場合には、人数分あるいは拠点数分だけ等分割した画面表示を行っていた。そのため非常に多くの人数、多くの拠点が参加している場合には、画面表示は非常に煩雑になる。さらに、多人数・多拠点が参加することにより、会話の音声信号も混線し、どこの拠点の誰が発言しているか等を判別することが困難になる。これを解決するには、発言の最初に、いまから誰が発言するのかを明示的に発話するか、あるいは映像によって誰が発言しているのかを示す等の補助的な手段が必要となり、非常に煩雑な処理が必要となっていた。

また、会議に参加する各拠点において参加する人数が増えると、各拠点の送信装置や受信装置で符号化・復号化する音声・映像信号の数が増え、送受信装置への負荷が増加することにつながる。

これらの課題を解決するためには、複数の信号を同時にかつ低ビットレートで符号化することのできる方式が必要である。さらには、複数の音声信号を柔軟に制御可能な技術も必要である。そこでオーディオオブジェクト符号化技術（以下、オブジェクト符号化技術と呼ぶ）が提案され、これを用いた複数のオブジェクト信号を個別に低ビットレートで送受信する特徴を備えた装置が提案されている（例えば特許文献１参照）。オブジェクト符号化技術を用いた符号化によると、複数のオブジェクト信号をＭ個の音響信号にダウンミックスして符号化したダウンミックス情報に加え、少ない制御情報を付加して伝送し、受信側でＮ個のオーディオオブジェクト信号に再構成（ＭはＮよりも小さい）することができる。

米国特許出願公開第２００８／０００８３２３号明細書

Ｂ．Ｂ．Ｂａｕｅｒ，"Ｐｈａｓｏｒ ａｎａｌｙｓｉｓ ｏｆ ｓｏｍｅ ｓｔｅｒｅｏｐｈｏｎｉｃ ｐｈｅｎｏｍｅｎａ"，ＩＲＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＡＵＤＩＯ，Ｖｏｌ１０，ｐｐ１８−２１，Ｊａｎｕａｒｙ １９６２．

上記で示したようにオブジェクト符号化技術を会議システムに適用し、各話者（音源）をそれぞれオーディオオブジェクトとして扱うことにより、オブジェクト符号化技術で高効率の符号化を行うことができるようになる。しかしながら、オブジェクト符号化技術を適用しただけでは、多拠点・多人数に対応した会議システムにおいて会話の音声が混線するという問題は解決されず、それぞれの会話の聞き取りにくさも改善されないままである。

本発明は、上記課題に鑑み、オブジェクト符号化技術を適用した会議システムにおいて各拠点における会話の音声を聞き取りやすい符号化装置、復号化装置、会議システム、符号化方法および復号化方法の提供を目的とする。

上記の課題を解決するために、本発明の復号化装置は、オブジェクト符号化された音響符号化情報を複数受信し、受信した前記音響符号化情報をオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、生成された前記音響信号に含まれる１以上の前記オブジェクト信号にそれぞれ対応する仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、前記音響符号化情報には、前記音響信号に対する優先度の高低を示す優先度情報が重畳されており、前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する。

このような構成とすることで、ある音響符号化情報に対応する音響空間（拠点）ごとのオブジェクト信号の仮想音源が、その重要度またはその数に応じて受聴空間に配置されるため、音響空間（拠点）に属するオブジェクト信号の数が多い場合でも、それぞれのオブジェクト信号が聞き分けやすくなるようその仮想音源を受聴空間に配置することができる。また、音響信号の優先度に応じて、すなわち、優先度の高い音響信号に属するオブジェクト信号がより聴き取りやすくなるように受聴空間に配置することができる。従って、これにより、重要な拠点や、話者などの音源が多く活発な拠点の音響を、空間的に大きく配置し、聴感上聞き取りやすくすることができる。

また、前記１つ以上のオブジェクト信号は、前記音響符号化情報がオブジェクト符号化された音響空間における１つの音源にそれぞれ対応づけられており、前記音響信号は、前記音響空間において発生した１以上のオブジェクト信号を合成して得られた信号であるとしてもよい。これにより、音響空間における１以上のオブジェクト信号が受信側において適度な間隔を持って受信側の受聴空間に仮想的に配置されるため、受信側ではそれぞれのオブジェクト信号の混合を低減することができ、個別に聞き取りやすくなるというという効果を得ることができる。

前記レンダリング部は、前記音響信号に対する優先度が高いほど大きくなるよう前記領域の大小を決定するとしてもよい。これにより、レンダリング部は、優先度が高い、重要な音響信号に含まれるオブジェクト信号の仮想音源の位置を、受信側音響空間のより大きい領域に配置することができる。従って、優先度が高い重要音響信号に含まれるオブジェクト信号を聞き取りやすくすることができる。

また、前記優先度情報は、オブジェクト符号化におけるダウンミックス情報のゲインを示すグローバルゲイン情報であって、前記優先度の高低は、前記ゲインに比例する。これにより、復号化装置は、音響符号化情報に優先度情報が多重化されていない場合であっても、音響信号のそれぞれに対応する音響符号化情報に含まれているグローバルゲイン情報を比較することによって優先度情報を算出することができる。

さらに、前記音響符号化情報には、それぞれの前記オブジェクト信号のダウンミックス情報に対するゲインの比を示すゲイン比情報が含まれ、前記オブジェクト復号化部は、オブジェクト信号ごとに、前記グローバルゲイン情報の値と前記ゲイン比情報の値との積を算出し、算出した値を前記オブジェクト信号ごとの第２の優先度情報とするとしてもよい。これにより、本発明の復号化装置は、音響符号化情報の中にオブジェクト信号のそれぞれに対応する第２の優先度情報が重畳されていない場合であっても、各オブジェクト信号の音量の大きさを第２の優先度情報として検出し、検出した第２の優先度が大きいオブジェクト信号ほど、すなわち、音量の大きいオブジェクト信号ほど、聴き取り易い位置にくるように配置することができる。

また、前記オブジェクト復号化部は、前記音響信号において、前記第２の優先度情報で示される優先度があらかじめ定められた順位以上のオブジェクト信号だけを復号化し、前記順位より優先度が低いオブジェクト信号を復号化しないとしてもよい。このようにすることによって、あまり重要でないオブジェクト信号を削除してしまうことにより、復号化装置における復号化の処理負荷を低減することができる。

前記オブジェクト復号化部は、前記音響信号において、前記第２の優先度情報で示される優先度があらかじめ定められた順位以上のオブジェクト信号のみ優先度の高低を認め、前記優先度が前記順位より低いオブジェクト信号に対しては前記順位より低い同じ優先度であるとみなすとしてもよい。これにより、ある程度より重要度が低いオブジェクト信号の仮想音源を優先度の順に受聴空間に配置するための処理負荷を、低減することができる。

また、前記音響符号化情報のそれぞれには、前記音響空間を特定するための識別情報が含まれ、前記オブジェクト復号化部が、単位時間あたりに前記音響符号化情報を受信した音響符号化情報の符号長を前記識別情報ごとに計測し、計測した単位時間あたりの音響符号化情報の符号長を前記識別情報で特定される前記音響空間の活動度として、前記優先度情報と前記活動度に基づいて前記音響空間ごとの音響信号の優先度の高低を決定し、前記レンダリング部は、前記識別情報ごとに決定された優先度が高いほど、前記識別情報で特定される音響空間からの前記音響信号に割り当てられる領域が大きくなるよう前記領域の大きさを決定するとしてもよい。これにより、復号化装置では、音響符号化情報に優先度情報が重畳されていない場合であっても、音響空間を特定する識別情報ごとに単位時間あたりの符号長の長い音響符号化情報を送信する音響空間を重要な音響空間とみなし、その送信側音響空間に対して受聴空間に、より大きい領域を割り当てることができる。従って、例えば、会議において発言量の多い送信拠点の発言であるオブジェクト信号を聴感上聞き取りやすくすることができる。

また、前記オブジェクト復号化部は、前記音響信号に含まれる前記オブジェクト信号の数に比例するよう前記音響空間ごとの音響信号の優先度の高低を決定するとしてもよい。これにより、音響信号に含まれるオブジェクト信号の数、例えば、テレビ会議の会議室において同時に発言する話者の数が多いほど、その音響信号に含まれる個々の話者の発言であるオブジェクト信号が聴き取り易くなるように、受聴空間により離散的に配置することができる。

前記レンダリング部は、前記音響信号それぞれの前記優先度情報が示す優先度が高いほど、当該音響信号に割り当てられた前記領域が前記受聴位置のあらかじめ定められた正面方向に近くなるよう配置する構成であってもよい。これにより、優先度の高い重要な音響信号ほど受聴位置の正面に近く配置されることになり、重要の高い拠点における発言ほど聴き取りやすくすることができる。

さらに、前記音響符号化情報のそれぞれには、前記音響空間同士の相対的な位置関係を示す情報が重畳され、前記レンダリング部は、前記位置関係を示す前記情報に従って、前記音響信号を前記あらかじめ定められた受聴位置の周囲に配置する。これにより、各音響信号に対応する拠点の関係や拠点の状態が聴感上わかりやすい空間配置をすることができ、受聴位置では、発言者が属している拠点の位置関係を把握しやすく、話者の発言がどの拠点でなされているかを直感的に把握できるという効果がある。

また、前記レンダリング部は、前記オブジェクト信号に対する前記第２の優先度情報が示す優先度が高いほど、当該オブジェクト信号が前記受聴位置に近い位置となるよう前記オブジェクト信号それぞれの配置を決定するとしてもよい。これにより、優先度の高いオブジェクト信号である、例えば、重要人物の音声を受聴位置から近い位置となるよう配置するので、重要な人物の発言ほど聴き取りやすくすることができる。

さらに、前記音響符号化情報のそれぞれには、前記音響空間における、あらかじめ定められた基準位置に対するオブジェクト信号それぞれの音源の相対位置を示す相対位置情報が含まれ、前記レンダリング部は、前記音響信号のそれぞれに割り当てられた前記領域のあらかじめ定められた位置を前記基準位置とし、前記音環境情報で示される前記相対位置から前記各オブジェクト信号の前記受聴空間における前記仮想音源の位置を算出し、算出した前記位置に前記オブジェクト信号の前記仮想音源を配置するとしてもよい。これにより、各拠点では、拠点ごとの話者の位置を受信側に知らせることができ、受信側では、各拠点における話者の位置と同じように話者の音声の仮想音源を配置することができる。

上記課題を解決するために、本発明の符号化復号化装置は、１以上のオブジェクト信号の集まりである音響信号を収音する収音部と、収音した前記音響信号をそれぞれの前記オブジェクト信号に分離する分離部と、分離された前記オブジェクト信号をオブジェクト符号化して音響符号化情報を生成し、生成した前記音響符号化情報に、前記音響信号のそれぞれに対する優先度の高低を示す優先度情報と、前記音響信号に含まれる前記オブジェクト信号の数とを重畳するオブジェクト符号化部と、前記音響符号化情報を複数の他の装置から受信し、受信した前記音響符号化情報のそれぞれをオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、前記オブジェクト復号化部が生成した１以上の前記オブジェクト信号のそれぞれの仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する。これにより、会議の発言者の音声を聞き取りやすくするためのレンダリングを行う時に有用となる、各拠点の音響信号の優先度を含む音響符号化情報を生成するとともに、他の装置から受信した音響符号化情報をオブジェクト復号化し、復号化によって得られたオブジェクト信号の仮想音源を受聴者が聴き取りやすくなるように受聴空間に配置することができる。

多拠点・多人数がＩＰ通信網を介して会議するシステムにおいて、オブジェクト符号化技術を用いると、受信拠点側の音響信号の空間的配置を自由に制御することが可能になる。さらに本願発明によると、重要話者や重要拠点の音声を受信側の音響空間に仮想的に大きく配置し、重要拠点における重要話者の音声の仮想音源を、聴感上、聞き取りやすい仮想空間に配置することができる。それの他にも送信側および受信側の都合に合わせた配置を実現することができ、会議の臨場感を飛躍的に向上するという優れた効果が得られる。また、個別の話者の音声信号を独立して柔軟に制御可能な仮想会議システムを実現することができる。仮想会議システムを実現したことで、オブジェクト（話者）ごとに音声信号を制御することと相まって、会議の臨場感をさらに向上することが可能となる効果がある。

図１は、オブジェクト符号化を適用し、レンダリング部を持つ仮想会議システムの構成図である。 図２は、多拠点接続装置ＭＣＵと拠点間での初期化情報の送受信方法を示す図である。 図３は、受信拠点における各拠点の仮想空間配置図である。 図４は、自動レンダリング過程のフローチャートである。 図５は、受信拠点における拠点の優先度に基づく仮想空間の配置設定図である。 図６は、受信拠点における拠点の仮想空間の位置設定図である。 図７は、受信拠点における所定オブジェクト信号の配置図である。 図８は、ステレオシステムでのレンダリング処理の例を示す図である。 図９は、５．１ｃｈサラウンドシステム構成図である。 図１０は、受信拠点におけるオブジェクト信号の幾何学的配置図である。 図１１は、実施の形態３におけるレンダリング方法を示す図である。 図１２は、実施の形態４のオブジェクト符号化情報のデータ構成を示す図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図１を用いて、本実施の形態の多拠点・多人数が参加する臨場感会議システムにおけるオブジェクト符号化部・復号化装置について説明する。なお図示していないが、図１の拠点Ａ、拠点Ｄ以外に、拠点Ｂ、拠点Ｃがこの会議システムによる会議に参加しているものとする。以下では、送信側（符号化装置側）の代表例として拠点Ａでの処理についてのみ説明し、他の拠点Ｂおよび拠点Ｃについては、拠点Ａと同様の処理を行うものとして説明を省略する。また、拠点Ｄについては、受信側（復号化装置側）の代表例として、オブジェクト符号化情報を受信した後の音響信号の再生処理についてのみ説明するが、拠点Ｄにおいても拠点Ａ〜Ｃと同様に送信側の構成を備えるとしてもよい。このような会議システムにおいて受信側の構成のみを備え、送信側の構成を備えない場合は、当該拠点は、会議において発言しないオブザーバーの立場となる。また、拠点Ａ〜Ｃについては、送信側の例として説明するが、受信側の構成も備えるものとする。受信側の拠点、例えば、拠点Ｄでは、オブジェクト復号化部８０６およびレンダリング部８０７を備える。受信側の拠点では、例えば、前段に多拠点接続装置８０５を備えるとしてもよい。また、送信側の拠点、例えば、拠点Ａでは、収音部８０１、分離部８０３、オブジェクト符号化部８０４を備える。

拠点Ａの会議室８０２では、複数のマイクロフォンからなるマイクロフォンアレイなどで実現される収音部８０１を用いて、音響信号を収音する。

分離部８０３は、収音部８０１により得られた音響信号からノイズ成分を除去した上、互いに空間的な関連性がない音響的に独立した複数の音響信号に分離する。分離部８０３は、さらに、分離されたそれぞれの音響信号（以下、「オーディオオブジェクト信号」または単に「オブジェクト信号」という。）をオブジェクト符号化部８０４に入力する。ここで、音響的に独立したオブジェクト信号とは、例えば、会話をしている各話者の声、会話の背後に流れている音楽、電話の呼び出し音などであり、音響信号とは、同時に発話している話者の音声が合成された信号である。従って、オブジェクト信号は人間の音声だけには限られないが、通常の場合、テレビ会議の会議室としては雑音が少ない部屋が選択されるので、各オブジェクト信号を各話者の音声であると見なしても問題ない。

分離された各オーディオオブジェクト信号はオブジェクト符号化部８０４でオブジェクト符号化される。このオブジェクト符号化は、背景技術で説明したようにして行われる。オブジェクト符号化部８０４では、オブジェクト分離信号としていくつかの制御情報を生成し、ビットストリームに重畳する。この制御情報は各オブジェクトの音響的なレベル差（ＯＬＤ：Ｏｂｊｅｃｔ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）、各オブジェクト間の正規化エネルギー（ＮＲＧ：Ｎｏｒｍａｌｉｚｅｄ Ｒｅｌａｔｅｄ Ｇａｉｎ）、オブジェクト間相関・コヒーレンス（ＩＯＣ：Ｉｎｔｅｒ Ｏｂｊｅｃｔ Ｃｏｈｅｒｅｎｃｅ）などである。制御情報はこれらに限ったものではなく、そのほかのオブジェクトごと、あるいはオブジェクト間にまたがる音響信号に関連する情報であってもよい。ただし、ＯＬＤ、ＮＲＧ、ＩＯＣの少なくともいずれか一つは制御情報に含まれるのが望ましい。

オブジェクト符号化部８０４では、その拠点における音響信号と、制御情報の符号化に加えて、さらに二つの情報を伝送する。参加拠点の数（ｎｕｍＳｉｔｅ）を示す情報と、各参加拠点の、もしくは各オブジェクトの優先度情報（Ｐｒｉｏｒｉｔｙ_ｉ）である。なお、Ｐｒｉｏｒｉｔｙ_ｉが各参加拠点の優先度情報を示す場合には、ｉは例えば、各拠点を一意に特定できる拠点ごとのシリアル番号またはＩＤであって、どの拠点かを示し、Ｐｒｉｏｒｉｔｙ_ｉが各オブジェクトの優先度を示す場合には、ｉは例えば、各オブジェクトを一意に特定できるオブジェクトごとのシリアル番号またはＩＤであって、どのオブジェクトかを示す。なお、図１では、優先度情報がオブジェクト符号化情報の末尾に付加されている例を示したが、本発明はこれに限定されず、優先度情報をオブジェクト符号化情報の前段の、例えば、ヘッダ部やパラメータを記述する部分などに付加して送信する構成としてもよい。このように、優先度情報をオブジェクト符号化情報の前段に付加しておけば、オブジェクト復号化部において、オブジェクト符号化情報の復号化処理を開始する前にオブジェクト符号化情報から優先度情報だけを抽出して当該拠点の優先度を把握することができる。この結果、オブジェクト復号化部側では、例えば、オブジェクト数が多数あって優先度が低いオブジェクト信号を再生しないよう制御する場合には、必要最小限のオブジェクト信号だけを復号化することができる。これにより、本実施の形態のオブジェクト復号化部では、復号化における処理負荷を低減することができる。またさらに、これにより、各オブジェクト信号に対して、各オブジェクト信号の仮想音源の位置を受聴空間に配置するためのレンダリング角度を決定する処理とオブジェクト信号の復号化処理とをパラレルに実行することができ、復号化における処理遅延量を低減することが可能になる。各拠点のオブジェクト符号化部８０４はｎｕｍＳｉｔｅの値をデフォルトの値である１に設定し、多拠点接続装置（ＭＣＵ）８０５に、音響信号と制御情報の符号化情報にｎｕｍＳｉｔｅとＰｒｉｏｒｉｔｙ_ｉを重畳したオブジェクト符号化情報を送信する。多拠点接続装置８０５に送信されたオブジェクト符号化情報は、多拠点接続装置８０５経由で他の拠点に送られる。なお、多拠点接続装置８０５を介さず、各拠点間で送受信する構成であってもよい。この場合、オブジェクト符号化部８０４は、別拠点のオブジェクト復号化部８０６にオブジェクト符号化情報を送信する。

次に多拠点接続装置８０５について説明する。多拠点接続装置８０５は基本的に、複数の異なる拠点から、ここでは拠点Ａから送信されたオブジェクト符号化情報Ａ８０９、拠点Ｂから送信されたオブジェクト符号化情報Ｂ８１０，拠点Ｃから送信されたオブジェクト符号化情報Ｃ８１１を受信し、それらを一つのオブジェクト符号化情報として合成し、別の拠点へと送信するよう動作する。この合成により得られた合成オブジェクト符号化情報８１２には、多拠点接続装置８０５が受信した全ての拠点からの情報とそれらを分離する分離情報を含む。このようにして各拠点には全拠点の情報とその拠点以外の全拠点の情報を分離できる分離情報を含むビットストリームが送られることとなる。

多拠点接続装置８０５の動作内容について詳細に説明する。まず会議を始める際に、各拠点と多拠点接続装置８０５間では、符号化装置・復号化装置を初期化するための情報のやりとりが行われる。初期化される情報としては、拠点数や、符号化方式の種類、再生チャンネル数、マイクロフォンの数、画面の解像度、フレームレートなどがある。これらの情報が各拠点間で正常にやりとりができると多拠点接続装置８０５が判断すると、会議を始めることが可能になる。正常にやりとりができない場合とは、ある拠点のデコーダがオブジェクト符号化情報を復号化する手段を持っておらずオブジェクト符号化に対応できない場合や、再生装置の再生可能チャンネル数が送信チャンネル数よりも少ない場合等である。

多拠点接続装置８０５は、上記に示したような初期化情報のうち各拠点に係る情報を全拠点分収集完了した後に、各拠点から送信されたｎｕｍＳｉｔｅを合計する。これにより実際のｎｕｍＳｉｔｅの値を算出できる。これは図２に示す方法によっても算出できる。図２は初期化時における各拠点と多拠点接続装置８０５間のやりとりを例示している。拠点Ａは多拠点接続装置８０５に対して、あらかじめ決められている初期化をする旨の情報（例えば文字列"ｈｅｌｌｏ"）を送信し、拠点Ｂも同様に送信する。多拠点接続装置８０５は送信されてきた"ｈｅｌｌｏ"の数をカウントしても実際のｎｕｍＳｉｔｅの値を算出できる。会議中に参加拠点が増減した場合は、各拠点が常にｎｕｍＳｉｔｅを１として多拠点接続装置８０５に送信してくると、どの拠点が参加をやめ、どの拠点が新たに参加したかわかりにくい。しかし、会議に初めて参加した場合には、このような初期化する旨の情報を送ると決めておけば、新たに参加した拠点が把握しやすいという効果がある。

次に、多拠点接続装置８０５は合成オブジェクト符号化情報８１２を各拠点に送信する。この合成オブジェクト符号化情報８１２は、全参加拠点の音響信号と制御情報の符号化情報を合成した情報と、この合成情報から受信拠点を除く各拠点の符号化情報を分離する分離情報とを符号化した符号化情報に、実際のｎｕｍＳｉｔｅと受信拠点を除く各拠点の初期化情報を重畳したものである。この合成オブジェクト符号化情報８１２を送信することで、参加拠点に係る情報を各拠点の符号化・復号化装置へとフィードバックする。

さらに多拠点接続装置８０５は、複数の拠点から送信されるオブジェクト符号化情報に重畳されていたＰｒｉｏｒｉｔｙ_ｉの値を必要に応じて調整する。この調整は、送信されてきた全てのＰｒｉｏｒｉｔｙ_ｉのうち、優先度の高い方から上位の所定個数分以下を新たな優先度情報として付加し、その他は一定の優先度とするように行う。例えば、上位５ランクまでは順位のある優先度を付加し、６位以下はすべて同ランクの６位という優先度を付加する。これにより、あまりに多くの優先度のランク付けを行わず、重要な拠点やオブジェクトの優先度についてのみ送信し、復号化装置における煩雑な処理を減らすことができる。また、この調整は拠点の参加人数や、参加する人の関係性、音声パワーの大きさ、音声の継続時間を示す情報から、拠点ごともしくはオブジェクトごとに優先度を設定しなおしてもよい。例えば拠点Ａのあるオブジェクト信号に関するＰｒｉｏｒｉｔｙと、拠点Ｂのあるオブジェクト信号に関するＰｒｉｏｒｉｔｙが同じ値であった場合、音声パワーの強いほうを高く設定しなおすという調整を行う。また、設定されている優先度を無視して、各オブジェクト信号の音声パワーの強さの順を優先度としてもよい。すなわち、音声パワーの大きいオブジェクト信号の方が音声パワーの小さいオブジェクト信号よりも優先度が大きくなるように優先情報を設定するとしてもよい。さらに、音声パワーの大きいオブジェクト信号を他の拠点よりも多く含む拠点に対して、より大きい優先情報を設定するとしてもよい。なお参加する人の関係性を示す情報とは、例えば、ある拠点では発言者がおらず、聴衆だけが会議に参加していることを示す情報、ある拠点ではＶＩＰが参加者に含まれていることを示す情報などである。このように拠点ごともしくはオブジェクトごとに優先度を設定し、オブジェクト符号化情報に重畳して受信拠点へ送信する。以上のように必要に応じてＰｒｉｏｒｉｔｙ_ｉを調整することにより、受信拠点において優先度に従って適切な処理を行うことができる。

オブジェクト復号化部８０６は多拠点接続装置８０５から受信した拠点ごとの合成オブジェクト符号化情報８１２にオブジェクト復号化を行い、各拠点のオブジェクト信号を分離する。またそれと同時に、制御情報、全拠点数（ｎｕｍＳｉｔｅ）、優先度情報（Ｐｒｉｏｒｉｔｙ）を分離する。なお、多拠点接続装置８０５を介さず、各拠点間で送受信する構成である場合、オブジェクト復号化部８０６は、受信側拠点以外の拠点のオブジェクト符号化部８０４からオブジェクト符号化情報をそれぞれ受信する。この場合も同様にオブジェクト復号化を行い、各拠点のオブジェクト信号を分離し、その他の制御情報等も分離する。ここで分離した情報に基づき、オブジェクト復号化部８０６は、実際の全拠点数の算出と、必要な場合には、多拠点接続装置８０５で行った場合と同様にして、上記のＰｒｉｏｒｉｔｙの設定しなおしを行う。

次に、自動レンダリング部８０７について説明する。レンダリング部８０７では、各拠点のオブジェクト信号のレンダリングをする前に、まず、受信拠点（図１においては拠点Ｄ）において受信拠点以外の拠点に係る、各オブジェクト信号の仮想的な配置を決定する。図３は拠点Ｄの会議室８０８における、各オブジェクト信号の空間的配置方法を模式的に示したものである。図３の受聴位置１１０は拠点Ｄにおける参加者の中心、拠点Ｄの会議室８０８の中心、参加者が１人である場合の参加者自身または複数の参加者のうちターゲットとする特定の１人の参加者自身などを示し、拠点Ｄでスピーカにより再生される音声を受聴可能なある一点を示すとする。図３の四角はある拠点Ｂを示し、１０１、１０２、１０３、１０４は拠点Ｂに発生しているオブジェクト信号を示している。レンダリング部８０７は、図３の円で示すように同じ拠点から送信されてきたオブジェクト信号を仮想的にグルーピングし、異なる拠点のオブジェクト信号が互いに区切られるように音響的に配置する。例えば図３に示すように会議参加の拠点数が拠点Ａ〜拠点Ｅまでの５つの場合、受信拠点Ｄでは受信した情報から自身を除く、４つの拠点の情報を分離して、拠点ごとにグルーピングされたオブジェクト信号を受聴位置１１０の周りに配置する。このようにグルーピングすることで、どの拠点からどのような音響が送信されてきているのかということがわかりやすくなる。

以下、拠点ごとにグルーピングされたオブジェクト信号の配置方法について図４を用いて説明する。この配置は、各送信拠点の優先度Ｐｒｉｏｒｉｔｙ_ｉと各拠点のオブジェクト信号数ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉに従って決める。まず受信したビットストリームに含まれる拠点数などの情報を取得し（ステップＳ１２１）、ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉに応じて、各拠点の受聴位置１１０の周りのレンダリング角を算出する（ステップＳ１２２）。拠点のレンダリング角とは、拠点ごとにグルーピングされたオブジェクト信号を全て含み、異なる拠点のオブジェクト信号を含まないよう拠点ごとに区切る、図３に示すような受聴位置１１０を通る矢印がなす角度のことである。各拠点のレンダリング角は式１を用いて、オブジェクト符号化情報に含まれるｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉにより決定する。

つまり、受聴位置１１０の周り２πをレンダリングすべき全オブジェクト信号数で分割し、そのうち各拠点のオブジェクト信号数を乗算したものが各拠点のレンダリング角ａｒｅａ＿ｓｉｔｅ_ｉとなる。このように各拠点のオブジェクト数に従い、拠点ごとの音響信号の空間における広がり度合いを変化させる。沢山のオブジェクト信号を含む拠点に対しては広い音響空間を、少ないオブジェクト信号を含む拠点に対しては狭い音響空間を仮想的に割り当てることで、オブジェクト信号があまりにも密に、すなわち、互いに接近して配置されるのを防ぐことができる。また聴覚的に各拠点のオブジェクト数の差が判別しやすくなる。このように本実施の形態のレンダリング部８０７によると、受信拠点Ｄにおいて自動的に各拠点の各話者等の音源を聴覚的に分離するので、それぞれの話者の音声が聞き取りやすくでき、また受聴位置では、他の拠点にいる話者が受聴者の周囲に存在するかのように発言を聞くことができるので、会議の臨場感向上につながる。なお、ここでは、仮想空間上で各拠点が占める領域のレンダリング角を、各拠点に含まれるオブジェクト信号の数に応じて分配したが、本発明はこれに限定されず、各拠点の優先度に応じて分配するとしてもよい。例えば、上記式１にｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉの代わりにｉ番目の拠点の優先度（ｐｒｉｏｒｉｔｙ_ｉ）を代入することにより、各拠点のレンダリング角を優先度に応じて配分することができる。

次に、上記で求めた各拠点のレンダリング角を配置する受聴位置１１０周りの位置（以下、拠点のレンダリング位置とする）を決定する（ステップＳ１２３）。拠点のレンダリング位置は、各拠点の優先度を示すＰｒｉｏｒｉｔｙ_ｉが設定されている場合は、Ｐｒｉｏｒｉｔｙ_ｉに基づいて決定する。例えば受聴位置１１０が受聴者の位置を示す場合、人間は後方から生じる音よりも、前方からの音をより聞き取りやすいという性質があるため、図５のように優先度の最も高い拠点のレンダリング位置を受聴位置１１０の前方に設定する。これに続いて優先度の高い順に、聞き取りやすい位置にその他の拠点のレンダリング位置も設定していけばよい。なお、多数の拠点の優先度が同じ場合は、最も優先度の高い一つの拠点のレンダリング角を聞き取りやすい位置（ｉｎｉｔｉａｌ＿ａｎｇｌｅ）に配置し、その他の拠点を単純に式２、式３を用いて反時計回りに配置していってもよい。なお、Ｐｒｉｏｒｉｔｙ_ｉが各オブジェクト信号の優先度を示す場合には、優先度の最も高いオブジェクト信号を含む拠点や、優先度の高いオブジェクト信号を多く含む拠点を聞き取りやすい位置に配置していけばよい。このように優先度情報に基づいて拠点のレンダリング位置を決定することで、優先度の高い音響をより聞き取りやすくすることができる。

なお、この拠点レンダリング位置は、Ｐｒｉｏｒｉｔｙ_ｉが設定されていない場合や、設定されていた場合であってもこの値に基づかず、受信拠点と各送信拠点の位置関係に応じて決定してもよい。例えば、日本と米国と中国とオーストラリアの拠点間で会議をしている場合、日本での拠点レンダリング位置は、米国拠点からの信号を東よりに、中国拠点からの信号を西よりに、オーストラリア拠点の信号を南よりに設定してもよい。また会議システムの受聴位置１１０と会議システムの画像表示装置の位置関係等、設備環境に応じて決定してもよい。また送信側拠点の会議室の広さなどの情報に基づいて受信側拠点において各オブジェクト信号同士の最大配置距離を決定してもよい。これらの情報は上述した初期化情報として送信することとしてもよいし、必要に応じて送ることとしてもよい。これら拠点同士の位置関係や拠点の設備環境等の情報を音環境情報と定義する。このように会議における参加拠点同士の関係や各拠点の環境に基づいて拠点のレンダリング位置を決定することで、より臨場感を向上させることができる。

次に、拠点ごとにグルーピングされたオブジェクト信号の配置について説明する。ａｒｅａ＿ｓｉｔｅ_ｉとａｎｇｌｅ＿ｓｉｔｅ_ｉとにより、各拠点のレンダリング角とレンダリング位置とを決定した後、オブジェクト信号は、その拠点のレンダリング角とレンダリング位置とにより決定したエリア内に仮想的に配置される。例えば、図３に示す拠点Ｂのオブジェクト信号１０１〜１０４は、１０５〜１０８のように受信拠点Ｄにおける拠点Ｂの仮想空間１０９内に仮想的に配置される。この仮想空間上の配置は、各オブジェクト信号にＰｒｉｏｒｉｔｙ_ｉが設定されている場合には優先度情報が高いものが受聴位置に近くなるように、もしくは聞き取りやすい位置になるように配置する。このように配置することで、拠点ごとの音響を聞き分けやすいようグルーピングされたオブジェクト信号の中でも、優先度の高い音をより聞き取りやすくすることができる。

なお、各拠点の仮想空間内において、レンダリングされたオブジェクト信号が当該拠点のエリアの境界近くに配置された場合、隣接する他拠点エリア内のオブジェクト信号と距離が近くなり、拠点間のエリアの区別がつきにくくなる。このような場合には、レンダリング部８０７は、エリアの境界近くに配置するオブジェクト信号に対して、音量が小さくなるように補正する。例えば、エリアの境界近くに配置するオブジェクト信号に対しては、オブジェクト復号化部により復号化されたオブジェクト信号の本来の音量に対して、その７割程度に音量を絞るようにする。

またこれ以外の方法として、エリアの境界近くに配置するオブジェクト信号に対しては、受聴位置を中心として、当該オブジェクト信号の位置とエリア境界とのなす角が所定の角度以上、例えば、５°以上となるように、オブジェクト信号のレンダリング位置を補正するとしてもよい。または、各エリア内のオブジェクト信号のレンダリング位置が、当該エリアのレンダリング角の８割程度の挟み角の内部にくるようにレンダリング位置を計算する、あるいは、各拠点のエリアのレンダリング角を８割程度に計算するとしてもよい。

なお、上記の説明において、境界付近に位置するオブジェクト信号の音量を７割程度に絞る、または、境界付近に位置するオブジェクト信号とエリア境界とのなす角が５°以上となるようにする、各エリアのレンダリング角を算出された角度の８割程度に補正するとしたが、本発明はこれらの数値に限定されない。音量の補正、エリア境界から補正する角度、または、各エリアのレンダリング角の補正の割合などの具体的な数値は、例えば、数値をいろいろな値に変えながら、シミュレーション等により、受聴位置でのオブジェクト信号の聞き取りやすさが最適になるように値を定めればよい。

さらに、各拠点のエリアの境界付近にオブジェクト信号がレンダリングされないようにする他の方法として、次のような方法がある。例えば、各拠点の仮想空間のレンダリング角ａｒｅａ＿ｓｉｔｅ_ｉを、当該拠点に属するオブジェクト信号の数ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉに所定の定数αを加算した数（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）で分割し、各オブジェクト信号をその優先度に応じて、受聴位置とエリアの中心とを結ぶ受聴位置の正面から、左右に順次配分することによって各オブジェクト信号をレンダリングするとしてもよい。例えば、優先度が最も高いオブジェクト信号は受聴位置の正面にレンダリングし、次に優先度が高いオブジェクト信号は受聴位置の正面から左に（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）の角度をなす位置にレンダリングする。また、３番目に優先度が高いオブジェクト信号は受聴位置の正面から右に（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）の角度をなす位置にレンダリングし、４番目に優先度が高いオブジェクト信号は受聴位置の正面から左に２（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）の角度をなす位置にレンダリングする。このとき、優先度の順にオブジェクト信号が受聴位置から所定の距離ずつ遠ざかるようにレンダリングするのが好ましい。このように、各拠点の仮想空間に割り当てられたレンダリング角をオブジェクト信号の総数以上の数で分割し、オブジェクト信号の位置が優先度の順に受聴位置の正面から左右に順次、（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）ずつ遠ざかるようにレンダリングしていくので、両側の境界の内側にそれぞれ角度α（ａｒｅａ＿ｓｉｔｅ_ｉ）／２（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）分の間隙の空間、すなわち、オブジェクト信号が配置されない空間を設けることができる。

これにより、各拠点が仮想空間に占めるエリア同士を、所定の幅を持った境界で区切ることができるので、各拠点が占めるエリアを聴感上、より明確に区分することができる。この結果、本実施の形態の臨場感会議システムによれば、臨場感があり、かつ、他拠点の発言を聞きやすい会議システムを実現することができる。

なお、Ｐｒｉｏｒｉｔｙ_ｉが設定されていない場合や、設定されていてもその情報を利用しない場合には、拠点Ｂでのオブジェクト信号１０１〜１０４同士の相対位置を保持するように配置してもよい。このように相対位置を保持することで、仮想空間上で拠点の音源の状態を再現することができる。これにおいて、それぞれの拠点におけるオブジェクト信号の相対位置は、当該拠点からの音環境情報としてオブジェクト符号化情報に多重化し、他の拠点に送信してもよい。これにおいてオブジェクト信号の相対位置は、例えば、各拠点の会議室の中央あるいは拠点Ｄの前記受聴位置に該当する点を中心とし、モニタの方向を基準方向からπ／２の方向として、受聴位置から見たオブジェクト信号の距離および角度で表す。もちろん、各拠点におけるオブジェクト信号の相対位置は、この表現方法に限らず、例えば、各拠点の会議室における座標位置などで表わすとしてもよい。

以下では図４に加えてさらに図６も用いて各オブジェクト信号のその他の仮想的配置方法について説明する。同一拠点から送信されたオブジェクト信号は、上記で説明したように受聴位置１１０の周りのその拠点のレンダリング角で示されるエリア内に配置される。図６においては矢印４０６と矢印４０７により挟まれた角度が拠点Ａのレンダリング角であり、このエリア内に拠点Ａから送信されたオブジェクト信号は配置される。なお受聴位置４０５は図３での受聴位置１１０に対応し、拠点Ａの仮想空間４０１は矢印４０６と矢印４０７に接する円であり、４０３は仮想空間４０１の中心点を示す。またｄは受聴位置４０５と中心点４０３との間の距離を示す。

拠点ごとにオブジェクト信号をグルーピングして受信側会議室の受聴空間に仮想的に配置するにあたり、各オブジェクト信号は仮想空間４０１の内部に配置する。エリア内にばらばらに配置するよりも、ある程度塊のようにして配置することで、拠点ごとの音響を聴覚的に分離しやすくなり会議の臨場感が増すためである。しかし距離ｄがとても小さい場合は、仮想空間４０１の半径ｒも小さくなるため、各オブジェクト信号が配置される間隔が狭くなりそれぞれの分離が非常に難しくなる。逆に距離ｄがとても大きい場合、半径ｒも大きくなるため、オブジェクト信号が配置される位置が受聴位置４０５から遠くなり聞き取りにくくなる。また配置される間隔も広くなり、拠点ごとにグルーピングされたエリアを聴覚的に分離しにくくなる。このような問題を防ぐために、各オブジェクト信号を仮想空間４０１の円周上に均等に配置した場合における、オブジェクト信号間の最低距離（ｔｈｒｅｓｈｏｌｄ_ｓ）と、最大距離（Ｔｈｒｅｓｈｏｌｄ_ｌ）を定める。具体的には式４のようにして各拠点の半径ｒ_iを定める（ステップＳ１２４）。定められた半径ｒ_iと割り当てられたａｒｅａ＿ｓｉｔｅ_ｉにより、中心点４０３と受聴位置４０５の距離ｄ_iも定まる（ステップＳ１２５）。このように閾値を設定することで、音を分離しにくかったり聞きにくかったりするという問題を防ぐことができる。なお、ここでは最低距離と最大距離を設定したが、全オブジェクト信号数が極めて少ない場合には、最低距離より最大距離のほうが重要になり、最大距離のみを設定するのであってもよい。なお、最低距離と最大距離との値は、これらの値を様々に変えながらシミュレーションを行い、各拠点内のオブジェクト信号が最適に配置される値を定めればよい。

ここで図７を用いて、オブジェクト信号の配置についてさらに詳細に説明する。図７の受聴位置５０１は上記１１０、４０５と同様に受聴位置を示す。Ｘ軸は図７に示す拠点のレンダリング角を二等分する軸であり、Ｙ軸はＸ軸に直行する軸である。拠点ｉの仮想空間内におけるオブジェクトｊの配置角度をｏｌｄ＿ａｎｇｌｅ_ｉｊとする。ここでオブジェクトｊから生じるオブジェクト信号にＰｒｉｏｒｉｔｙ_ｉが設定されている場合は、それに基づいて拠点ｉの仮想空間内における配置を決定する。Ｐｒｉｏｒｉｔｙ_ｉが設定されていない場合等では、拠点ｉにおけるオブジェクトｊの位置や音のパワー等の情報に基づいて配置を決定する。このようにして決定されたオブジェクトｊの位置５０３と拠点ｉの仮想空間の中心点５０２とを結ぶ直線とＸ軸がなす角度が、ｏｌｄ＿ａｎｇｌｅ_ｉｊである。このｏｌｄ＿ａｎｇｌｅ_ｉｊ、受聴位置５０１と拠点ｉの仮想空間の中心点間の距離ｄ、中心点５０２とオブジェクトｊの位置５０３の距離を用いて、Ｘ軸がなす角度ｎｅｗ＿ａｎｇｌｅ_ｉｊを算出できる（ステップＳ１２６）。このようにして算出したｎｅｗ＿ａｎｇｌｅ_ｉｊと拠点ｉのレンダリング位置ａｎｇｌｅ＿ｓｉｔｅ_ｉより、受信拠点におけるオブジェクトｊの配置角度ａｎｇｌｅ_ｉｊを式５のようにして求めることができる（ステップＳ１２７）。

以上のようにして、拠点ごとの音響を聴覚的に分離しやすいようオブジェクト信号をグルーピングして配置することができる（ステップＳ１２８）。また、上記では図３、図５、図６および図７において、仮想空間における各拠点のエリアの形状を円としたが、円に限ったものではなく、聴覚的に拠点ごとのエリアを分離しやすい配置であれば他の形状、例えば、楕円などでもかまわない。さらに、図７ではオブジェクトｊは円周上に配置するよう図示したが、もちろん仮想空間内部に配置してかまわない。

次に、各拠点の各オブジェクト信号のレンダリング処理について図８を用いて説明する。図８においてスピーカＡ９０１とスピーカＢ９０２はそれぞれステレオスピーカである。受聴位置９０５は、受聴位置１１０等に対応し、受信拠点の聴講者の一人であったり、聴講者の中心位置であったり、拠点の会議室の中心であったり、拠点における受聴可能なある一点を示す。図８に示すように、線分９０４は受聴位置９０５を通り、スピーカＡ９０１とスピーカＢ９０２間を二等分するような二等分線である。θ_０は線分９０４とスピーカＡ９０１の間の挟み角を示している。θ_０はスピーカＡ９０１およびスピーカＢ９０２の位置と向きによって決定する。

ここで、スピーカＡ９０１とスピーカＢ９０２を用いて図８に示すような方向に音響信号源９０３を仮想的に作り出す方法について説明する。図８のような場合、スピーカＢ側において音響信号の角度θは正の値であり、スピーカＡ側においてθは負の値である。θは受聴位置９０５と上記のようにして求めた各オブジェクト信号を配置したい音響信号源９０３の位置から算出する。Ｘ（ｎ）は音響信号源９０３からの信号とし、Ａ（ｎ）、Ｂ（ｎ）はそれぞれスピーカＡ９０１、スピーカＢ９０２からの音響信号とする。スピーカＡ９０１とスピーカＢ９０２の正味のエネルギーを調整することで、図８に示すようなステレオスピーカシステムにより、音響信号源９０３における音響空間を模擬することが可能である。なお、具体的にスピーカＡ９０１とスピーカＢ９０２のエネルギーの調整は以下の式６を満たすようにして行う。

ここで、パラメータａ、ｂは、例えば、θ＝θ_０の場合、音響信号源９０３とスピーカＢ９０２の方向が同じのため、ａ＝０，ｂ＝１となる。同様にして、θ＝−θ_０の場合にはａ＝１，ｂ＝０となり、θ＝０の場合には、

となる。一般化すると、パラメータａ、ｂはθとθ_０を用いて式７のように表せる（非特許文献１参照）。

このような方法で送信されてきたオブジェクト信号に対応する仮想的な音源を受信拠点において作り出すことができる。

次に、受信拠点における音響システムが５．１ｃｈのシステムである場合のレンダリング処理例について、図９を用いて説明する。図７を用いて説明したようにして受信拠点以外の、全拠点の全オブジェクト信号の配置情報からレンダリングマトリックスを生成することができる。１００１〜１００５はそれぞれ受信拠点におけるフロント左スピーカＬ、フロントセンタースピーカＣ、フロント右スピーカＲ、リア左スピーカＬｓ、リア右スピーカＲｓを示す。前後方向の中心線１００７はフロントセンタースピーカＣ１００２と受聴位置１００８を通る線であり、左右方向の中心線１００６は前後方向の中心線１００７と直行する線を示す。このような５．１ｃｈのシステムにおいて各オブジェクト信号は以下のステップによりレンダリングされる。

ステップ１：各オブジェクト信号のレンダリングを行うためのスピーカを判断する。

各オブジェクト信号と左右方向の中心線１００６のなす角度が上記の方法により求めたａｎｇｌｅ_ｉｊになるように、仮想的に作り出す音響信号源として配置していく。受聴位置１００８から各音響信号源までの距離は、Ｐｒｉｏｒｉｔｙ_ｉが設定されている場合は、それに基づいて、設定されていない場合等は位置関係等に基づいて決定し、配置する。スピーカ１００１〜１００５のうち、隣接するいずれか二つと受聴位置１００８がなす角度により挟まれる鋭角のエリア内に配置された各音響信号源は、その二つのスピーカにより仮想的に作り出される。図９は受聴位置１００８を中心に５つのスピーカが空間的に設置されていることを平面的に示した図である。１００６の矢印が示す方向が０°で、スピーカ１００１〜１００５は、それぞれ１２０°、９０°、６０°、２１０°、３３０°である。従って、スピーカＲｓ１００５、スピーカＲ１００３により挟まれる音響信号源は、対応するオブジェクト信号のレンダリング角度ａｎｇｌｅ_ｉｊが式８で示されるものである。

その他の隣接する二つのスピーカにおいても同様である。例えば、音響信号源に対応するオブジェクト信号のａｎｇｌｅ_ｉｊが１０°の場合、レンダリングするにあたりスピーカＲｓ１００５、スピーカＲ１００３を選択する。

ステップ２：各オブジェクト信号のレンダリング係数を算出する。

図８を用いて上述した方法に従って、ステップ１で選択した二つのスピーカにより音響信号源を仮想的に作り出す。例えば、作り出したい音響信号源に対応するオブジェクト信号のａｎｇｌｅ_ｉｊが１０°の場合、スピーカＲ１００３は図８のスピーカＡ９０１に対応し、スピーカＲｓ１００５はスピーカＢ９０２に対応する。レンダリング係数は式２、１００３と１００５がなす角の半分である４５°（＝θ_０）、ａｎｇｌｅ_ｉｊ（＝θ）を用いて算出する。なお、レンダリング係数とは式６のａ、ｂを指し、それぞれスピーカＲ１００３、スピーカＲｓ１００５のレンダリング係数に対応する。また、残りのスピーカのレンダリング係数は０に設定する。すなわちスピーカ１００１〜１００５のレンダリング係数のマトリックスを［Ｌ，Ｃ，Ｒ，Ｌｓ，Ｒｓ］と表記すると、ａｎｇｌｅ_ｉｊが１０°のオブジェクト信号に対するレンダリング係数のマトリックスは ［０，０，ａ，０，ｂ］（≒［０，０，０．５１８，０，０．８５５］）となる。

このようにして５．１ｃｈの再生システムを使用し、受聴空間に各オブジェクト信号の音響信号源を仮想的に作り出すことができる。なお、前記再生システムは５．１ｃｈに限定したものではなく、７．１ｃｈなどの多チャンネル再生システムであっても良いし、２ｃｈの再生システムを用いて頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を畳み込んで得られる仮想音響空間であっても良い。

以上のようにレンダリングを制御するオブジェクト符号化技術を用いると、受信拠点側の音響信号の空間的配置を自由に制御することができる。さらに本発明によって、重要話者を音響空間的に大きく配置、聴感上も重要である旨を表現する空間配置をするなどができる。このようにオブジェクト信号間の関係等、会議システム参加拠点の都合に合わせた配置を実現して会議での臨場感をより向上させられる有益な効果が得られる。

（実施の形態２）
実施の形態１と同様、本実施の形態における会議システムも図１のような構成を有する。構成の詳細については上述したとおりなので、Ｐｒｉｏｒｉｔｙ_ｉの他の設定方法についてとレンダリング部８０７でのその他のレンダリング方法について説明する。

各拠点もしくは各オブジェクト信号の優先度を示すＰｒｉｏｒｉｔｙ_ｉは、多拠点接続装置８０５にリクエスト等を送ることで取得するのであってもよい。送信拠点では、単に符号化した情報を送信するに過ぎず、各拠点の優先度や各オブジェクト信号の全体における優先度は未知である。多拠点接続装置８０５で全ての拠点から符号化情報を受け取った際に、優先度の判断および決定を行う。この決定は、例えば各拠点の活動度を計測することにより行う。この活動度は、一定時間（例えば１時間）あたりより多くの回数、符号化情報を送信した拠点が高くなるように、設定する。これにより、一定時間あたり情報の送信回数が少ない拠点に対しては、黙っていることが多いと判断して活動度を低く設定し、設定された活動度の高低に従って、各拠点または各オブジェクト信号の優先度の高低を決定する。このような設定にすることでその瞬間、会議に重要である拠点やオブジェクト信号について優先度を上げて扱うことができ、効率のよいレンダリング処理が可能となる。なお、上記説明において、活動度を算出してオブジェクト信号の優先度の高低を決定し、レンダリング装置を制御する時間間隔は、１時間に限定されず、３０分単位でも、２時間単位であってもよく、任意に定めた時間単位でよい。また、上記では多拠点接続装置８０５が各拠点の活動度を計測するとしたが、本発明はこれに限定されない。例えば、各拠点の各オブジェクト復号化部８０６が、単位時間あたりに符号化情報を受信した符号化情報の符号化ビット数（＝符号長）を拠点ごとに計測し、これを活動度として各拠点の優先度の高低を決定するとしてもよい。

ただしこれは、優先度を取得せず、または取得した優先度に従わず、拠点の復号化装置で優先度を設定してレンダリングを行うことを否定するものではない。ＭＣＵを介さない会議システムである場合や、拠点側で優先度を決定したいときなど、状況に応じて図１のＵｓｅｒ Ｉｎｆｏｒｍａｔｉｏｎを用いてレンダリングの配置を設定してもよい。このように拠点側で優先度を判断し、設定することでより受聴者の好みに合わせたレンダリングが可能となる。

次にレンダリング部８０７におけるその他のレンダリング方法について説明する。上述したようにオブジェクト信号の総数であるｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを用いて、各拠点のレンダリング角ａｒｅａ＿ｓｉｔｅ_ｉを算出できる。ここでは式９に示すように、総数ではなく各拠点で有効なオブジェクト数ａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを用いて算出してもよい。なぜなら、ある拠点において参加者数がたとえ多くとも、その参加者のうち一人や二人といった少人数の参加者の音声が重要であり、その他の参加者は基本的に聴衆であり、その音声は会議に無関係な場合などがありえるためである。このような場合オブジェクト信号の総数からその拠点のレンダリング角を算出すると、あまり送信する必要のないオブジェクト信号のために、受信拠点において、その拠点に対して大きな仮想空間を割り当ててしまうこととなる。そこで、式９のように有効なオブジェクト信号数を用いてレンダリング角を算出することで、受信拠点において重要なオブジェクト信号を効率よく音響的に配置可能とし、自然で有意義な会議システムを実現することができる。なお、受信拠点においてより快適で臨場感ある仮想会議環境を実現するために、ａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉの値は一定でなく、オブジェクト信号のパワーの変化等に基づいて動的に変化させてもよい。

このようにｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉとａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉの値に従って拠点のレンダリング角を決定してもよいし、各拠点にＰｒｉｏｒｉｔｙ_ｉが設定されている場合には、式１０により決定してもよい。なお、ここではＰｒｉｏｒｉｔｙ_ｉの値が大きいほど高い優先度を示すものとする。ビット数があまり多くなりすぎないよう、推奨する優先度ランクは１から３である。３が最も高い優先度を示し、１が最も低い優先度を示す。

受信拠点の受聴者やシステム管理者などは、各拠点のレンダリング角を算出するために式９、ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ、ａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを用いるか、式１０、Ｐｒｉｏｒｉｔｙ_ｉを用いるかを選択する。この選択は、図１のＵｓｅｒ Ｉｎｆｏｒｍａｔｉｏｎとしてレンダリング部８０７に入力することで行う。

次に図５を用いて、優先度に基づき拠点のレンダリング位置ａｎｇｌｅ＿ｓｉｔｅ_ｉを決定する方法について説明する。優先度に基づく配置とは、より高い優先度の拠点のグルーピングされたオブジェクト信号をより聞きやすい位置に配置することである。まず、インデックスｉが増加するごとに優先度が下がるように拠点を並び替える。そして初期値を最も聞き取りやすい位置に設定し、式１１、式１２を用いて全ての拠点を配置していく。

図５において、拠点１からインデックスが増加するごとに優先度が下がるように拠点を並び替える。次に、最も聞き取りやすい位置が正面の場合、ｉｎｉｔｉａｌ＿ａｎｇｌｅを９０度とする。式１２によりａｎｇｌｅ＿ｓｉｔｅ₁は９０度となり、優先度の最も高い拠点１は正面に配置される。２番目に高い拠点２を拠点１のレンダリングエリアの左側に配置する。３番目に高い拠点３を右側に配置する。以下、偶数番目に優先度の高い拠点は左側に、奇数番目に高い拠点は右側に配置していく。このようにして配置することで優先度が高い拠点の音響ほど受信拠点の参加者にとって聞き取りやすい位置に配置することができる。なお、偶数番目に高いものは左、奇数は右としたが、もちろんこれに限ったものではない優先度順に聞き取りやすい位置に配置していくことができれば他の方法でかまわない。

また拠点のグルーピングされたオブジェクト信号は実施の形態１で図６を用いて説明したとおりに配置する。上記では各オブジェクト信号間の最低距離である閾値（ｔｈｒｅｓｈｏｌｄ_ｓ）と、最大距離（ｔｈｒｅｓｈｏｌｄ_ｌ）を式４のように定めていたが、受聴位置４０５と仮想空間の中心点４０３との距離ｄ_iの閾値を定めるのでもよい。これにより、前述したのと同様に音を分離しにくかったり聞きにくかったりするという問題を防ぐことができる。

次に拠点ごとの各オブジェクト信号配置について図１０を用いて説明する。図１０は受信拠点以外の拠点の全オブジェクト信号配置例を示す図である。図１０のように、各拠点における各オブジェクトの相対的な位置関係によらず、オブジェクト信号を拠点のレンダリング角が示すエリア内で、受聴位置６１０を中心とする仮想空間６０９上に配置してもよい。例えば拠点Ｂのオブジェクト信号６０１〜６０４は、拠点Ｂにおける相対位置に関わらず、拠点Ｂのレンダリング角が示すエリア内で仮想空間６０９上に、６０５〜６０８のように配置される。このように円状に配置することで、受聴位置から仮想のオブジェクト信号源までの距離が同じになり、優劣なく聞き取ることができる。

この仮想空間６０９は、円状に限らず正方形や長方形、三角形、六角形など別の幾何学的形状であってもよい。また、それぞれのオブジェクトの優先度に応じて受聴位置６１０からの距離が変化するよう配置するために、その形状を定めてもよい。また、幾何学的形状に配置するのであれば、優先度に従って重要なオブジェクト信号をより受聴位置に近くなるような位置に配置することで効率的なレンダリングができる。

もちろんどのような形状であっても、拠点ごとのレンダリングエリアにグルーピングされてオブジェクト信号が配置されるので、拠点ごとの音響を分離しやすい。なお上述したとおり、優先度を受信拠点側で設定してもよいので、受聴者の好みに合わせて座標変換等によりパラメータを最適化し全体拠点の位置を移動させることも可能である。このように、拠点やオブジェクト信号の優先度情報Ｐｒｉｏｒｉｔｙ_ｉ、各拠点のオブジェクト信号数ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを導入することで、本実施の形態はオブジェクト信号のレンダリングを自動的に行うことができる。

以上、実施の形態１および実施の形態２において説明してきたとおり本発明によると多拠点接続時には、各送信拠点のオブジェクト信号の相対的な位置を保持するようレンダリングすることもできる。また、拠点ごとのオブジェクト信号をエリア内のある一定の範囲内に配置することで、拠点ごとの音響を聴覚的に分離しやすくできる。さらに、優先度やオブジェクト数に応じてオブジェクトのレンダリング角度やレンダリング距離を制御することで、優先度に基づいて優先度の高い各拠点や各オブジェクト信号を聞き取りやすいよう順番にレンダリングすることができる。このように本発明によると会議における音声明瞭度を向上させることができる。

（実施の形態３）
レンダリング部８０７は、図３に示すように参加している各拠点から送信されてきたオブジェクト信号を仮想的にグルーピングする以外に、図１１に示すようなレンダリングを行ってもよい。図１１は受信拠点において、参加している各拠点の音響空間的な中心位置を一致させるようにレンダリングすることを示している。この中心位置とは各拠点の会議室の中心や、マイクロフォン等の収音設備の位置などである。このように受信拠点において各拠点の中心位置を一致させてレンダリングを行うと、各拠点の音響空間を受信側の仮想音響空間において重ね合わせたような状態を表現することができる。

例えばある拠点Ａが広い会議室であり、拠点Ｂが狭い会議室である場合、受信拠点において拠点Ａから送信された音響信号が作る仮想音響空間が広い範囲にレンダリングされることとなり、拠点Ｂの音響信号が作る仮想音響空間が狭い範囲にレンダリングされ、拠点の広さや音響空間の状態を受信拠点側で感じることができる。このような構成によると、参加する各拠点の音響空間の広がりを相対的に受信拠点において再現することができ、会議の臨場感が向上するという効果を奏する。

（実施の形態４）
図１２は、実施の形態４のオブジェクト符号化情報のデータ構成を示す図である。同図に示すように、オブジェクト符号化情報１２００には、ダウンミックス情報１２０１と、当該ダウンミックス情報１２０１を用いてそれぞれのオブジェクト信号を復号化するためのオブジェクト情報１２０２、１２０３とが含まれる。それぞれのオブジェクト情報１２０２、１２０３には、オブジェクト信号間のゲイン比情報（ＯＬＤ）や位相差情報（ＩＯＣ）が含まれている。例えば、このゲイン比情報は、各オブジェクト信号のダウンミックス情報１２０１に対する比で表されている。また、ダウンミックス情報１２０１には、ダウンミックス情報のゲインを示すグローバルゲイン情報１２０４が含まれている。このオブジェクト符号化情報１２００をオブジェクト復号化部で復号化する際に、ダウンミックス情報１２０１に含まれるグローバルゲイン情報１２０４と、前記オブジェクト信号のゲイン比情報（ＯＬＤ）１２０５、１２０６とを用いて優先度を判定することも可能である。通常、これらのゲイン情報は優先度を示している訳ではないが、ダウンミックス情報のゲインが大きい、または、前記ダウンミックス情報とオブジェクト情報を用いて復号化したオブジェクト信号のゲインの大きさを暗黙的に示す、オブジェクト情報に含まれるゲイン比の値と前記ダウンミックス情報に含まれるゲイン情報との積が大きいことは、それらが音響的に大きいことを示しており、音響信号が大きいと言うことは、それだけ優先度が高い可能性があり、ゲイン情報と優先度との間にはある程度の相関関係がある。そこで、その相関関係を鑑みて、ダウンミックス情報１２０１のグローバルゲイン情報１２０４は、その拠点の代表的な優先度を示すものと解釈し、各オブジェクト情報１２０２、１２０３に含まれるゲイン比情報（ＯＬＤ）１２０５、１２０６は、それぞれオブジェクト信号毎の優先度を示すものと解釈してもよい。このようにすることにより、“（ダウンミックス情報のゲイン）＊（オブジェクト信号間のゲイン比）”の値を復号化装置またはＭＣＵにて算出し、その値の順位に従って、すべてのオブジェクト信号の優先度を算出することができる。このようにして算出した優先度に基づいて、本実施の形態のレンダリング部８０７では優先度に従って各オブジェクトを仮想空間に自動的にレンダリングすることが可能になる。

このように本実施の形態のレンダリング部８０７では、各オブジェクト信号のゲイン比がオブジェクトごとに分離されているオブジェクト符号化情報１２００の構造を利用して優先度を決定するので、優先度を算出するための負荷を削減することができ、復号化装置の復号化負荷を軽減することが可能である。さらに、復号化装置の演算性能が低い場合、前記手法に従って決定した優先度のうち、所定の値より優先度が低いと判定したオブジェクト信号に対しては符号化情報を復号化しないことにより、レンダリング部８０７の処理負荷をより低減することができる。なお、これにおいて、所定の値は、復号化装置の演算性能によって決められる値である。

なお、ダウンミックス情報のグローバルゲイン情報と、オブジェクト信号間のゲイン比情報とに従って優先度を決定する上記の手法において、レンダリングをフレーム毎に逐次制御すると、オブジェクト信号および拠点の優先度が頻繁に変化し、ひいては上記レンダリング手法によって配置したオブジェクト再生エリアが頻繁に変化することにより、聞き心地が悪くなる場合がある。そのため、このような場合には、複数フレームにわたってグローバルゲイン情報およびゲイン比情報を平滑化・平均化し、その平均値に従ってレンダリングの制御を行うことで、急峻な優先度変化（レンダリングされた再生エリアの変化）を防ぐことが好ましい。

なお、オブジェクト信号を自動的にレンダリングする領域の境界付近にオブジェクトをレンダリングする際に、そのオブジェクトの音量が大きくなる場合には、レンダリング境界が曖昧になるため、本願発明の効果が正確に発現しない場合がある。レンダリング境界の明瞭度と境界近くにレンダリングされたオブジェクトの音量は相関関係があるので、レンダリング境界を明確にするためには境界面付近のオブジェクト信号の音量を小さくする。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体に記録したものとしてもよい。コンピュータ読み取り可能な記録媒体は例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどである。また、本発明は、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムで実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、通信経路を介して複数の拠点が接続されており、各拠点がオブジェクト符号化されている多拠点会議システムに有用である。

１０１、１０２、１０３、１０４ （拠点Ｂに発生している）オブジェクト信号
１０５、１０６、１０７、１０８ 受信拠点Ｄにおける拠点Ｂの仮想空間上のオブジェクト信号
１０９、６０９ 受信拠点Ｄにおける拠点Ｂの仮想空間
１１０、４０５ （受信拠点Ｄの）受聴位置
４０１ （拠点Ａの）仮想空間
４０３ （４０１の）中心点
４０４ ４０２の中心点
４０６、４０７ （受信拠点Ｄにおける拠点Ａの仮想空間を挟む）矢印
５０１ 受聴位置
５０２ （仮想空間の）中心点
５０３ （オブジェクトｊの仮想空間上の）位置
６０１、６０２、６０３、６０４ 拠点Ｂのオブジェクト信号
６０５、６０６、６０７、６０８ 受信拠点Ｄにおける拠点Ｂの仮想空間上のオブジェクト信号
６０９ （受信拠点Ｄにおける）仮想空間
６１０ （受信拠点Ｄの）受聴位置
８０１ 収音部
８０２ 拠点Ａの会議室
８０３ 分離部
８０４ オブジェクト符号化部
８０５ 多拠点接続装置
８０６ オブジェクト復号化部
８０７ レンダリング部
８０８ 拠点Ｄの会議室
８０９ 拠点Ａから送信されたオブジェクト符号化情報Ａ
８１０ 拠点Ｂから送信されたオブジェクト符号化情報Ｂ
８１１ 拠点Ｃから送信されたオブジェクト符号化情報Ｃ
８１２ 合成オブジェクト符号化情報
９０１ スピーカＡ
９０２ スピーカＢ
９０３ 配置位置
９０４ 線分
９０５ 受聴位置
１００１ フロント左スピーカＬ
１００２ フロントセンタースピーカＣ
１００３ フロント右スピーカＲ
１００４ リア左スピーカＬｓ
１００５ リア右スピーカＲｓ
１００６ 左右方向の中心線
１００７ 前後方向の中心線
１００８ 受聴位置
１１０１ 拠点Ａにおけるオブジェクト信号１の位置
１１０２ 拠点Ａにおけるオブジェクト信号２の位置
１１０３ 拠点Ａにおけるオブジェクト信号３の位置
１１０４ 拠点Ａにおけるオブジェクト信号４の位置
１１０５ 拠点Ａにおけるオブジェクト信号５の位置
１１０６ 拠点Ａにおける中心位置
１１０７ 拠点Ｂにおけるオブジェクト信号６の位置
１１０８ 拠点Ｂにおけるオブジェクト信号７の位置
１１０９ 拠点Ｂにおける中心位置
１１１０ 受信拠点Ｃにおけるオブジェクト信号１の位置
１１１１ 受信拠点Ｃにおけるオブジェクト信号２の位置
１１１２ 受信拠点Ｃにおけるオブジェクト信号３の位置
１１１３ 受信拠点Ｃにおけるオブジェクト信号４の位置
１１１４ 受信拠点Ｃにおけるオブジェクト信号５の位置
１１１５ 受信拠点Ｃにおけるオブジェクト信号６の位置
１１１６ 受信拠点Ｃにおけるオブジェクト信号７の位置
１１１７ 受信拠点Ｃにおける拠点Ａと拠点Ｂの中心位置
１２００ オブジェクト符号化情報
１２０１ ダウンミックス情報
１２０２、１２０３、 オブジェクト情報
１２０４ グローバルゲイン情報
１２０５、１２０６ ゲイン比情報（ＯＬＤ）

本発明は、多拠点・多人数の話者が参加する会議システムにおける音響信号をオブジェクト符号化およびオブジェクト復号化する装置に関する。

昨今のブロードバンド通信技術の発展とともにＩＰ通信技術が一般的になり、一般的なビジネスシーンでの会議や一般家庭間のコミュニケーションシーンでも、ＩＰ通信技術を基盤とした電話会議システムや音声信号のみならずビデオ画像も同時に提示するような臨場感コミュニケーションシステムが登場してきた。また、ＩＰ通信の速度や安定性の向上により、多拠点・多人数が参加可能な臨場感会議システムも登場している。利便性の向上により、多人数・多拠点での会議・通信システムを使う機会が増加するに従って、より簡単に会議に参加できるような仕組みが重要になってきている。

従来型のビデオ会議システムにおいて、多人数・多拠点が参加する場合には、人数分あるいは拠点数分だけ等分割した画面表示を行っていた。そのため非常に多くの人数、多くの拠点が参加している場合には、画面表示は非常に煩雑になる。さらに、多人数・多拠点が参加することにより、会話の音声信号も混線し、どこの拠点の誰が発言しているか等を判別することが困難になる。これを解決するには、発言の最初に、いまから誰が発言するのかを明示的に発話するか、あるいは映像によって誰が発言しているのかを示す等の補助的な手段が必要となり、非常に煩雑な処理が必要となっていた。

また、会議に参加する各拠点において参加する人数が増えると、各拠点の送信装置や受信装置で符号化・復号化する音声・映像信号の数が増え、送受信装置への負荷が増加することにつながる。

これらの課題を解決するためには、複数の信号を同時にかつ低ビットレートで符号化することのできる方式が必要である。さらには、複数の音声信号を柔軟に制御可能な技術も必要である。そこでオーディオオブジェクト符号化技術（以下、オブジェクト符号化技術と呼ぶ）が提案され、これを用いた複数のオブジェクト信号を個別に低ビットレートで送受信する特徴を備えた装置が提案されている（例えば特許文献１参照）。オブジェクト符号化技術を用いた符号化によると、複数のオブジェクト信号をＭ個の音響信号にダウンミックスして符号化したダウンミックス情報に加え、少ない制御情報を付加して伝送し、受信側でＮ個のオーディオオブジェクト信号に再構成（ＭはＮよりも小さい）することができる。

米国特許出願公開第２００８／０００８３２３号明細書

Ｂ．Ｂ．Ｂａｕｅｒ，"Ｐｈａｓｏｒ ａｎａｌｙｓｉｓ ｏｆ ｓｏｍｅ ｓｔｅｒｅｏｐｈｏｎｉｃ ｐｈｅｎｏｍｅｎａ"，ＩＲＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＡＵＤＩＯ，Ｖｏｌ１０，ｐｐ１８−２１，Ｊａｎｕａｒｙ １９６２．

上記で示したようにオブジェクト符号化技術を会議システムに適用し、各話者（音源）をそれぞれオーディオオブジェクトとして扱うことにより、オブジェクト符号化技術で高効率の符号化を行うことができるようになる。しかしながら、オブジェクト符号化技術を適用しただけでは、多拠点・多人数に対応した会議システムにおいて会話の音声が混線するという問題は解決されず、それぞれの会話の聞き取りにくさも改善されないままである。

本発明は、上記課題に鑑み、オブジェクト符号化技術を適用した会議システムにおいて各拠点における会話の音声を聞き取りやすい符号化装置、復号化装置、会議システム、符号化方法および復号化方法の提供を目的とする。

上記の課題を解決するために、本発明の復号化装置は、オブジェクト符号化された音響符号化情報を複数受信し、受信した前記音響符号化情報をオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、生成された前記音響信号に含まれる１以上の前記オブジェクト信号にそれぞれ対応する仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、前記音響符号化情報には、前記音響信号に対する優先度の高低を示す優先度情報が重畳されており、前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する。

このような構成とすることで、ある音響符号化情報に対応する音響空間（拠点）ごとのオブジェクト信号の仮想音源が、その重要度またはその数に応じて受聴空間に配置されるため、音響空間（拠点）に属するオブジェクト信号の数が多い場合でも、それぞれのオブジェクト信号が聞き分けやすくなるようその仮想音源を受聴空間に配置することができる。また、音響信号の優先度に応じて、すなわち、優先度の高い音響信号に属するオブジェクト信号がより聴き取りやすくなるように受聴空間に配置することができる。従って、これにより、重要な拠点や、話者などの音源が多く活発な拠点の音響を、空間的に大きく配置し、聴感上聞き取りやすくすることができる。

また、前記１つ以上のオブジェクト信号は、前記音響符号化情報がオブジェクト符号化された音響空間における１つの音源にそれぞれ対応づけられており、前記音響信号は、前記音響空間において発生した１以上のオブジェクト信号を合成して得られた信号であるとしてもよい。これにより、音響空間における１以上のオブジェクト信号が受信側において適度な間隔を持って受信側の受聴空間に仮想的に配置されるため、受信側ではそれぞれのオブジェクト信号の混合を低減することができ、個別に聞き取りやすくなるというという効果を得ることができる。

前記レンダリング部は、前記音響信号に対する優先度が高いほど大きくなるよう前記領域の大小を決定するとしてもよい。これにより、レンダリング部は、優先度が高い、重要な音響信号に含まれるオブジェクト信号の仮想音源の位置を、受信側音響空間のより大きい領域に配置することができる。従って、優先度が高い重要音響信号に含まれるオブジェクト信号を聞き取りやすくすることができる。

また、前記優先度情報は、オブジェクト符号化におけるダウンミックス情報のゲインを示すグローバルゲイン情報であって、前記優先度の高低は、前記ゲインに比例する。これにより、復号化装置は、音響符号化情報に優先度情報が多重化されていない場合であっても、音響信号のそれぞれに対応する音響符号化情報に含まれているグローバルゲイン情報を比較することによって優先度情報を算出することができる。

さらに、前記音響符号化情報には、それぞれの前記オブジェクト信号のダウンミックス情報に対するゲインの比を示すゲイン比情報が含まれ、前記オブジェクト復号化部は、オブジェクト信号ごとに、前記グローバルゲイン情報の値と前記ゲイン比情報の値との積を算出し、算出した値を前記オブジェクト信号ごとの第２の優先度情報とするとしてもよい。これにより、本発明の復号化装置は、音響符号化情報の中にオブジェクト信号のそれぞれに対応する第２の優先度情報が重畳されていない場合であっても、各オブジェクト信号の音量の大きさを第２の優先度情報として検出し、検出した第２の優先度が大きいオブジェクト信号ほど、すなわち、音量の大きいオブジェクト信号ほど、聴き取り易い位置にくるように配置することができる。

また、前記オブジェクト復号化部は、前記音響信号において、前記第２の優先度情報で示される優先度があらかじめ定められた順位以上のオブジェクト信号だけを復号化し、前記順位より優先度が低いオブジェクト信号を復号化しないとしてもよい。このようにすることによって、あまり重要でないオブジェクト信号を削除してしまうことにより、復号化装置における復号化の処理負荷を低減することができる。

前記オブジェクト復号化部は、前記音響信号において、前記第２の優先度情報で示される優先度があらかじめ定められた順位以上のオブジェクト信号のみ優先度の高低を認め、前記優先度が前記順位より低いオブジェクト信号に対しては前記順位より低い同じ優先度であるとみなすとしてもよい。これにより、ある程度より重要度が低いオブジェクト信号の仮想音源を優先度の順に受聴空間に配置するための処理負荷を、低減することができる。

また、前記音響符号化情報のそれぞれには、前記音響空間を特定するための識別情報が含まれ、前記オブジェクト復号化部が、単位時間あたりに前記音響符号化情報を受信した音響符号化情報の符号長を前記識別情報ごとに計測し、計測した単位時間あたりの音響符号化情報の符号長を前記識別情報で特定される前記音響空間の活動度として、前記優先度情報と前記活動度に基づいて前記音響空間ごとの音響信号の優先度の高低を決定し、前記レンダリング部は、前記識別情報ごとに決定された優先度が高いほど、前記識別情報で特定される音響空間からの前記音響信号に割り当てられる領域が大きくなるよう前記領域の大きさを決定するとしてもよい。これにより、復号化装置では、音響符号化情報に優先度情報が重畳されていない場合であっても、音響空間を特定する識別情報ごとに単位時間あたりの符号長の長い音響符号化情報を送信する音響空間を重要な音響空間とみなし、その送信側音響空間に対して受聴空間に、より大きい領域を割り当てることができる。従って、例えば、会議において発言量の多い送信拠点の発言であるオブジェクト信号を聴感上聞き取りやすくすることができる。

また、前記オブジェクト復号化部は、前記音響信号に含まれる前記オブジェクト信号の数に比例するよう前記音響空間ごとの音響信号の優先度の高低を決定するとしてもよい。これにより、音響信号に含まれるオブジェクト信号の数、例えば、テレビ会議の会議室において同時に発言する話者の数が多いほど、その音響信号に含まれる個々の話者の発言であるオブジェクト信号が聴き取り易くなるように、受聴空間により離散的に配置することができる。

前記レンダリング部は、前記音響信号それぞれの前記優先度情報が示す優先度が高いほど、当該音響信号に割り当てられた前記領域が前記受聴位置のあらかじめ定められた正面方向に近くなるよう配置する構成であってもよい。これにより、優先度の高い重要な音響信号ほど受聴位置の正面に近く配置されることになり、重要の高い拠点における発言ほど聴き取りやすくすることができる。

さらに、前記音響符号化情報のそれぞれには、前記音響空間同士の相対的な位置関係を示す情報が重畳され、前記レンダリング部は、前記位置関係を示す前記情報に従って、前記音響信号を前記あらかじめ定められた受聴位置の周囲に配置する。これにより、各音響信号に対応する拠点の関係や拠点の状態が聴感上わかりやすい空間配置をすることができ、受聴位置では、発言者が属している拠点の位置関係を把握しやすく、話者の発言がどの拠点でなされているかを直感的に把握できるという効果がある。

また、前記レンダリング部は、前記オブジェクト信号に対する前記第２の優先度情報が示す優先度が高いほど、当該オブジェクト信号が前記受聴位置に近い位置となるよう前記オブジェクト信号それぞれの配置を決定するとしてもよい。これにより、優先度の高いオブジェクト信号である、例えば、重要人物の音声を受聴位置から近い位置となるよう配置するので、重要な人物の発言ほど聴き取りやすくすることができる。

さらに、前記音響符号化情報のそれぞれには、前記音響空間における、あらかじめ定められた基準位置に対するオブジェクト信号それぞれの音源の相対位置を示す相対位置情報が含まれ、前記レンダリング部は、前記音響信号のそれぞれに割り当てられた前記領域のあらかじめ定められた位置を前記基準位置とし、前記音環境情報で示される前記相対位置から前記各オブジェクト信号の前記受聴空間における前記仮想音源の位置を算出し、算出した前記位置に前記オブジェクト信号の前記仮想音源を配置するとしてもよい。これにより、各拠点では、拠点ごとの話者の位置を受信側に知らせることができ、受信側では、各拠点における話者の位置と同じように話者の音声の仮想音源を配置することができる。

上記課題を解決するために、本発明の符号化復号化装置は、１以上のオブジェクト信号の集まりである音響信号を収音する収音部と、収音した前記音響信号をそれぞれの前記オブジェクト信号に分離する分離部と、分離された前記オブジェクト信号をオブジェクト符号化して音響符号化情報を生成し、生成した前記音響符号化情報に、前記音響信号のそれぞれに対する優先度の高低を示す優先度情報と、前記音響信号に含まれる前記オブジェクト信号の数とを重畳するオブジェクト符号化部と、前記音響符号化情報を複数の他の装置から受信し、受信した前記音響符号化情報のそれぞれをオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、前記オブジェクト復号化部が生成した１以上の前記オブジェクト信号のそれぞれの仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する。これにより、会議の発言者の音声を聞き取りやすくするためのレンダリングを行う時に有用となる、各拠点の音響信号の優先度を含む音響符号化情報を生成するとともに、他の装置から受信した音響符号化情報をオブジェクト復号化し、復号化によって得られたオブジェクト信号の仮想音源を受聴者が聴き取りやすくなるように受聴空間に配置することができる。

多拠点・多人数がＩＰ通信網を介して会議するシステムにおいて、オブジェクト符号化技術を用いると、受信拠点側の音響信号の空間的配置を自由に制御することが可能になる。さらに本願発明によると、重要話者や重要拠点の音声を受信側の音響空間に仮想的に大きく配置し、重要拠点における重要話者の音声の仮想音源を、聴感上、聞き取りやすい仮想空間に配置することができる。それの他にも送信側および受信側の都合に合わせた配置を実現することができ、会議の臨場感を飛躍的に向上するという優れた効果が得られる。また、個別の話者の音声信号を独立して柔軟に制御可能な仮想会議システムを実現することができる。仮想会議システムを実現したことで、オブジェクト（話者）ごとに音声信号を制御することと相まって、会議の臨場感をさらに向上することが可能となる効果がある。

図１は、オブジェクト符号化を適用し、レンダリング部を持つ仮想会議システムの構成図である。 図２は、多拠点接続装置ＭＣＵと拠点間での初期化情報の送受信方法を示す図である。 図３は、受信拠点における各拠点の仮想空間配置図である。 図４は、自動レンダリング過程のフローチャートである。 図５は、受信拠点における拠点の優先度に基づく仮想空間の配置設定図である。 図６は、受信拠点における拠点の仮想空間の位置設定図である。 図７は、受信拠点における所定オブジェクト信号の配置図である。 図８は、ステレオシステムでのレンダリング処理の例を示す図である。 図９は、５．１ｃｈサラウンドシステム構成図である。 図１０は、受信拠点におけるオブジェクト信号の幾何学的配置図である。 図１１は、実施の形態３におけるレンダリング方法を示す図である。 図１２は、実施の形態４のオブジェクト符号化情報のデータ構成を示す図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図１を用いて、本実施の形態の多拠点・多人数が参加する臨場感会議システムにおけるオブジェクト符号化部・復号化装置について説明する。なお図示していないが、図１の拠点Ａ、拠点Ｄ以外に、拠点Ｂ、拠点Ｃがこの会議システムによる会議に参加しているものとする。以下では、送信側（符号化装置側）の代表例として拠点Ａでの処理についてのみ説明し、他の拠点Ｂおよび拠点Ｃについては、拠点Ａと同様の処理を行うものとして説明を省略する。また、拠点Ｄについては、受信側（復号化装置側）の代表例として、オブジェクト符号化情報を受信した後の音響信号の再生処理についてのみ説明するが、拠点Ｄにおいても拠点Ａ〜Ｃと同様に送信側の構成を備えるとしてもよい。このような会議システムにおいて受信側の構成のみを備え、送信側の構成を備えない場合は、当該拠点は、会議において発言しないオブザーバーの立場となる。また、拠点Ａ〜Ｃについては、送信側の例として説明するが、受信側の構成も備えるものとする。受信側の拠点、例えば、拠点Ｄでは、オブジェクト復号化部８０６およびレンダリング部８０７を備える。受信側の拠点では、例えば、前段に多拠点接続装置８０５を備えるとしてもよい。また、送信側の拠点、例えば、拠点Ａでは、収音部８０１、分離部８０３、オブジェクト符号化部８０４を備える。

拠点Ａの会議室８０２では、複数のマイクロフォンからなるマイクロフォンアレイなどで実現される収音部８０１を用いて、音響信号を収音する。

分離部８０３は、収音部８０１により得られた音響信号からノイズ成分を除去した上、互いに空間的な関連性がない音響的に独立した複数の音響信号に分離する。分離部８０３は、さらに、分離されたそれぞれの音響信号（以下、「オーディオオブジェクト信号」または単に「オブジェクト信号」という。）をオブジェクト符号化部８０４に入力する。ここで、音響的に独立したオブジェクト信号とは、例えば、会話をしている各話者の声、会話の背後に流れている音楽、電話の呼び出し音などであり、音響信号とは、同時に発話している話者の音声が合成された信号である。従って、オブジェクト信号は人間の音声だけには限られないが、通常の場合、テレビ会議の会議室としては雑音が少ない部屋が選択されるので、各オブジェクト信号を各話者の音声であると見なしても問題ない。

分離された各オーディオオブジェクト信号はオブジェクト符号化部８０４でオブジェクト符号化される。このオブジェクト符号化は、背景技術で説明したようにして行われる。オブジェクト符号化部８０４では、オブジェクト分離信号としていくつかの制御情報を生成し、ビットストリームに重畳する。この制御情報は各オブジェクトの音響的なレベル差（ＯＬＤ：Ｏｂｊｅｃｔ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）、各オブジェクト間の正規化エネルギー（ＮＲＧ：Ｎｏｒｍａｌｉｚｅｄ Ｒｅｌａｔｅｄ Ｇａｉｎ）、オブジェクト間相関・コヒーレンス（ＩＯＣ：Ｉｎｔｅｒ Ｏｂｊｅｃｔ Ｃｏｈｅｒｅｎｃｅ）などである。制御情報はこれらに限ったものではなく、そのほかのオブジェクトごと、あるいはオブジェクト間にまたがる音響信号に関連する情報であってもよい。ただし、ＯＬＤ、ＮＲＧ、ＩＯＣの少なくともいずれか一つは制御情報に含まれるのが望ましい。

オブジェクト符号化部８０４では、その拠点における音響信号と、制御情報の符号化に加えて、さらに二つの情報を伝送する。参加拠点の数（ｎｕｍＳｉｔｅ）を示す情報と、各参加拠点の、もしくは各オブジェクトの優先度情報（Ｐｒｉｏｒｉｔｙ_ｉ）である。なお、Ｐｒｉｏｒｉｔｙ_ｉが各参加拠点の優先度情報を示す場合には、ｉは例えば、各拠点を一意に特定できる拠点ごとのシリアル番号またはＩＤであって、どの拠点かを示し、Ｐｒｉｏｒｉｔｙ_ｉが各オブジェクトの優先度を示す場合には、ｉは例えば、各オブジェクトを一意に特定できるオブジェクトごとのシリアル番号またはＩＤであって、どのオブジェクトかを示す。なお、図１では、優先度情報がオブジェクト符号化情報の末尾に付加されている例を示したが、本発明はこれに限定されず、優先度情報をオブジェクト符号化情報の前段の、例えば、ヘッダ部やパラメータを記述する部分などに付加して送信する構成としてもよい。このように、優先度情報をオブジェクト符号化情報の前段に付加しておけば、オブジェクト復号化部において、オブジェクト符号化情報の復号化処理を開始する前にオブジェクト符号化情報から優先度情報だけを抽出して当該拠点の優先度を把握することができる。この結果、オブジェクト復号化部側では、例えば、オブジェクト数が多数あって優先度が低いオブジェクト信号を再生しないよう制御する場合には、必要最小限のオブジェクト信号だけを復号化することができる。これにより、本実施の形態のオブジェクト復号化部では、復号化における処理負荷を低減することができる。またさらに、これにより、各オブジェクト信号に対して、各オブジェクト信号の仮想音源の位置を受聴空間に配置するためのレンダリング角度を決定する処理とオブジェクト信号の復号化処理とをパラレルに実行することができ、復号化における処理遅延量を低減することが可能になる。各拠点のオブジェクト符号化部８０４はｎｕｍＳｉｔｅの値をデフォルトの値である１に設定し、多拠点接続装置（ＭＣＵ）８０５に、音響信号と制御情報の符号化情報にｎｕｍＳｉｔｅとＰｒｉｏｒｉｔｙ_ｉを重畳したオブジェクト符号化情報を送信する。多拠点接続装置８０５に送信されたオブジェクト符号化情報は、多拠点接続装置８０５経由で他の拠点に送られる。なお、多拠点接続装置８０５を介さず、各拠点間で送受信する構成であってもよい。この場合、オブジェクト符号化部８０４は、別拠点のオブジェクト復号化部８０６にオブジェクト符号化情報を送信する。

次に多拠点接続装置８０５について説明する。多拠点接続装置８０５は基本的に、複数の異なる拠点から、ここでは拠点Ａから送信されたオブジェクト符号化情報Ａ８０９、拠点Ｂから送信されたオブジェクト符号化情報Ｂ８１０，拠点Ｃから送信されたオブジェクト符号化情報Ｃ８１１を受信し、それらを一つのオブジェクト符号化情報として合成し、別の拠点へと送信するよう動作する。この合成により得られた合成オブジェクト符号化情報８１２には、多拠点接続装置８０５が受信した全ての拠点からの情報とそれらを分離する分離情報を含む。このようにして各拠点には全拠点の情報とその拠点以外の全拠点の情報を分離できる分離情報を含むビットストリームが送られることとなる。

多拠点接続装置８０５の動作内容について詳細に説明する。まず会議を始める際に、各拠点と多拠点接続装置８０５間では、符号化装置・復号化装置を初期化するための情報のやりとりが行われる。初期化される情報としては、拠点数や、符号化方式の種類、再生チャンネル数、マイクロフォンの数、画面の解像度、フレームレートなどがある。これらの情報が各拠点間で正常にやりとりができると多拠点接続装置８０５が判断すると、会議を始めることが可能になる。正常にやりとりができない場合とは、ある拠点のデコーダがオブジェクト符号化情報を復号化する手段を持っておらずオブジェクト符号化に対応できない場合や、再生装置の再生可能チャンネル数が送信チャンネル数よりも少ない場合等である。

多拠点接続装置８０５は、上記に示したような初期化情報のうち各拠点に係る情報を全拠点分収集完了した後に、各拠点から送信されたｎｕｍＳｉｔｅを合計する。これにより実際のｎｕｍＳｉｔｅの値を算出できる。これは図２に示す方法によっても算出できる。図２は初期化時における各拠点と多拠点接続装置８０５間のやりとりを例示している。拠点Ａは多拠点接続装置８０５に対して、あらかじめ決められている初期化をする旨の情報（例えば文字列"ｈｅｌｌｏ"）を送信し、拠点Ｂも同様に送信する。多拠点接続装置８０５は送信されてきた"ｈｅｌｌｏ"の数をカウントしても実際のｎｕｍＳｉｔｅの値を算出できる。会議中に参加拠点が増減した場合は、各拠点が常にｎｕｍＳｉｔｅを１として多拠点接続装置８０５に送信してくると、どの拠点が参加をやめ、どの拠点が新たに参加したかわかりにくい。しかし、会議に初めて参加した場合には、このような初期化する旨の情報を送ると決めておけば、新たに参加した拠点が把握しやすいという効果がある。

次に、多拠点接続装置８０５は合成オブジェクト符号化情報８１２を各拠点に送信する。この合成オブジェクト符号化情報８１２は、全参加拠点の音響信号と制御情報の符号化情報を合成した情報と、この合成情報から受信拠点を除く各拠点の符号化情報を分離する分離情報とを符号化した符号化情報に、実際のｎｕｍＳｉｔｅと受信拠点を除く各拠点の初期化情報を重畳したものである。この合成オブジェクト符号化情報８１２を送信することで、参加拠点に係る情報を各拠点の符号化・復号化装置へとフィードバックする。

さらに多拠点接続装置８０５は、複数の拠点から送信されるオブジェクト符号化情報に重畳されていたＰｒｉｏｒｉｔｙ_ｉの値を必要に応じて調整する。この調整は、送信されてきた全てのＰｒｉｏｒｉｔｙ_ｉのうち、優先度の高い方から上位の所定個数分以下を新たな優先度情報として付加し、その他は一定の優先度とするように行う。例えば、上位５ランクまでは順位のある優先度を付加し、６位以下はすべて同ランクの６位という優先度を付加する。これにより、あまりに多くの優先度のランク付けを行わず、重要な拠点やオブジェクトの優先度についてのみ送信し、復号化装置における煩雑な処理を減らすことができる。また、この調整は拠点の参加人数や、参加する人の関係性、音声パワーの大きさ、音声の継続時間を示す情報から、拠点ごともしくはオブジェクトごとに優先度を設定しなおしてもよい。例えば拠点Ａのあるオブジェクト信号に関するＰｒｉｏｒｉｔｙと、拠点Ｂのあるオブジェクト信号に関するＰｒｉｏｒｉｔｙが同じ値であった場合、音声パワーの強いほうを高く設定しなおすという調整を行う。また、設定されている優先度を無視して、各オブジェクト信号の音声パワーの強さの順を優先度としてもよい。すなわち、音声パワーの大きいオブジェクト信号の方が音声パワーの小さいオブジェクト信号よりも優先度が大きくなるように優先情報を設定するとしてもよい。さらに、音声パワーの大きいオブジェクト信号を他の拠点よりも多く含む拠点に対して、より大きい優先情報を設定するとしてもよい。なお参加する人の関係性を示す情報とは、例えば、ある拠点では発言者がおらず、聴衆だけが会議に参加していることを示す情報、ある拠点ではＶＩＰが参加者に含まれていることを示す情報などである。このように拠点ごともしくはオブジェクトごとに優先度を設定し、オブジェクト符号化情報に重畳して受信拠点へ送信する。以上のように必要に応じてＰｒｉｏｒｉｔｙ_ｉを調整することにより、受信拠点において優先度に従って適切な処理を行うことができる。

オブジェクト復号化部８０６は多拠点接続装置８０５から受信した拠点ごとの合成オブジェクト符号化情報８１２にオブジェクト復号化を行い、各拠点のオブジェクト信号を分離する。またそれと同時に、制御情報、全拠点数（ｎｕｍＳｉｔｅ）、優先度情報（Ｐｒｉｏｒｉｔｙ）を分離する。なお、多拠点接続装置８０５を介さず、各拠点間で送受信する構成である場合、オブジェクト復号化部８０６は、受信側拠点以外の拠点のオブジェクト符号化部８０４からオブジェクト符号化情報をそれぞれ受信する。この場合も同様にオブジェクト復号化を行い、各拠点のオブジェクト信号を分離し、その他の制御情報等も分離する。ここで分離した情報に基づき、オブジェクト復号化部８０６は、実際の全拠点数の算出と、必要な場合には、多拠点接続装置８０５で行った場合と同様にして、上記のＰｒｉｏｒｉｔｙの設定しなおしを行う。

次に、自動レンダリング部８０７について説明する。レンダリング部８０７では、各拠点のオブジェクト信号のレンダリングをする前に、まず、受信拠点（図１においては拠点Ｄ）において受信拠点以外の拠点に係る、各オブジェクト信号の仮想的な配置を決定する。図３は拠点Ｄの会議室８０８における、各オブジェクト信号の空間的配置方法を模式的に示したものである。図３の受聴位置１１０は拠点Ｄにおける参加者の中心、拠点Ｄの会議室８０８の中心、参加者が１人である場合の参加者自身または複数の参加者のうちターゲットとする特定の１人の参加者自身などを示し、拠点Ｄでスピーカにより再生される音声を受聴可能なある一点を示すとする。図３の四角はある拠点Ｂを示し、１０１、１０２、１０３、１０４は拠点Ｂに発生しているオブジェクト信号を示している。レンダリング部８０７は、図３の円で示すように同じ拠点から送信されてきたオブジェクト信号を仮想的にグルーピングし、異なる拠点のオブジェクト信号が互いに区切られるように音響的に配置する。例えば図３に示すように会議参加の拠点数が拠点Ａ〜拠点Ｅまでの５つの場合、受信拠点Ｄでは受信した情報から自身を除く、４つの拠点の情報を分離して、拠点ごとにグルーピングされたオブジェクト信号を受聴位置１１０の周りに配置する。このようにグルーピングすることで、どの拠点からどのような音響が送信されてきているのかということがわかりやすくなる。

以下、拠点ごとにグルーピングされたオブジェクト信号の配置方法について図４を用いて説明する。この配置は、各送信拠点の優先度Ｐｒｉｏｒｉｔｙ_ｉと各拠点のオブジェクト信号数ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉに従って決める。まず受信したビットストリームに含まれる拠点数などの情報を取得し（ステップＳ１２１）、ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉに応じて、各拠点の受聴位置１１０の周りのレンダリング角を算出する（ステップＳ１２２）。拠点のレンダリング角とは、拠点ごとにグルーピングされたオブジェクト信号を全て含み、異なる拠点のオブジェクト信号を含まないよう拠点ごとに区切る、図３に示すような受聴位置１１０を通る矢印がなす角度のことである。各拠点のレンダリング角は式１を用いて、オブジェクト符号化情報に含まれるｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉにより決定する。

つまり、受聴位置１１０の周り２πをレンダリングすべき全オブジェクト信号数で分割し、そのうち各拠点のオブジェクト信号数を乗算したものが各拠点のレンダリング角ａｒｅａ＿ｓｉｔｅ_ｉとなる。このように各拠点のオブジェクト数に従い、拠点ごとの音響信号の空間における広がり度合いを変化させる。沢山のオブジェクト信号を含む拠点に対しては広い音響空間を、少ないオブジェクト信号を含む拠点に対しては狭い音響空間を仮想的に割り当てることで、オブジェクト信号があまりにも密に、すなわち、互いに接近して配置されるのを防ぐことができる。また聴覚的に各拠点のオブジェクト数の差が判別しやすくなる。このように本実施の形態のレンダリング部８０７によると、受信拠点Ｄにおいて自動的に各拠点の各話者等の音源を聴覚的に分離するので、それぞれの話者の音声が聞き取りやすくでき、また受聴位置では、他の拠点にいる話者が受聴者の周囲に存在するかのように発言を聞くことができるので、会議の臨場感向上につながる。なお、ここでは、仮想空間上で各拠点が占める領域のレンダリング角を、各拠点に含まれるオブジェクト信号の数に応じて分配したが、本発明はこれに限定されず、各拠点の優先度に応じて分配するとしてもよい。例えば、上記式１にｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉの代わりにｉ番目の拠点の優先度（ｐｒｉｏｒｉｔｙ_ｉ）を代入することにより、各拠点のレンダリング角を優先度に応じて配分することができる。

次に、上記で求めた各拠点のレンダリング角を配置する受聴位置１１０周りの位置（以下、拠点のレンダリング位置とする）を決定する（ステップＳ１２３）。拠点のレンダリング位置は、各拠点の優先度を示すＰｒｉｏｒｉｔｙ_ｉが設定されている場合は、Ｐｒｉｏｒｉｔｙ_ｉに基づいて決定する。例えば受聴位置１１０が受聴者の位置を示す場合、人間は後方から生じる音よりも、前方からの音をより聞き取りやすいという性質があるため、図５のように優先度の最も高い拠点のレンダリング位置を受聴位置１１０の前方に設定する。これに続いて優先度の高い順に、聞き取りやすい位置にその他の拠点のレンダリング位置も設定していけばよい。なお、多数の拠点の優先度が同じ場合は、最も優先度の高い一つの拠点のレンダリング角を聞き取りやすい位置（ｉｎｉｔｉａｌ＿ａｎｇｌｅ）に配置し、その他の拠点を単純に式２、式３を用いて反時計回りに配置していってもよい。なお、Ｐｒｉｏｒｉｔｙ_ｉが各オブジェクト信号の優先度を示す場合には、優先度の最も高いオブジェクト信号を含む拠点や、優先度の高いオブジェクト信号を多く含む拠点を聞き取りやすい位置に配置していけばよい。このように優先度情報に基づいて拠点のレンダリング位置を決定することで、優先度の高い音響をより聞き取りやすくすることができる。

なお、この拠点レンダリング位置は、Ｐｒｉｏｒｉｔｙ_ｉが設定されていない場合や、設定されていた場合であってもこの値に基づかず、受信拠点と各送信拠点の位置関係に応じて決定してもよい。例えば、日本と米国と中国とオーストラリアの拠点間で会議をしている場合、日本での拠点レンダリング位置は、米国拠点からの信号を東よりに、中国拠点からの信号を西よりに、オーストラリア拠点の信号を南よりに設定してもよい。また会議システムの受聴位置１１０と会議システムの画像表示装置の位置関係等、設備環境に応じて決定してもよい。また送信側拠点の会議室の広さなどの情報に基づいて受信側拠点において各オブジェクト信号同士の最大配置距離を決定してもよい。これらの情報は上述した初期化情報として送信することとしてもよいし、必要に応じて送ることとしてもよい。これら拠点同士の位置関係や拠点の設備環境等の情報を音環境情報と定義する。このように会議における参加拠点同士の関係や各拠点の環境に基づいて拠点のレンダリング位置を決定することで、より臨場感を向上させることができる。

次に、拠点ごとにグルーピングされたオブジェクト信号の配置について説明する。ａｒｅａ＿ｓｉｔｅ_ｉとａｎｇｌｅ＿ｓｉｔｅ_ｉとにより、各拠点のレンダリング角とレンダリング位置とを決定した後、オブジェクト信号は、その拠点のレンダリング角とレンダリング位置とにより決定したエリア内に仮想的に配置される。例えば、図３に示す拠点Ｂのオブジェクト信号１０１〜１０４は、１０５〜１０８のように受信拠点Ｄにおける拠点Ｂの仮想空間１０９内に仮想的に配置される。この仮想空間上の配置は、各オブジェクト信号にＰｒｉｏｒｉｔｙ_ｉが設定されている場合には優先度情報が高いものが受聴位置に近くなるように、もしくは聞き取りやすい位置になるように配置する。このように配置することで、拠点ごとの音響を聞き分けやすいようグルーピングされたオブジェクト信号の中でも、優先度の高い音をより聞き取りやすくすることができる。

なお、各拠点の仮想空間内において、レンダリングされたオブジェクト信号が当該拠点のエリアの境界近くに配置された場合、隣接する他拠点エリア内のオブジェクト信号と距離が近くなり、拠点間のエリアの区別がつきにくくなる。このような場合には、レンダリング部８０７は、エリアの境界近くに配置するオブジェクト信号に対して、音量が小さくなるように補正する。例えば、エリアの境界近くに配置するオブジェクト信号に対しては、オブジェクト復号化部により復号化されたオブジェクト信号の本来の音量に対して、その７割程度に音量を絞るようにする。

またこれ以外の方法として、エリアの境界近くに配置するオブジェクト信号に対しては、受聴位置を中心として、当該オブジェクト信号の位置とエリア境界とのなす角が所定の角度以上、例えば、５°以上となるように、オブジェクト信号のレンダリング位置を補正するとしてもよい。または、各エリア内のオブジェクト信号のレンダリング位置が、当該エリアのレンダリング角の８割程度の挟み角の内部にくるようにレンダリング位置を計算する、あるいは、各拠点のエリアのレンダリング角を８割程度に計算するとしてもよい。

なお、上記の説明において、境界付近に位置するオブジェクト信号の音量を７割程度に絞る、または、境界付近に位置するオブジェクト信号とエリア境界とのなす角が５°以上となるようにする、各エリアのレンダリング角を算出された角度の８割程度に補正するとしたが、本発明はこれらの数値に限定されない。音量の補正、エリア境界から補正する角度、または、各エリアのレンダリング角の補正の割合などの具体的な数値は、例えば、数値をいろいろな値に変えながら、シミュレーション等により、受聴位置でのオブジェクト信号の聞き取りやすさが最適になるように値を定めればよい。

さらに、各拠点のエリアの境界付近にオブジェクト信号がレンダリングされないようにする他の方法として、次のような方法がある。例えば、各拠点の仮想空間のレンダリング角ａｒｅａ＿ｓｉｔｅ_ｉを、当該拠点に属するオブジェクト信号の数ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉに所定の定数αを加算した数（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）で分割し、各オブジェクト信号をその優先度に応じて、受聴位置とエリアの中心とを結ぶ受聴位置の正面から、左右に順次配分することによって各オブジェクト信号をレンダリングするとしてもよい。例えば、優先度が最も高いオブジェクト信号は受聴位置の正面にレンダリングし、次に優先度が高いオブジェクト信号は受聴位置の正面から左に（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）の角度をなす位置にレンダリングする。また、３番目に優先度が高いオブジェクト信号は受聴位置の正面から右に（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）の角度をなす位置にレンダリングし、４番目に優先度が高いオブジェクト信号は受聴位置の正面から左に２（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）の角度をなす位置にレンダリングする。このとき、優先度の順にオブジェクト信号が受聴位置から所定の距離ずつ遠ざかるようにレンダリングするのが好ましい。このように、各拠点の仮想空間に割り当てられたレンダリング角をオブジェクト信号の総数以上の数で分割し、オブジェクト信号の位置が優先度の順に受聴位置の正面から左右に順次、（ａｒｅａ＿ｓｉｔｅ_ｉ）／（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）ずつ遠ざかるようにレンダリングしていくので、両側の境界の内側にそれぞれ角度α（ａｒｅａ＿ｓｉｔｅ_ｉ）／２（ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ＋α）分の間隙の空間、すなわち、オブジェクト信号が配置されない空間を設けることができる。

これにより、各拠点が仮想空間に占めるエリア同士を、所定の幅を持った境界で区切ることができるので、各拠点が占めるエリアを聴感上、より明確に区分することができる。この結果、本実施の形態の臨場感会議システムによれば、臨場感があり、かつ、他拠点の発言を聞きやすい会議システムを実現することができる。

なお、Ｐｒｉｏｒｉｔｙ_ｉが設定されていない場合や、設定されていてもその情報を利用しない場合には、拠点Ｂでのオブジェクト信号１０１〜１０４同士の相対位置を保持するように配置してもよい。このように相対位置を保持することで、仮想空間上で拠点の音源の状態を再現することができる。これにおいて、それぞれの拠点におけるオブジェクト信号の相対位置は、当該拠点からの音環境情報としてオブジェクト符号化情報に多重化し、他の拠点に送信してもよい。これにおいてオブジェクト信号の相対位置は、例えば、各拠点の会議室の中央あるいは拠点Ｄの前記受聴位置に該当する点を中心とし、モニタの方向を基準方向からπ／２の方向として、受聴位置から見たオブジェクト信号の距離および角度で表す。もちろん、各拠点におけるオブジェクト信号の相対位置は、この表現方法に限らず、例えば、各拠点の会議室における座標位置などで表わすとしてもよい。

以下では図４に加えてさらに図６も用いて各オブジェクト信号のその他の仮想的配置方法について説明する。同一拠点から送信されたオブジェクト信号は、上記で説明したように受聴位置１１０の周りのその拠点のレンダリング角で示されるエリア内に配置される。図６においては矢印４０６と矢印４０７により挟まれた角度が拠点Ａのレンダリング角であり、このエリア内に拠点Ａから送信されたオブジェクト信号は配置される。なお受聴位置４０５は図３での受聴位置１１０に対応し、拠点Ａの仮想空間４０１は矢印４０６と矢印４０７に接する円であり、４０３は仮想空間４０１の中心点を示す。またｄは受聴位置４０５と中心点４０３との間の距離を示す。

拠点ごとにオブジェクト信号をグルーピングして受信側会議室の受聴空間に仮想的に配置するにあたり、各オブジェクト信号は仮想空間４０１の内部に配置する。エリア内にばらばらに配置するよりも、ある程度塊のようにして配置することで、拠点ごとの音響を聴覚的に分離しやすくなり会議の臨場感が増すためである。しかし距離ｄがとても小さい場合は、仮想空間４０１の半径ｒも小さくなるため、各オブジェクト信号が配置される間隔が狭くなりそれぞれの分離が非常に難しくなる。逆に距離ｄがとても大きい場合、半径ｒも大きくなるため、オブジェクト信号が配置される位置が受聴位置４０５から遠くなり聞き取りにくくなる。また配置される間隔も広くなり、拠点ごとにグルーピングされたエリアを聴覚的に分離しにくくなる。このような問題を防ぐために、各オブジェクト信号を仮想空間４０１の円周上に均等に配置した場合における、オブジェクト信号間の最低距離（ｔｈｒｅｓｈｏｌｄ_ｓ）と、最大距離（Ｔｈｒｅｓｈｏｌｄ_ｌ）を定める。具体的には式４のようにして各拠点の半径ｒ_iを定める（ステップＳ１２４）。定められた半径ｒ_iと割り当てられたａｒｅａ＿ｓｉｔｅ_ｉにより、中心点４０３と受聴位置４０５の距離ｄ_iも定まる（ステップＳ１２５）。このように閾値を設定することで、音を分離しにくかったり聞きにくかったりするという問題を防ぐことができる。なお、ここでは最低距離と最大距離を設定したが、全オブジェクト信号数が極めて少ない場合には、最低距離より最大距離のほうが重要になり、最大距離のみを設定するのであってもよい。なお、最低距離と最大距離との値は、これらの値を様々に変えながらシミュレーションを行い、各拠点内のオブジェクト信号が最適に配置される値を定めればよい。

ここで図７を用いて、オブジェクト信号の配置についてさらに詳細に説明する。図７の受聴位置５０１は上記１１０、４０５と同様に受聴位置を示す。Ｘ軸は図７に示す拠点のレンダリング角を二等分する軸であり、Ｙ軸はＸ軸に直行する軸である。拠点ｉの仮想空間内におけるオブジェクトｊの配置角度をｏｌｄ＿ａｎｇｌｅ_ｉｊとする。ここでオブジェクトｊから生じるオブジェクト信号にＰｒｉｏｒｉｔｙ_ｉが設定されている場合は、それに基づいて拠点ｉの仮想空間内における配置を決定する。Ｐｒｉｏｒｉｔｙ_ｉが設定されていない場合等では、拠点ｉにおけるオブジェクトｊの位置や音のパワー等の情報に基づいて配置を決定する。このようにして決定されたオブジェクトｊの位置５０３と拠点ｉの仮想空間の中心点５０２とを結ぶ直線とＸ軸がなす角度が、ｏｌｄ＿ａｎｇｌｅ_ｉｊである。このｏｌｄ＿ａｎｇｌｅ_ｉｊ、受聴位置５０１と拠点ｉの仮想空間の中心点間の距離ｄ、中心点５０２とオブジェクトｊの位置５０３の距離を用いて、Ｘ軸がなす角度ｎｅｗ＿ａｎｇｌｅ_ｉｊを算出できる（ステップＳ１２６）。このようにして算出したｎｅｗ＿ａｎｇｌｅ_ｉｊと拠点ｉのレンダリング位置ａｎｇｌｅ＿ｓｉｔｅ_ｉより、受信拠点におけるオブジェクトｊの配置角度ａｎｇｌｅ_ｉｊを式５のようにして求めることができる（ステップＳ１２７）。

以上のようにして、拠点ごとの音響を聴覚的に分離しやすいようオブジェクト信号をグルーピングして配置することができる（ステップＳ１２８）。また、上記では図３、図５、図６および図７において、仮想空間における各拠点のエリアの形状を円としたが、円に限ったものではなく、聴覚的に拠点ごとのエリアを分離しやすい配置であれば他の形状、例えば、楕円などでもかまわない。さらに、図７ではオブジェクトｊは円周上に配置するよう図示したが、もちろん仮想空間内部に配置してかまわない。

次に、各拠点の各オブジェクト信号のレンダリング処理について図８を用いて説明する。図８においてスピーカＡ９０１とスピーカＢ９０２はそれぞれステレオスピーカである。受聴位置９０５は、受聴位置１１０等に対応し、受信拠点の聴講者の一人であったり、聴講者の中心位置であったり、拠点の会議室の中心であったり、拠点における受聴可能なある一点を示す。図８に示すように、線分９０４は受聴位置９０５を通り、スピーカＡ９０１とスピーカＢ９０２間を二等分するような二等分線である。θ_０は線分９０４とスピーカＡ９０１の間の挟み角を示している。θ_０はスピーカＡ９０１およびスピーカＢ９０２の位置と向きによって決定する。

ここで、スピーカＡ９０１とスピーカＢ９０２を用いて図８に示すような方向に音響信号源９０３を仮想的に作り出す方法について説明する。図８のような場合、スピーカＢ側において音響信号の角度θは正の値であり、スピーカＡ側においてθは負の値である。θは受聴位置９０５と上記のようにして求めた各オブジェクト信号を配置したい音響信号源９０３の位置から算出する。Ｘ（ｎ）は音響信号源９０３からの信号とし、Ａ（ｎ）、Ｂ（ｎ）はそれぞれスピーカＡ９０１、スピーカＢ９０２からの音響信号とする。スピーカＡ９０１とスピーカＢ９０２の正味のエネルギーを調整することで、図８に示すようなステレオスピーカシステムにより、音響信号源９０３における音響空間を模擬することが可能である。なお、具体的にスピーカＡ９０１とスピーカＢ９０２のエネルギーの調整は以下の式６を満たすようにして行う。

ここで、パラメータａ、ｂは、例えば、θ＝θ_０の場合、音響信号源９０３とスピーカＢ９０２の方向が同じのため、ａ＝０，ｂ＝１となる。同様にして、θ＝−θ_０の場合にはａ＝１，ｂ＝０となり、θ＝０の場合には、

となる。一般化すると、パラメータａ、ｂはθとθ_０を用いて式７のように表せる（非特許文献１参照）。

このような方法で送信されてきたオブジェクト信号に対応する仮想的な音源を受信拠点において作り出すことができる。

次に、受信拠点における音響システムが５．１ｃｈのシステムである場合のレンダリング処理例について、図９を用いて説明する。図７を用いて説明したようにして受信拠点以外の、全拠点の全オブジェクト信号の配置情報からレンダリングマトリックスを生成することができる。１００１〜１００５はそれぞれ受信拠点におけるフロント左スピーカＬ、フロントセンタースピーカＣ、フロント右スピーカＲ、リア左スピーカＬｓ、リア右スピーカＲｓを示す。前後方向の中心線１００７はフロントセンタースピーカＣ１００２と受聴位置１００８を通る線であり、左右方向の中心線１００６は前後方向の中心線１００７と直行する線を示す。このような５．１ｃｈのシステムにおいて各オブジェクト信号は以下のステップによりレンダリングされる。

ステップ１：各オブジェクト信号のレンダリングを行うためのスピーカを判断する。

各オブジェクト信号と左右方向の中心線１００６のなす角度が上記の方法により求めたａｎｇｌｅ_ｉｊになるように、仮想的に作り出す音響信号源として配置していく。受聴位置１００８から各音響信号源までの距離は、Ｐｒｉｏｒｉｔｙ_ｉが設定されている場合は、それに基づいて、設定されていない場合等は位置関係等に基づいて決定し、配置する。スピーカ１００１〜１００５のうち、隣接するいずれか二つと受聴位置１００８がなす角度により挟まれる鋭角のエリア内に配置された各音響信号源は、その二つのスピーカにより仮想的に作り出される。図９は受聴位置１００８を中心に５つのスピーカが空間的に設置されていることを平面的に示した図である。１００６の矢印が示す方向が０°で、スピーカ１００１〜１００５は、それぞれ１２０°、９０°、６０°、２１０°、３３０°である。従って、スピーカＲｓ１００５、スピーカＲ１００３により挟まれる音響信号源は、対応するオブジェクト信号のレンダリング角度ａｎｇｌｅ_ｉｊが式８で示されるものである。

その他の隣接する二つのスピーカにおいても同様である。例えば、音響信号源に対応するオブジェクト信号のａｎｇｌｅ_ｉｊが１０°の場合、レンダリングするにあたりスピーカＲｓ１００５、スピーカＲ１００３を選択する。

ステップ２：各オブジェクト信号のレンダリング係数を算出する。

図８を用いて上述した方法に従って、ステップ１で選択した二つのスピーカにより音響信号源を仮想的に作り出す。例えば、作り出したい音響信号源に対応するオブジェクト信号のａｎｇｌｅ_ｉｊが１０°の場合、スピーカＲ１００３は図８のスピーカＡ９０１に対応し、スピーカＲｓ１００５はスピーカＢ９０２に対応する。レンダリング係数は式２、１００３と１００５がなす角の半分である４５°（＝θ_０）、ａｎｇｌｅ_ｉｊ（＝θ）を用いて算出する。なお、レンダリング係数とは式６のａ、ｂを指し、それぞれスピーカＲ１００３、スピーカＲｓ１００５のレンダリング係数に対応する。また、残りのスピーカのレンダリング係数は０に設定する。すなわちスピーカ１００１〜１００５のレンダリング係数のマトリックスを［Ｌ，Ｃ，Ｒ，Ｌｓ，Ｒｓ］と表記すると、ａｎｇｌｅ_ｉｊが１０°のオブジェクト信号に対するレンダリング係数のマトリックスは ［０，０，ａ，０，ｂ］（≒［０，０，０．５１８，０，０．８５５］）となる。

このようにして５．１ｃｈの再生システムを使用し、受聴空間に各オブジェクト信号の音響信号源を仮想的に作り出すことができる。なお、前記再生システムは５．１ｃｈに限定したものではなく、７．１ｃｈなどの多チャンネル再生システムであっても良いし、２ｃｈの再生システムを用いて頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を畳み込んで得られる仮想音響空間であっても良い。

以上のようにレンダリングを制御するオブジェクト符号化技術を用いると、受信拠点側の音響信号の空間的配置を自由に制御することができる。さらに本発明によって、重要話者を音響空間的に大きく配置、聴感上も重要である旨を表現する空間配置をするなどができる。このようにオブジェクト信号間の関係等、会議システム参加拠点の都合に合わせた配置を実現して会議での臨場感をより向上させられる有益な効果が得られる。

（実施の形態２）
実施の形態１と同様、本実施の形態における会議システムも図１のような構成を有する。構成の詳細については上述したとおりなので、Ｐｒｉｏｒｉｔｙ_ｉの他の設定方法についてとレンダリング部８０７でのその他のレンダリング方法について説明する。

各拠点もしくは各オブジェクト信号の優先度を示すＰｒｉｏｒｉｔｙ_ｉは、多拠点接続装置８０５にリクエスト等を送ることで取得するのであってもよい。送信拠点では、単に符号化した情報を送信するに過ぎず、各拠点の優先度や各オブジェクト信号の全体における優先度は未知である。多拠点接続装置８０５で全ての拠点から符号化情報を受け取った際に、優先度の判断および決定を行う。この決定は、例えば各拠点の活動度を計測することにより行う。この活動度は、一定時間（例えば１時間）あたりより多くの回数、符号化情報を送信した拠点が高くなるように、設定する。これにより、一定時間あたり情報の送信回数が少ない拠点に対しては、黙っていることが多いと判断して活動度を低く設定し、設定された活動度の高低に従って、各拠点または各オブジェクト信号の優先度の高低を決定する。このような設定にすることでその瞬間、会議に重要である拠点やオブジェクト信号について優先度を上げて扱うことができ、効率のよいレンダリング処理が可能となる。なお、上記説明において、活動度を算出してオブジェクト信号の優先度の高低を決定し、レンダリング装置を制御する時間間隔は、１時間に限定されず、３０分単位でも、２時間単位であってもよく、任意に定めた時間単位でよい。また、上記では多拠点接続装置８０５が各拠点の活動度を計測するとしたが、本発明はこれに限定されない。例えば、各拠点の各オブジェクト復号化部８０６が、単位時間あたりに符号化情報を受信した符号化情報の符号化ビット数（＝符号長）を拠点ごとに計測し、これを活動度として各拠点の優先度の高低を決定するとしてもよい。

ただしこれは、優先度を取得せず、または取得した優先度に従わず、拠点の復号化装置で優先度を設定してレンダリングを行うことを否定するものではない。ＭＣＵを介さない会議システムである場合や、拠点側で優先度を決定したいときなど、状況に応じて図１のＵｓｅｒ Ｉｎｆｏｒｍａｔｉｏｎを用いてレンダリングの配置を設定してもよい。このように拠点側で優先度を判断し、設定することでより受聴者の好みに合わせたレンダリングが可能となる。

次にレンダリング部８０７におけるその他のレンダリング方法について説明する。上述したようにオブジェクト信号の総数であるｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを用いて、各拠点のレンダリング角ａｒｅａ＿ｓｉｔｅ_ｉを算出できる。ここでは式９に示すように、総数ではなく各拠点で有効なオブジェクト数ａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを用いて算出してもよい。なぜなら、ある拠点において参加者数がたとえ多くとも、その参加者のうち一人や二人といった少人数の参加者の音声が重要であり、その他の参加者は基本的に聴衆であり、その音声は会議に無関係な場合などがありえるためである。このような場合オブジェクト信号の総数からその拠点のレンダリング角を算出すると、あまり送信する必要のないオブジェクト信号のために、受信拠点において、その拠点に対して大きな仮想空間を割り当ててしまうこととなる。そこで、式９のように有効なオブジェクト信号数を用いてレンダリング角を算出することで、受信拠点において重要なオブジェクト信号を効率よく音響的に配置可能とし、自然で有意義な会議システムを実現することができる。なお、受信拠点においてより快適で臨場感ある仮想会議環境を実現するために、ａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉの値は一定でなく、オブジェクト信号のパワーの変化等に基づいて動的に変化させてもよい。

このようにｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉとａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉの値に従って拠点のレンダリング角を決定してもよいし、各拠点にＰｒｉｏｒｉｔｙ_ｉが設定されている場合には、式１０により決定してもよい。なお、ここではＰｒｉｏｒｉｔｙ_ｉの値が大きいほど高い優先度を示すものとする。ビット数があまり多くなりすぎないよう、推奨する優先度ランクは１から３である。３が最も高い優先度を示し、１が最も低い優先度を示す。

受信拠点の受聴者やシステム管理者などは、各拠点のレンダリング角を算出するために式９、ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉ、ａｃｔｉｖｅ＿ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを用いるか、式１０、Ｐｒｉｏｒｉｔｙ_ｉを用いるかを選択する。この選択は、図１のＵｓｅｒ Ｉｎｆｏｒｍａｔｉｏｎとしてレンダリング部８０７に入力することで行う。

次に図５を用いて、優先度に基づき拠点のレンダリング位置ａｎｇｌｅ＿ｓｉｔｅ_ｉを決定する方法について説明する。優先度に基づく配置とは、より高い優先度の拠点のグルーピングされたオブジェクト信号をより聞きやすい位置に配置することである。まず、インデックスｉが増加するごとに優先度が下がるように拠点を並び替える。そして初期値を最も聞き取りやすい位置に設定し、式１１、式１２を用いて全ての拠点を配置していく。

図５において、拠点１からインデックスが増加するごとに優先度が下がるように拠点を並び替える。次に、最も聞き取りやすい位置が正面の場合、ｉｎｉｔｉａｌ＿ａｎｇｌｅを９０度とする。式１２によりａｎｇｌｅ＿ｓｉｔｅ₁は９０度となり、優先度の最も高い拠点１は正面に配置される。２番目に高い拠点２を拠点１のレンダリングエリアの左側に配置する。３番目に高い拠点３を右側に配置する。以下、偶数番目に優先度の高い拠点は左側に、奇数番目に高い拠点は右側に配置していく。このようにして配置することで優先度が高い拠点の音響ほど受信拠点の参加者にとって聞き取りやすい位置に配置することができる。なお、偶数番目に高いものは左、奇数は右としたが、もちろんこれに限ったものではない優先度順に聞き取りやすい位置に配置していくことができれば他の方法でかまわない。

また拠点のグルーピングされたオブジェクト信号は実施の形態１で図６を用いて説明したとおりに配置する。上記では各オブジェクト信号間の最低距離である閾値（ｔｈｒｅｓｈｏｌｄ_ｓ）と、最大距離（ｔｈｒｅｓｈｏｌｄ_ｌ）を式４のように定めていたが、受聴位置４０５と仮想空間の中心点４０３との距離ｄ_iの閾値を定めるのでもよい。これにより、前述したのと同様に音を分離しにくかったり聞きにくかったりするという問題を防ぐことができる。

次に拠点ごとの各オブジェクト信号配置について図１０を用いて説明する。図１０は受信拠点以外の拠点の全オブジェクト信号配置例を示す図である。図１０のように、各拠点における各オブジェクトの相対的な位置関係によらず、オブジェクト信号を拠点のレンダリング角が示すエリア内で、受聴位置６１０を中心とする仮想空間６０９上に配置してもよい。例えば拠点Ｂのオブジェクト信号６０１〜６０４は、拠点Ｂにおける相対位置に関わらず、拠点Ｂのレンダリング角が示すエリア内で仮想空間６０９上に、６０５〜６０８のように配置される。このように円状に配置することで、受聴位置から仮想のオブジェクト信号源までの距離が同じになり、優劣なく聞き取ることができる。

この仮想空間６０９は、円状に限らず正方形や長方形、三角形、六角形など別の幾何学的形状であってもよい。また、それぞれのオブジェクトの優先度に応じて受聴位置６１０からの距離が変化するよう配置するために、その形状を定めてもよい。また、幾何学的形状に配置するのであれば、優先度に従って重要なオブジェクト信号をより受聴位置に近くなるような位置に配置することで効率的なレンダリングができる。

もちろんどのような形状であっても、拠点ごとのレンダリングエリアにグルーピングされてオブジェクト信号が配置されるので、拠点ごとの音響を分離しやすい。なお上述したとおり、優先度を受信拠点側で設定してもよいので、受聴者の好みに合わせて座標変換等によりパラメータを最適化し全体拠点の位置を移動させることも可能である。このように、拠点やオブジェクト信号の優先度情報Ｐｒｉｏｒｉｔｙ_ｉ、各拠点のオブジェクト信号数ｎｕｍＯｂｊｅｃｔ＿ｓｉｔｅ_ｉを導入することで、本実施の形態はオブジェクト信号のレンダリングを自動的に行うことができる。

以上、実施の形態１および実施の形態２において説明してきたとおり本発明によると多拠点接続時には、各送信拠点のオブジェクト信号の相対的な位置を保持するようレンダリングすることもできる。また、拠点ごとのオブジェクト信号をエリア内のある一定の範囲内に配置することで、拠点ごとの音響を聴覚的に分離しやすくできる。さらに、優先度やオブジェクト数に応じてオブジェクトのレンダリング角度やレンダリング距離を制御することで、優先度に基づいて優先度の高い各拠点や各オブジェクト信号を聞き取りやすいよう順番にレンダリングすることができる。このように本発明によると会議における音声明瞭度を向上させることができる。

（実施の形態３）
レンダリング部８０７は、図３に示すように参加している各拠点から送信されてきたオブジェクト信号を仮想的にグルーピングする以外に、図１１に示すようなレンダリングを行ってもよい。図１１は受信拠点において、参加している各拠点の音響空間的な中心位置を一致させるようにレンダリングすることを示している。この中心位置とは各拠点の会議室の中心や、マイクロフォン等の収音設備の位置などである。このように受信拠点において各拠点の中心位置を一致させてレンダリングを行うと、各拠点の音響空間を受信側の仮想音響空間において重ね合わせたような状態を表現することができる。

例えばある拠点Ａが広い会議室であり、拠点Ｂが狭い会議室である場合、受信拠点において拠点Ａから送信された音響信号が作る仮想音響空間が広い範囲にレンダリングされることとなり、拠点Ｂの音響信号が作る仮想音響空間が狭い範囲にレンダリングされ、拠点の広さや音響空間の状態を受信拠点側で感じることができる。このような構成によると、参加する各拠点の音響空間の広がりを相対的に受信拠点において再現することができ、会議の臨場感が向上するという効果を奏する。

（実施の形態４）
図１２は、実施の形態４のオブジェクト符号化情報のデータ構成を示す図である。同図に示すように、オブジェクト符号化情報１２００には、ダウンミックス情報１２０１と、当該ダウンミックス情報１２０１を用いてそれぞれのオブジェクト信号を復号化するためのオブジェクト情報１２０２、１２０３とが含まれる。それぞれのオブジェクト情報１２０２、１２０３には、オブジェクト信号間のゲイン比情報（ＯＬＤ）や位相差情報（ＩＯＣ）が含まれている。例えば、このゲイン比情報は、各オブジェクト信号のダウンミックス情報１２０１に対する比で表されている。また、ダウンミックス情報１２０１には、ダウンミックス情報のゲインを示すグローバルゲイン情報１２０４が含まれている。このオブジェクト符号化情報１２００をオブジェクト復号化部で復号化する際に、ダウンミックス情報１２０１に含まれるグローバルゲイン情報１２０４と、前記オブジェクト信号のゲイン比情報（ＯＬＤ）１２０５、１２０６とを用いて優先度を判定することも可能である。通常、これらのゲイン情報は優先度を示している訳ではないが、ダウンミックス情報のゲインが大きい、または、前記ダウンミックス情報とオブジェクト情報を用いて復号化したオブジェクト信号のゲインの大きさを暗黙的に示す、オブジェクト情報に含まれるゲイン比の値と前記ダウンミックス情報に含まれるゲイン情報との積が大きいことは、それらが音響的に大きいことを示しており、音響信号が大きいと言うことは、それだけ優先度が高い可能性があり、ゲイン情報と優先度との間にはある程度の相関関係がある。そこで、その相関関係を鑑みて、ダウンミックス情報１２０１のグローバルゲイン情報１２０４は、その拠点の代表的な優先度を示すものと解釈し、各オブジェクト情報１２０２、１２０３に含まれるゲイン比情報（ＯＬＤ）１２０５、１２０６は、それぞれオブジェクト信号毎の優先度を示すものと解釈してもよい。このようにすることにより、“（ダウンミックス情報のゲイン）＊（オブジェクト信号間のゲイン比）”の値を復号化装置またはＭＣＵにて算出し、その値の順位に従って、すべてのオブジェクト信号の優先度を算出することができる。このようにして算出した優先度に基づいて、本実施の形態のレンダリング部８０７では優先度に従って各オブジェクトを仮想空間に自動的にレンダリングすることが可能になる。

このように本実施の形態のレンダリング部８０７では、各オブジェクト信号のゲイン比がオブジェクトごとに分離されているオブジェクト符号化情報１２００の構造を利用して優先度を決定するので、優先度を算出するための負荷を削減することができ、復号化装置の復号化負荷を軽減することが可能である。さらに、復号化装置の演算性能が低い場合、前記手法に従って決定した優先度のうち、所定の値より優先度が低いと判定したオブジェクト信号に対しては符号化情報を復号化しないことにより、レンダリング部８０７の処理負荷をより低減することができる。なお、これにおいて、所定の値は、復号化装置の演算性能によって決められる値である。

なお、ダウンミックス情報のグローバルゲイン情報と、オブジェクト信号間のゲイン比情報とに従って優先度を決定する上記の手法において、レンダリングをフレーム毎に逐次制御すると、オブジェクト信号および拠点の優先度が頻繁に変化し、ひいては上記レンダリング手法によって配置したオブジェクト再生エリアが頻繁に変化することにより、聞き心地が悪くなる場合がある。そのため、このような場合には、複数フレームにわたってグローバルゲイン情報およびゲイン比情報を平滑化・平均化し、その平均値に従ってレンダリングの制御を行うことで、急峻な優先度変化（レンダリングされた再生エリアの変化）を防ぐことが好ましい。

なお、オブジェクト信号を自動的にレンダリングする領域の境界付近にオブジェクトをレンダリングする際に、そのオブジェクトの音量が大きくなる場合には、レンダリング境界が曖昧になるため、本願発明の効果が正確に発現しない場合がある。レンダリング境界の明瞭度と境界近くにレンダリングされたオブジェクトの音量は相関関係があるので、レンダリング境界を明確にするためには境界面付近のオブジェクト信号の音量を小さくする。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体に記録したものとしてもよい。コンピュータ読み取り可能な記録媒体は例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどである。また、本発明は、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムで実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、通信経路を介して複数の拠点が接続されており、各拠点がオブジェクト符号化されている多拠点会議システムに有用である。

１０１、１０２、１０３、１０４ （拠点Ｂに発生している）オブジェクト信号
１０５、１０６、１０７、１０８ 受信拠点Ｄにおける拠点Ｂの仮想空間上のオブジェクト信号
１０９、６０９ 受信拠点Ｄにおける拠点Ｂの仮想空間
１１０、４０５ （受信拠点Ｄの）受聴位置
４０１ （拠点Ａの）仮想空間
４０３ （４０１の）中心点
４０４ ４０２の中心点
４０６、４０７ （受信拠点Ｄにおける拠点Ａの仮想空間を挟む）矢印
５０１ 受聴位置
５０２ （仮想空間の）中心点
５０３ （オブジェクトｊの仮想空間上の）位置
６０１、６０２、６０３、６０４ 拠点Ｂのオブジェクト信号
６０５、６０６、６０７、６０８ 受信拠点Ｄにおける拠点Ｂの仮想空間上のオブジェクト信号
６０９ （受信拠点Ｄにおける）仮想空間
６１０ （受信拠点Ｄの）受聴位置
８０１ 収音部
８０２ 拠点Ａの会議室
８０３ 分離部
８０４ オブジェクト符号化部
８０５ 多拠点接続装置
８０６ オブジェクト復号化部
８０７ レンダリング部
８０８ 拠点Ｄの会議室
８０９ 拠点Ａから送信されたオブジェクト符号化情報Ａ
８１０ 拠点Ｂから送信されたオブジェクト符号化情報Ｂ
８１１ 拠点Ｃから送信されたオブジェクト符号化情報Ｃ
８１２ 合成オブジェクト符号化情報
９０１ スピーカＡ
９０２ スピーカＢ
９０３ 配置位置
９０４ 線分
９０５ 受聴位置
１００１ フロント左スピーカＬ
１００２ フロントセンタースピーカＣ
１００３ フロント右スピーカＲ
１００４ リア左スピーカＬｓ
１００５ リア右スピーカＲｓ
１００６ 左右方向の中心線
１００７ 前後方向の中心線
１００８ 受聴位置
１１０１ 拠点Ａにおけるオブジェクト信号１の位置
１１０２ 拠点Ａにおけるオブジェクト信号２の位置
１１０３ 拠点Ａにおけるオブジェクト信号３の位置
１１０４ 拠点Ａにおけるオブジェクト信号４の位置
１１０５ 拠点Ａにおけるオブジェクト信号５の位置
１１０６ 拠点Ａにおける中心位置
１１０７ 拠点Ｂにおけるオブジェクト信号６の位置
１１０８ 拠点Ｂにおけるオブジェクト信号７の位置
１１０９ 拠点Ｂにおける中心位置
１１１０ 受信拠点Ｃにおけるオブジェクト信号１の位置
１１１１ 受信拠点Ｃにおけるオブジェクト信号２の位置
１１１２ 受信拠点Ｃにおけるオブジェクト信号３の位置
１１１３ 受信拠点Ｃにおけるオブジェクト信号４の位置
１１１４ 受信拠点Ｃにおけるオブジェクト信号５の位置
１１１５ 受信拠点Ｃにおけるオブジェクト信号６の位置
１１１６ 受信拠点Ｃにおけるオブジェクト信号７の位置
１１１７ 受信拠点Ｃにおける拠点Ａと拠点Ｂの中心位置
１２００ オブジェクト符号化情報
１２０１ ダウンミックス情報
１２０２、１２０３、 オブジェクト情報
１２０４ グローバルゲイン情報
１２０５、１２０６ ゲイン比情報（ＯＬＤ）

Claims (17)

1. オブジェクト符号化された音響符号化情報を複数受信し、受信した前記音響符号化情報をオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、
   生成された前記音響信号に含まれる１以上の前記オブジェクト信号にそれぞれ対応する仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、
   前記音響符号化情報には、前記音響信号に対する優先度の高低を示す優先度情報が重畳されており、前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する
   復号化装置。
2. 前記１つ以上のオブジェクト信号は、前記音響符号化情報がオブジェクト符号化された音響空間における１つの音源にそれぞれ対応づけられており、
   前記音響信号は、前記音響空間において発生した１以上のオブジェクト信号を合成して得られた信号である
   請求項１記載の復号化装置。
3. 前記レンダリング部は、前記音響信号に対する優先度が高いほど大きくなるよう前記領域の大小を決定する
   請求項２記載の復号化装置。
4. 前記優先度情報は、オブジェクト符号化におけるダウンミックス情報のゲインを示すグローバルゲイン情報であって、前記優先度の高低は、前記ゲインに比例する
   請求項３記載の復号化装置。
5. 前記音響符号化情報には、それぞれの前記オブジェクト信号のダウンミックス情報に対するゲインの比を示すゲイン比情報が含まれ、
   前記オブジェクト復号化部は、オブジェクト信号ごとに、前記グローバルゲイン情報の値と前記ゲイン比情報の値との積を算出し、算出した値を前記オブジェクト信号ごとの第２の優先度情報とする
   請求項４記載の復号化装置。
6. 前記オブジェクト復号化部は、前記音響信号において、前記第２の優先度情報で示される優先度があらかじめ定められた順位以上のオブジェクト信号だけを復号化し、前記順位より優先度が低いオブジェクト信号を復号化しない
   請求項５記載の復号化装置。
7. 前記オブジェクト復号化部は、前記音響信号において、前記第２の優先度情報で示される優先度があらかじめ定められた順位以上のオブジェクト信号のみ優先度の高低を認め、前記優先度が前記順位より低いオブジェクト信号に対しては前記順位より低い同じ優先度であるとみなす
   請求項５記載の復号化装置。
8. 前記音響符号化情報のそれぞれには、前記音響空間を特定するための識別情報が含まれ、
   前記オブジェクト復号化部が、単位時間あたりに前記音響符号化情報を受信した音響符号化情報の符号長を前記識別情報ごとに計測し、計測した単位時間あたりの音響符号化情報の符号長を前記識別情報で特定される前記音響空間の活動度として、前記優先度情報と前記活動度に基づいて前記音響空間ごとの音響信号の優先度の高低を決定し、
   前記レンダリング部は、前記識別情報ごとに決定された優先度が高いほど、前記識別情報で特定される音響空間からの前記音響信号に割り当てられる領域が大きくなるよう前記領域の大きさを決定する
   請求項３記載の復号化装置。
9. 前記オブジェクト復号化部は、前記音響信号に含まれる前記オブジェクト信号の数に比例するよう前記音響空間ごとの音響信号の優先度の高低を決定する
   請求項３記載の復号化装置。
10. 前記レンダリング部は、前記音響信号それぞれの前記優先度情報が示す優先度が高いほど、当該音響信号に割り当てられた前記領域が前記受聴位置のあらかじめ定められた正面方向に近くなるよう配置する
    請求項３記載の復号化装置。
11. 前記音響符号化情報のそれぞれには、前記音響空間同士の相対的な位置関係を示す情報が重畳され、前記レンダリング部は、前記位置関係を示す前記情報に従って、前記音響信号を前記あらかじめ定められた受聴位置の周囲に配置する
    請求項３記載の復号化装置。
12. 前記レンダリング部は、前記オブジェクト信号に対する前記第２の優先度情報が示す優先度が高いほど、当該オブジェクト信号が前記受聴位置に近い位置となるよう前記オブジェクト信号それぞれの配置を決定する
    請求項５記載の復号化装置。
13. 前記音響符号化情報のそれぞれには、前記音響空間における、あらかじめ定められた基準位置に対するオブジェクト信号それぞれの音源の相対位置を示す相対位置情報が含まれ、前記レンダリング部は、前記音響信号のそれぞれに割り当てられた前記領域のあらかじめ定められた位置を前記基準位置とし、前記音環境情報で示される前記相対位置から前記各オブジェクト信号の前記受聴空間における前記仮想音源の位置を算出し、算出した前記位置に前記オブジェクト信号の前記仮想音源を配置する
    請求項１記載の復号化装置。
14. 前記１つ以上のオブジェクト信号は、前記音響空間における一人の話者の音声にそれぞれ対応づけられている
    請求項２記載の復号化装置。
15. １以上のオブジェクト信号の集まりである音響信号を収音する収音部と、
    収音した前記音響信号をそれぞれの前記オブジェクト信号に分離する分離部と、
    分離された前記オブジェクト信号をオブジェクト符号化して音響符号化情報を生成し、生成した前記音響符号化情報に、前記音響信号のそれぞれに対する優先度の高低を示す優先度情報と、前記音響信号に含まれる前記オブジェクト信号の数とを重畳するオブジェクト符号化部と、
    前記音響符号化情報を複数の他の装置から受信し、受信した前記音響符号化情報のそれぞれをオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、
    前記オブジェクト復号化部が生成した１以上の前記オブジェクト信号のそれぞれの仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、
    前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する
    符号化復号化装置。
16. オブジェクト符号化された音響符号化情報を複数受信し、受信した前記音響符号化情報をオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成し、
    前記音響符号化情報に重畳されている、前記音響信号に対する優先度の高低を示す優先度情報を取得し、
    前記優先度情報が示す優先度の高低に応じて、あらかじめ定められた受聴空間において前記音響信号それぞれに対して割り当てられる領域の大小を決定し、
    前記音響信号に含まれる前記オブジェクト信号にそれぞれ対応する前記仮想音源の位置を前記音響信号ごとに割り当てられた前記領域内に配置する
    復号化方法。
17. オブジェクト符号化された音響符号化情報を複数受信し、受信した前記音響符号化情報をオブジェクト復号化することにより、１つの前記音響符号化情報から、１以上のオブジェクト信号が合成された１つの音響信号を生成するオブジェクト復号化部と、
    生成された前記音響信号に含まれる１以上の前記オブジェクト信号にそれぞれ対応する仮想音源の位置を前記１つの音響信号ごとに、あらかじめ定められた受聴空間に配置するレンダリング部とを備え、
    前記音響符号化情報には、前記音響信号に対する優先度の高低を示す優先度情報が重畳されており、前記レンダリング部は、前記優先度情報が示す優先度の高低に応じて、前記受聴空間において前記音響信号に対して割り当てられる領域の大小を決定し、前記音響信号に含まれる前記オブジェクト信号の前記仮想音源のそれぞれを前記音響信号に割り当てられた前記領域内に配置する
    集積回路。

Images