JP5377505B2 - 結合装置、遠隔通信システム及び結合方法 - Google Patents

結合装置、遠隔通信システム及び結合方法 Download PDF

Info

Publication number
JP5377505B2
JP5377505B2 JP2010532766A JP2010532766A JP5377505B2 JP 5377505 B2 JP5377505 B2 JP 5377505B2 JP 2010532766 A JP2010532766 A JP 2010532766A JP 2010532766 A JP2010532766 A JP 2010532766A JP 5377505 B2 JP5377505 B2 JP 5377505B2
Authority
JP
Japan
Prior art keywords
parameter
substream
downmix
combined
combining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010532766A
Other languages
English (en)
Other versions
JPWO2010090019A1 (ja
Inventor
智一 石川
武志 則松
ゾウ フアン
ハイ シャン ジョン
セン チョン コック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010532766A priority Critical patent/JP5377505B2/ja
Publication of JPWO2010090019A1 publication Critical patent/JPWO2010090019A1/ja
Application granted granted Critical
Publication of JP5377505B2 publication Critical patent/JP5377505B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、結合装置、遠隔通信システム及び結合方法に関し、特に、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含み、複数のサイトの各々から送信される複数の符号化ビットストリームを結合する結合装置に関する。
近年、パラメトリック符号化技術は、その高い符号化効率及び音像再生という利点のため、オーディオ符号化分野において非常に積極的に発展している。伝統的な波形符号化方法と比較すると、パラメトリック符号化方法は、人間の聴覚システムの限界を広げるだけでなく、サウンドシーン特性を捉えることによってオーディオ入力信号をモデル化できる。当該技術分野において周知の技術には、パラメトリックステレオ及びＭＰＥＧサラウンドに関連する符号化方法等がある。
典型的なパラメトリック符号化装置１００を図１に示す。図１に示すパラメトリック符号化装置１００は、Ｔ−Ｆ（時間−周波数）変換部１０１と、アナライザ１０２と、Ｆ−Ｔ（周波数−時間）変換部１０３と、ダウンミックスエンコーダ１０４とを備える。
Ｔ−Ｆ変換部１０１は、時間信号である複数のオーディオ入力信号１１０を複数の周波数信号１１１に変換する。
アナライザ１０２は、変換された周波数信号１１１を２つの方法で分析する。このアナライザ１０２は、ダウンミックス部１０２Ａと、パラメータ抽出部１０２Ｂとを備える。
ダウンミックス部１０２Ａは、複数の周波数信号１１１からモノラル又はステレオの中間ダウンミックス信号１１２を生成する。パラメータ抽出部１０２Ｂは、複数の周波数信号１１１からパラメータを抽出し、抽出したパラメータを含むパラメータサブストリーム１１３を出力する。
Ｆ−Ｔ変換部１０３は、中間ダウンミックス信号１１２を、時間ドメインに逆変換することにより、ダウンミックス時間信号１１４を生成する。
ダウンミックスエンコーダ１０４は、ダウンミックス時間信号１１４を圧縮し、圧縮した信号を含むダウンミックスサブストリーム１１５を出力する。
このように、当該パラメトリック符号化されたオーディオストリームは、ダウンミックスサブストリーム１１５とそれに対応するパラメータサブストリーム１１３とを含む。
なお、実際には、この２つのサブストリームは、単一のオーディオストリームに多重化される。しかし、後述の説明を分かりやすくするために、エンコーダにおける多重化処理及びデコーダにおける逆多重化処理については説明を省略する。
典型的なパラメトリック復号装置２００を図２に示す。このパラメトリック復号装置２００は、ダウンミックスデコーダ２０１と、Ｔ−Ｆ変換部２０２と、パラメータ合成部２０３と、Ｆ−Ｔ変換部２０４とを備える。
ダウンミックスデコーダ２０１は、受信したダウンミックスサブストリーム１１５を、モノラル又はステレオの時間信号２１３に復号する。
Ｔ−Ｆ変換部２０２は、時間信号２１３を、パラメトリック分析ドメインに再度変換することにより周波数信号２１４を生成する。
パラメータ合成部２０３は、受信したパラメータサブストリーム１１３から導かれる情報に従って周波数信号２１４を合成することにより複数の変換信号２１５を生成する。
Ｆ−Ｔ変換部２０４は、変換信号２１５を、時間ドメインへ逆変換することにより複数のオーディオ出力信号２１６を生成する。この複数のオーディオ出力信号２１６は、単一の信号入力としての同一の空間的音像を知覚的に表す。
上述の符号化手順は、パラメトリックエンコーダの２つの特徴を示す。すなわちそれらは、送信チャネル数の削減から得られる高い符号化効率と、空間的に関連するパラメータの合成によって実現されるリアルなアコースティックシーンの再構築である。
これら２つの特徴のため、パラメトリックエンコーダは、遠隔通信システムにおいて特に好んで採用される。そのようなシステムにおける各通信サイトは、複数話者からの複数のオーディオ入力信号１１０を入力とし、通常、遠隔地においてもリアルな臨場感が得られる効果を期待できる。
図３は、４つの遠隔会議サイト３０１Ａ〜３０１Ｄを含む遠隔通信システム３００を示す図である。なお、サイト３０１Ａ〜３０１Ｄを特に区別しない場合には、サイト３０１と記す。
各サイト３０１（例えば、サイト３０１Ａ）で、パラメトリックコーデックが採用される。当該サイト３０１は、取得したオーディオ入力信号１１０の全てをパラメトリック符号化することにより、符号化ビットストリーム１１６（ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡを含む）を生成する。また、生成された符号化ビットストリーム１１６は、他の３つのサイト３０１Ｂ〜３０１Ｄに送信される。
一方、各サイト３０１は、受信した符号化ビットストリーム１１６をそれぞれパラメトリック復号する（当該符号化ビットストリーム１１６は、３つのダウンミックスサブストリームＤｍｘＢ、ＤｍｘＣ、及びＤｍｘＤと、３つのパラメータサブストリームＰａｒａｓＢ、ＰａｒａｓＣ、及びＰａｒａｓＤとを含む）。
しかしながら、一般的に、セットアップ要求を満たしつつ送信帯域を妥当な程度に低く保つためには、複数の送信サイトから複数の符号化ビットストリーム１１６を単一の受信サイトへの直接送信することは困難である。よって、各サイト３０１が確実に単一のオーディオストリームのみを受信し送信するために、結合装置（多地点接続装置：ＭＣＵ３０５）が導入されて全サイト３０１Ａ〜３０１Ｄに接続されている。
このＭＣＵ３０５は、各サイト３０１のために、演算上効率がよい方法で、受信した複数の符号化ビットストリーム１１６を単一の結合ビットストリーム１２４に結合する。理想的には、結合ビットストリーム１２４は、あたかも、他のサイト３０１からの複数の符号化ビットストリーム１１６の全てが、単一の仮想サイトにおいて符号化されたようなストリームに近似されるべきである。
これを実現するため、図４に示すような単純な結合方法を設計可能である。図４は、ＭＣＵ３０５の機能構成を示すブロック図である。図４に示すようにＭＣＵ３０５は、３つの独立したパラメトリックデコーダ４０１〜４０３と、加算部４０４と、パラメトリックエンコーダ４０５とを備える。
３つのパラメトリックデコーダ４０１〜４０３は、各サイト３０１（例えば、サイト３０１Ａ）のために、他のサイト３０１（サイト３０１Ｂ、３０１Ｃ及び３０１Ｄ）からの符号化ビットストリーム１１６の全てを復号することにより、時間ドメインの復号信号４１１Ｂ、４１１Ｃ及び４１１Ｄを生成する。
加算部４０４は、生成された復号信号４１１Ｂ、４１１Ｃ及び４１１Ｄ加算することにより加算信号４１２を生成する。
パラメトリックエンコーダ４０５は、加算信号４１２を再符号化することにより結合ビットストリーム１２４を生成する。
このような単純なケースでさえも、Ｎ個のサイトを接続する遠隔通信システムにおいて、ＭＣＵ３０５がＮ個の独立したタンデムパラメトリック復号及び符号化するプロセスを必要とすることが分かる。その結果、ＭＣＵ３０５の演算量が多くなり、これにより信号伝送の遅延量が増加する。また、この演算量は、サイト数の増加にともなって線形的に増加する。よって、ＭＣＵ３０５で、リアルタイム処理を要するアプリケーションを実行することが困難である。
また、遅延時間が少なく演算量が少ないＭＣＵ３０５を設計するには、パラメトリック符号化の利点をさらに利用する必要がある。つまり、そのオーディオストリームフォーマットは、演算上効率的な方法で２つ以上のストリームを単一の信号ストリームに結合する機能を実現可能にする。より詳しくは、当該ダウンミックスサブストリームをダウンミックス符号化ドメインにおいて結合することが可能であり、パラメータサブストリームをパラメータ分析ドメインにおいて結合することが可能である。
効率的なＭＣＵの設計を扱う同様の方法が従来技術にもいくつかある。
例えば、特許文献１は、複数のパラメトリック符号化オーディオ信号を効率的に結合する方法を提案している。しかしながら、特許文献１においては、簡潔さを追求するために、ダウンミックス結合とパラメータ結合とは独立している。さらに、当該ダウンミックス結合方法においては、非常におおざっぱな結合方法を用いた偏った方法が示されているだけである。また、当該パラメータ結合方法においては、異なるパラメータ分析ドメインを用いる際の課題への対処がなされていない。
米国特許出願公開第２００８／０００８３２３号明細書
Ｓ．−Ｗ．Ｈｕａｎｇら、 「Ａ ｌｏｗ ｃｏｍｐｌｅｘｉｔｙ ｄｅｓｉｇｎ ｏｆ ｐｓｙｃｈｏ−ａｃｏｕｓｔｉｃ ｍｏｄｅｌ ｆｏｒ ＭＰＥＧ−２／４ ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ｃｏｎｓｕｍｅｒ ｅｌｅｃｔｒｏｎｉｃｓ， Ｎｏｖ． ２００４ Ｔ−Ｈ Ｔｓａｉら、 「Ａｎ ＭＤＣＴ−ｂａｓｅｄ ｐｓｙｃｈｏａｃｏｕ−ｓｔｉｃ ｍｏｄｅｌ ｃｏ−ｐｒｏｃｅｓｓｏｒ ｄｅｓｉｇｎ ｆｏｒ ＭＰＥＧ−２／４ ＡＡＣ ａｕｄｉｏ ｅｎｃｏｄｅｒ」、Ｐｒｏｃ． Ｏｆ ｔｈｅ ７ｔｈ Ｉｎｔ． Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｄｉｇｉｔａｌ ａｕｄｉｏ ｅｆｆｅｃｔｓ，２００４ Ｉ．Ｄｉｍｋｏｖｉａｅら、「Ｆａｓｔ ｓｏｆｔｗａｒｅ ｉｍｐｌｅｍｅｎ−ｔａｔｉｏｎ ｏｆ ＭＰＥＧ ａｄｖａｎｃｅｄ ａｕｄｉｏ ｅｎｃｏｄｅｒ」、 １４ｔｈ Ｉｎｔ．Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＤＳＰ，２００２
パラメトリックオーディオ符号化方法は、その高い符号化効率及びサウンドシーン再生という特徴のために、実際の通信システムにおいて好まれる。このシナリオを実現するためには、ある実務的な課題に取り組まなければならない。すなわち、パラメトリック符号化された複数のオーディオストリームを、いかにして低演算量で単一のストリームに結合するかという課題である。
そこで、本発明は、演算量を低減できる結合装置を提供することを目的とする。
上記目的を達成するために、本発明の一形態に係る結合装置は、複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合装置であって、前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える。
この構成によれば、本発明の一形態に係る結合装置は、非アクティブな符号化ビットストリームに対しては結合処理を行わない。このように、本発明の一形態に係る結合装置は、各サイトがアクティブであるか否かを考慮することによって演算量を低減できる。
また、前記第１結合部は、前記複数のダウンミックスサブストリームのうち、前記アクティブ符号化ビットストリームに含まれる前記ダウンミックスサブストリームのみを復号することにより複数の復号ダウンミックスサブストリームを生成する復号部と、前記複数の復号ダウンミックスサブストリームを加算することにより１以上の中間結合ダウンミックスサブストリームを生成する加算部と、前記１以上の中間結合ダウンミックスサブストリームを符号化することにより１以上の前記結合ダウンミックスサブストリームを生成する符号化部とを備えてもよい。
この構成によれば、本発明の一形態に係る結合装置は、非アクティブな符号化ビットストリームに対しては復号処理を行わない。これにより、本発明の一形態に係る結合装置は、演算量を低減できる。
また、前記第１結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のダウンミックスサブストリームのうち、当該サイト以外のサイトから送信された複数のダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合ダウンミックスサブストリームを生成し、前記第２結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のパラメータサブストリームのうち、当該サイト以外のサイトから送信された複数のパラメータダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合パラメータサブストリームを生成し、前記送信部は、前記結合ダウンミックスサブストリーム及び前記結合パラメータサブストリームを含む結合ビットストリームを、対応するサイトへ送信し、前記複数の符号化ビットストリームのうち、前記アクティブ符号化ビットストリーム以外の符号化ビットストリームである非アクティブ符号化ビットストリームの数が２以上の場合、（１）前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリームを結合することにより共通結合ダウンミックスサブストリームを生成し、（２）前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリームを結合することにより共通結合パラメータサブストリームを生成し、（３）前記送信部は、前記共通結合ダウンミックスサブストリーム及び前記共通結合パラメータサブストリームを含む共通結合ビットストリームを、前記２以上の非アクティブ符号化ビットストリームの送信元のサイトへ送信してもよい。
この構成によれば、本発明の一形態に係る結合装置は、非アクティブなサイトが複数存在する場合、当該複数の非アクティブなサイトに対して、共通の結合ビットストリームを送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。
また、前記アクティブ符号化ビットストリームの数が２の場合、前記送信部は、前記２個のアクティブ符号化ビットストリームの一方である第１符号化ビットストリームをそのまま、前記２個のアクティブ符号化ビットストリームの他方である第２符号化ビットストリームの送信元のサイトへ送信し、前記第２符号化ビットストリームをそのまま前記第１符号化ビットストリームの送信元のサイトへ送信してもよい。
この構成によれば、本発明の一形態に係る結合装置は、アクティブサイトが２個の場合、当該アクティブサイトから送信された符号化ビットストリームをそのまま送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。
また、前記アクティブ符号化ビットストリームの数が１の場合、前記送信部は、前記アクティブ符号化ビットストリームをそのまま、当該アクティブ符号化ビットストリームの送信元のサイト以外のサイトへ送信してもよい。
この構成によれば、本発明の一形態に係る結合装置は、アクティブサイトが１個の場合、当該アクティブサイトから送信された符号化ビットストリームをそのまま送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。
また、前記検出部は、前記複数のパラメータサブストリームに含まれる情報を用いて、前記アクティブ符号化ビットストリームを検出してもよい。
この構成によれば、本発明の一形態に係る結合装置は、パラメータストリームに含まれる情報を用いて、アクティブ符号化ビットストリームを容易に検出できる。
また、前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームを結合することにより、前記単一の結合ダウンミックスサブストリームを生成し、前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームを結合することにより、前記単一の結合パラメータサブストリームを生成し、前記送信部は、前記単一の結合ダウンミックスサブストリーム及び前記単一の結合パラメータサブストリームとを含む単一の結合ビットストリームを、前記複数のサイトの全てへ送信してもよい。
この構成によれば、本発明の一形態に係る結合装置は、全サイトで共用される単一の結合ビットストリームのみを生成する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量をさらに低減できる。
また、前記結合装置は、さらに、前記アクティブ符号化ビットストリームの送信元であるアクティブサイトの各々に対して、前記単一の結合ビットストリームの信号成分のうち、当該アクティブサイトにより送信された前記符号化ビットストリームに対応する信号成分を特定するための補助情報を生成する補助情報生成部を備え、前記送信部は、複数の前記補助情報の各々を、対応するアクティブサイトへ送信してもよい。
この構成によれば、各サイトは、本発明の一形態に係る結合装置により送信された補助情報を用いて、自サイトが送信した符号化ビットストリームの信号成分を除外できる。
また、前記補助情報生成部は、前記アクティブサイトの各々に対して、前記単一の結合パラメータサブストリームに含まれるパラメータのうち、当該アクティブサイトにより送信された前記パラメータサブストリームに対応するパラメータを特定するための前記補助情報を生成してもよい。
この構成によれば、各サイトは、本発明の一形態に係る結合装置により送信された補助情報を用いてパラメータを更新することにより、自サイトが送信した符号化ビットストリームの信号成分を除外できる。
また、前記第２結合部は、前記複数のパラメータサブストリームが、異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成してもよい。
この構成によれば、本発明の一形態に係る結合装置は、複数のパラメータサブストリームが異なるパラメータ表現基準で表現されている場合でも、効率的に結合パラメータサブストリームを生成できる。
また、前記結合装置は、さらに、当該結合装置から前記複数のサイトへの送信に用いることができる現在のビットレートに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備えてもよい。
この構成によれば、本発明の一形態に係る結合装置は、ビットレートを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリームを効率的に統合できる。
また、前記結合装置は、さらに、前記結合パラメータサブストリームのビット数を示すビットコストに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備えてもよい。
この構成によれば、本発明の一形態に係る結合装置は、ビットコストを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリームを効率的に統合できる。
また、前記ダウンミックスサブストリームは、前記複数のオーディオ入力信号がダウンミックスされた後、スペクトルドメインに変換されたうえで、符号化されており、前記復号部は、前記ダウンミックスサブストリームを復号することにより、前記スペクトルドメインの前記復号ダウンミックスサブストリームを生成し、前記加算部は、前記スペクトルドメインの前記複数の復号ダウンミックスサブストリームを加算することにより前記１以上の中間結合ダウンミックスサブストリームを生成してもよい。
この構成によれば、本発明の一形態に係る結合装置は、符号化ビットストリームを時間ドメインまで復号しない。つまり、本発明の一形態に係る結合装置は、時間−周波数変換及びその逆変換を行わない。これにより、本発明の一形態に係る結合装置は、演算量を低減できる。
また、前記第１結合部は、さらに、前記複数の復号ダウンミックスサブストリームのスペクトルパワーが前記中間結合ダウンミックスサブストリームにおいて保存されるように、前記中間結合ダウンミックスサブストリームをスケーリングするスケーリング部を備え、前記符号化部は、前記スケーリング部によりスケーリングされた前記中間結合ダウンミックスサブストリームを符号化することにより前記結合ダウンミックスサブストリームを生成してもよい。
この構成によれば、本発明の一形態に係る結合装置は、複数の復号ダウンミックスサブストリームのスペクトルパワーを中間結合ダウンミックスサブストリームにおいて保存できる。
また、前記第２結合部は、複数のパラメータサブストリームを逆量子化することにより複数の逆量子化パラメータを生成する逆量子化部と、前記逆量子化パラメータを結合することにより結合パラメータを生成するパラメータ結合部と、前記結合パラメータに含まれるパラメータのうち一部のパラメータを更新することにより更新パラメータを生成するパラメータ更新部と、前記結合パラメータに含まれるパラメータのうち前記一部以外のパラメータと、前記更新パラメータとを量子化することにより、前記結合パラメータサブストリームを生成する量子化部とを備えてもよい。
この構成によれば、本発明の一形態に係る結合装置は、パラメータのうちのいくつかを、パラメトリック分析ドメインにおいて結合するとともに更新する。これにより、本発明の一形態に係る結合装置では、パラメータはダウンミックスサブストリームの結合方法と合致する。
また、本発明の一形態に係る遠隔通信システムは、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する前記結合装置とを含み、前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含む。
この構成によれば、本発明の一形態に係る遠隔通信システムは、非アクティブな符号化ビットストリームに対しては結合処理を行わない。これにより、本発明の一形態に係る遠隔通信システムは、結合装置の演算量を低減できる。
また、本発明の一形態に係る遠隔通信システムは、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する前記結合装置とを含み、前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含み、前記復号装置は、前記補助情報を用いて、前記単一の結合ビットストリームの信号成分のうち、当該復号装置を備えるサイトにより送信された前記符号化ビットストリームに対応する信号成分を除去した前記オーディオ出力信号を生成する。
この構成によれば、本発明の一形態に係る遠隔通信システムでは、各サイトは、結合装置により送信された補助情報を用いて、自サイトが送信した符号化ビットストリームの信号成分を除外できる。
なお、本発明は、このような結合装置及び遠隔通信システムとして実現できるだけでなく、結合装置に含まれる特徴的な手段をステップとする結合方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような結合装置又は遠隔通信システムの機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
以上より、本発明は、少ない遅延と少ない演算量を実現しながら複数のパラメトリック符号化オーディオストリームを結合する結合装置を提供できる。この特徴は、複数のサイトを接続する遠隔会議システムのような複数サイト間通信システムをリアルタイムで利用するには非常に魅力的な特徴である。
図１は、一般的なパラメトリック符号化装置のブロック図である。 図２は、一般的なパラメトリック復号装置のブロック図である。 図３は、従来の遠隔通信システムの構成を示す図である。 図４は、従来のＭＣＵのブロック図である。 図５は、本発明の実施の形態１に係る遠隔通信システムの構成を示す図である。 図６は、本発明の実施の形態１に係る、パラメトリックオーディオ符号化におけるパラメータ表現基準を示す図である。 図７は、本発明の実施の形態１に係るダウンミックスエンコーダのブロック図である。 図８は、本発明の実施の形態１に係るＭＣＵのブロック図である。 図９は、本発明の実施の形態１に係るダウンミックスサブストリーム結合部のブロック図である。 図１０は、本発明の実施の形態１に係るＱＭＦドメインからＭＤＣＴドメインへの周波数マッピング方法を示す図である。 図１１は、本発明の実施の形態１に係るパラメータサブストリーム結合部のブロック図である。 図１２は、本発明の実施の形態１に係るＭＣＵの処理量を示す図である。 図１３は、本発明の実施の形態１に係るＭＣＵによる結合処理のフローチャートである。 図１４は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが１個の場合の動作を示す図である。 図１５は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが２個の場合の動作を示す図である。 図１６は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが３個の場合の動作を示す図である。 図１７は、本発明の実施の形態２に係るＭＣＵのブロック図である。 図１８は、本発明の実施の形態２に係るＭＣＵの動作を示す図である。 図１９は、本発明の実施の形態２に係るＭＣＵによる結合処理のフローチャートである。 図２０は、本発明の実施の形態２に係るＭＣＵの処理量を示す図である。 図２１は、本発明の実施の形態２に係るパラメトリック復号装置のブロック図である。 図２２Ａは、本発明の実施の形態２に係る、パラメータ基準の一例を示す図である。 図２２Ｂは、本発明の実施の形態２に係る、パラメータ基準の一例を示す図である。 図２３は、本発明の実施の形態３に係るＭＣＵのブロック図である。 図２４は、本発明の実施の形態３に係るパラメータサブストリーム結合部のブロック図である。 図２５Ａは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。 図２５Ｂは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。 図２５Ｃは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。 図２６Ａは、本発明の実施の形態３に係る、パラメータ基準を示す図である。 図２６Ｂは、本発明の実施の形態３に係る、パラメータ基準を示す図である。 図２７は、本発明の実施の形態４に係るＭＣＵのブロック図である。 図２８は、本発明の実施の形態４に係るパラメータサブストリーム結合部のブロック図である。
以下に記載する実施の形態は、本発明に係るさまざまな進歩性の原理を単に例示するものである。ここに記載する詳細な内容を多様に変形しうることは当業者にとって自明であると解釈される。それゆえ、本発明の範囲は、ここに記載する具体的かつ説明的な内容によってではなく、請求の範囲によってのみ限定されるものである。
本発明に係るＭＣＵを用いた方法を、４つのサイトを接続する遠隔会議システム（遠隔通信システム）を例にとって以下に説明する。さらに多くのサイトを接続する遠隔会議システムをおこなう場合のＭＣＵについては、このケースから簡単に一般化することができる。
また、以下に記載する実施の形態においては、従来のパラメトリック符号化方法によって符号化されたオーディオストリームの結合について詳細に述べる。説明を簡単にするため、ダウンミックス信号は、ＡＡＣエンコーダで符号化されるモノラル信号であるとする。なお、以下に示す複数の実施の形態は、他のパラメトリック符号化ビットストリームフォーマットをサポートするために一般化できる。
（実施の形態１）
図５は、本発明の実施の形態１に係る遠隔通信システム３００Ａの構成を示す図である。
遠隔通信システム３００Ａは、例えば、遠隔会議システムである。この遠隔通信システム３００Ａは、４つのサイト３０１（３０１Ａ〜３０１Ｄ）と、多地点接続装置である結合装置（ＭＣＵ３０５Ａ）とを含む。また、４つのサイト３０１と、ＭＣＵ３０５Ａとは、ネットワークを介して接続されている。
各サイト３０１は、それぞれ、図１に示す符号化装置１００及び図２に示す復号装置２００を備える。
各符号化装置１００は、当該サイト３０１に接続された複数のマイクにより取得された複数のオーディオ入力信号１１０をパラメトリック符号化することにより、ダウンミックスサブストリーム１１５と、パラメータサブストリーム１１３とを含む符号化ビットストリーム１１６を生成する。ダウンミックスサブストリーム１１５は、複数のオーディオ入力信号１１０がダウンミックスされた信号であり、パラメータサブストリーム１１３は、ダウンミックスサブストリーム１１５を複数のオーディオ入力信号に復元するための情報である。
また、各符号化装置１００は、生成した符号化ビットストリーム１１６をＭＣＵ３０５Ａへ送信する。
例えば、複数のオーディオ入力信号１１０の各々は、複数の話者の各々の音声に対応する。
ＭＣＵ３０５Ａは、複数のサイト３０１により送信された複数の符号化ビットストリーム１１６を結合することにより結合ビットストリーム１２４を生成する。この結合ビットストリーム１２４は、結合ダウンミックスサブストリーム１２１と結合パラメータサブストリーム１２２とを含む。また、ＭＣＵ３０５Ａは、生成した結合ビットストリーム１２４を複数のサイト３０１へ送信する。
具体的には、ＭＣＵ３０５Ａは、各サイト３０１に対して、当該サイト３０１以外のサイトから送信された符号化ビットストリーム１１６を結合することにより結合ビットストリーム１２４を生成し、生成した結合ビットストリーム１２４を当該サイト３０１へ送信する。
例えば、ＭＣＵ３０５Ａは、サイト３０１Ａに対して、サイト３０１Ｂ〜３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ビットストリーム１２４（結合ダウンミックスサブストリームＤｍｘＢＣＤ及び結合パラメータサブストリームＰａｒａｓＢＣＤを含む）を生成し、当該結合ビットストリーム１２４をサイト３０１Ａへ送信する。また、ＭＣＵ３０５Ａは、サイト３０１Ｂに対しては、サイト３０１Ａ、３０１Ｃ及び３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＣＤ及び結合パラメータサブストリームＰａｒａｓＡＣＤを生成し、ＭＣＵ３０５Ａは、サイト３０１Ｃに対しては、サイト３０１Ａ、３０１Ｂ及び３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを生成し、ＭＣＵ３０５Ａは、サイト３０１Ｄに対しては、サイト３０１Ａ、３０１Ｂ及び３０１Ｃから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを生成する。
また、各サイト３０１の復号装置２００は、ＭＣＵ３０５Ａから送信された結合ビットストリーム１２４を復号することにより、複数のオーディオ出力信号２１６を生成する。この複数のオーディオ出力信号２１６は、当該サイト３０１に接続された複数のスピーカにより出力される。
図１に示される符号化装置１００を以下詳細に説明する。
図１に示す符号化装置１００は、複数のオーディオ入力信号１１０をパラメトリック符号化することにより、モノラルのダウンミックスサブストリーム１１５とパラメータサブストリーム１１３とを含む符号化ビットストリーム１１６を生成する。
この符号化装置１００は、Ｔ−Ｆ（時間−周波数）変換部１０１と、アナライザ１０２と、Ｆ−Ｔ（周波数−時間）変換部１０３と、ダウンミックスエンコーダ１０４とを備える。
Ｔ−Ｆ変換部１０１は、時間ドメインの複数のオーディオ入力信号１１０をハイブリッドドメインの複数の周波数信号１１１に変換する。
例えば、サイト３０１Ａから、ＮＡ個のオーディオ入力信号１１０がパラメトリック符号化装置１００に入力されるとする。Ｔ−Ｆ変換部１０１は、ＮＡ個のオーディオ入力信号１１０を、効率のよい非均一周波数解像度を用いて、下記（式１）で表されるハイブリッドドメインのＮＡ個の周波数信号１１１に変換する。
Figure 0005377505
ここで、ｎは、時間を示すタイムスロットインデックスである。また、ｋは、周波数を示すハイブリッドバンドインデックスである。
アナライザ１０２は、変換された周波数信号１１１を２つの方法で分析する。このアナライザ１０２は、ダウンミックス部１０２Ａと、パラメータ抽出部１０２Ｂとを備える。
ダウンミックス部１０２Ａは、複数の周波数信号１１１からモノラルの中間ダウンミックス信号１１２を生成する。
パラメータ抽出部１０２Ｂは、複数の周波数信号１１１からオブジェクトパラメータを抽出する。また、パラメータ抽出部１０２Ｂは、抽出したオブジェクトパラメータを量子化することによりパラメータサブストリーム１１３を生成する。
具体的には、パラメータ抽出部１０２Ｂは、オブジェクトパラメータを、聴覚心理モデルに基づいて決定した時間周波数解析の解像度で、時間−周波数関数として分析する。例えば、パラメータ抽出部１０２Ｂは、ハイブリッドドメイン全体を、図６に示されるように、Ｐ×Ｑ個のパラメータタイルにグループ化する。また、人間の聴覚システムの周波数解像度に近似させるためには、全周波数帯域をカバーするパラメータバンドｍの数Ｑは、２、３個のみ（低いビットレートを適用する場合）から２８個まで（高品質処理をおこなう場合）の任意の数に設定できる。また、過渡的なふるまいを改善するために分離されたパラメータセットｌは、固定時間セグメント（約２０〜３０ｍｓ）をカバーする。
また、ダウンミックス部１０２Ａは、中間ダウンミックス信号１１２に含まれる、パラメータタイル（ｌ，ｍ）（ｌ＝１，・・・，Ｐ；ｍ＝１，・・・，Ｑ）ごとのダウンミックス信号成分を、下記（式２）に従って生成する。
Figure 0005377505
 ここで、ｄｉ（ｌ，ｍ）は、各オーディオ入力信号１１０（各周波数信号１１１）用に予め決定されたスケールファクタである。また、ファクタｅ（ｌ，ｍ）は、信号成分のパワーを調整するために用いられる。すなわち、中間ダウンミックス信号１１２における信号成分のパワーが、スケーリング済みの全周波数信号１１１のパワーと概ね同じになるように演算される。つまり、下記（式３）の関係が満たされるようにｅ（ｌ，ｍ）が決定される。
Figure 0005377505
Ｆ−Ｔ変換部１０３は、中間ダウンミックス信号１１２の全信号成分を、時間ドメインに逆変換することにより、ダウンミックス時間信号１１４を生成する。
ダウンミックスエンコーダ１０４は、ダウンミックス時間信号１１４を符号化することによりダウンミックスサブストリーム１１５を生成する。
また、パラメータ抽出部１０２Ｂは、パラメータタイル（ｌ，ｍ）ごとに、オブジェクトパラメータを抽出する。典型的には、このオブジェクトパラメータはそれぞれ以下を含む。
（ａ）オブジェクトレベル差（ＯＬＤ）：複数の周波数信号１１１間の、対応するパラメータタイルにおけるパワー比を示す。
（ｂ）絶対エネルギーパラメータ（ＮＲＧ）：複数の周波数信号１１１のうち、最大エネルギーを有する周波数信号１１１の絶対オブジェクトエネルギーを示す。
（ｃ）オブジェクト間の相互相関（ＩＯＣ）：複数の周波数信号間の、対応するパラメータタイルの類似度を示す。
（ｄ）ダウンミックスゲイン（ＤＭＧ）：対応するパラメータタイルをダウンミックス処理する際のゲインを示す。
例えば、パラメータ抽出部１０２Ｂは、これらのパラメータを、下記（式５）〜（式９）を用いて算出する。
Figure 0005377505
Figure 0005377505
Figure 0005377505
Figure 0005377505
また、パラメータ抽出部１０２Ｂは、このオブジェクトパラメータを、他のヘッダ情報とともに量子化することによりパラメータサブストリーム１１３を生成する。
同様の符号化手順に従って、他のサイト３０１（サイト３０１Ｂ、３０１Ｃ及び３０１Ｄ）も、ダウンミックスサブストリーム１１５とそれに対応するパラメータサブストリーム１１３とを生成する。
次に、ダウンミックスエンコーダ１０４の構成を説明する。図７は、ダウンミックスエンコーダ１０４の構成を示すブロック図である。
図７に示されるように、ダウンミックスエンコーダ１０４は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換部６０１と、符号化部６０２と、制御部６０３とを備える。
ＭＤＣＴ変換部６０１は、時間ドメインのダウンミックス時間信号１１４を、ＭＤＣＴドメイン（スペクトルドメイン）のＭＤＣＴ係数セット６１１に変換する。
制御部６０３は、実際の時間に依存するマスク済み閾値（音響心理学モデル）の推定値を、音響心理学で既知のルールを用いて算出する。
符号化部６０２は、量子化ノイズが制御部６０３により算出されたマスク済み閾値以下に保たれるように、ＭＤＣＴ係数セット６１１を効率的に量子化及び符号化する。これにより、符号化部６０２は、ダウンミックスサブストリーム１１５を生成する。
なお、ＭＣＵ３０５Ａが、複数の符号化ビットストリーム１１６を結合するためには、各サイト３０１Ａ〜３０１Ｄが備える符号化装置１００は、以下にあげる２つの追加要求を満たす必要がある。
（１）ＮＲＧパラメータをＭＣＵ３０５Ａへ送信する。
（２）ダウンミックスサブストリーム１１５は、固定的なブロックタイプ（つまり、ロングブロックタイプ）を用いるＡＡＣ方式によって符号化する。
なお、ダウンミックスサブストリーム１１５を符号化する方式としてＡＡＣ方式を用いる場合を述べたが、これに限ったものではなく、ＡＡＣ−ＬＤ方式又はＨＥ−ＡＡＣ方式を用いてもよい。また、それ以外にも高効率なステレオ・モノラルの音声符号化方式であれば、ＣＥＬＰ方式を用いてもよいが、ＭＤＣＴなどの直行変換技術を用いた符号化方式を用いる場合の方が、本発明の効果がより高くなる。
また、ここでは、直行変換技術の代表としてＭＤＣＴ方式を用いた例を述べているが、もちろんこれに限ったものではなく、ＦＦＴ方式又はＭＤＳＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）方式を用いてもよい。
次に、本発明の実施の形態１に係るＭＣＵ３０５Ａの構成を説明する。
図８は、ＭＣＵ３０５Ａの構成を示すブロック図である。
図８に示すようにＭＣＵ３０５Ａは、検出部５０１と、ダウンミックスサブストリーム結合部５０４（第１結合部）と、パラメータサブストリーム結合部５０６（第２結合部）と、送信部５０８とを備える。
検出部５０１は、所定の時間間隔ごとに、当該時間間隔内において、複数のサイト３０１のうちアクティブサイト及び非アクティブサイトを検出する。ここで、アクティブサイトとは、有効な符号化ビットストリーム１１６を送信しているサイトであり、非アクティブサイトとは、アクティブサイト以外のサイトである。具体的には、アクティブサイトとは、現在音声が送信されているサイトであり、非アクティブサイトとは、現在音声が送信されていないか、所定の閾値以下の音声信号がやりとりされているか、あるいは音声信号をやりとりしていないと制御信号などで明示的に指定されているサイトである。例えば、アクティブサイトで取得される複数のオーディオ入力信号１１０の最大の音量は所定の閾値以上であり、非アクティブサイトで取得される複数のオーディオ入力信号１１０の全ての音量は所定の閾値未満である。
例えば、検出部５０１は、複数のパラメータサブストリーム１１３に含まれる情報を用いて各サイト３０１がアクティブサイトであるか非アクティブサイトであるかを検出する。例えば、検出部５０１は、ＮＲＧパラメータが所定の値未満のパラメータサブストリーム１１３の送信元のサイトを非アクティブサイトと判定する。
なお、検出部５０１は、その他のパラメータ、又はダウンミックスサブストリーム１１５を参照することにより、各サイト３０１がアクティブサイトであるか非アクティブサイトであるかを判定してもよい。例えば、検出部５０１は、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の最大の音量が所定の閾値以上である場合、当該符号化ビットストリーム１１６の送信元のサイト３０１をアクティブサイトであると判定し、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の最大の音量が所定の閾値未満である場合、当該符号化ビットストリーム１１６の送信元のサイト３０１を非アクティブサイトであると判定してもよい。また、検出部５０１は、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の音量差又は音量の変化率に応じて、当該符号化ビットストリーム１１６の送信元のサイト３０１がアクティブサイトであるか非アクティブサイトであるかを判定してもよい。
また、検出部５０１は、検出結果に基づき、アクティブサイトの数及び非アクティブサイトの数を算出する。
ダウンミックスサブストリーム結合部５０４は、検出部５０１により検出されたアクティブサイトの数（非アクティブサイトの数）に応じて、複数のダウンミックスサブストリーム１１５を結合することにより、複数の結合ダウンミックスサブストリーム１２１を生成する。
具体的には、非アクティブサイトが存在する場合、ダウンミックスサブストリーム結合部５０４は、アクティブサイトから送信されたダウンミックスサブストリーム１１５のみを結合することにより、結合ダウンミックスサブストリーム１２１を生成する。
より具体的には、ダウンミックスサブストリーム結合部５０４は、複数のサイト３０１の各々に対して、複数のアクティブサイトから送信された複数のダウンミックスサブストリーム１１５のうち、当該サイト３０１以外のサイト３０１から送信された複数のダウンミックスサブストリーム１１５を結合することにより、当該サイト３０１に対応する結合ダウンミックスサブストリーム１２１を生成する。
パラメータサブストリーム結合部５０６は、検出部５０１により検出されたアクティブサイトの数（非アクティブサイトの数）に応じて、複数のパラメータサブストリーム１１３を結合することにより、複数の結合パラメータサブストリーム１２２を生成する。
具体的には、非アクティブサイトが存在する場合、パラメータサブストリーム結合部５０６は、アクティブサイトから送信されたパラメータサブストリーム１１３のみを結合することにより、結合パラメータサブストリーム１２２を生成する。
さらに具体的には、パラメータサブストリーム結合部５０６は、複数のサイト３０１の各々に対して、複数のアクティブサイトから送信された複数のパラメータサブストリーム１１３のうち、当該サイト３０１以外のサイト３０１から送信された複数のパラメータサブストリーム１１３を結合することにより、当該サイト３０１に対応する結合パラメータサブストリーム１２２を生成する。
送信部５０８は、結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を含む結合ビットストリーム１２４を、対応するサイト３０１へ送信する。
以下、ダウンミックスサブストリーム結合部５０４の構成を説明する。
図９は、ダウンミックスサブストリーム結合部５０４の構成を示すブロック図である。図９に示すようにダウンミックスサブストリーム結合部５０４は、復号部７００と、加算部７０４と、スケーリング部７０５と、符号化部７０６とを備える。なお、図９では、サイト３０１Ａへ送信する一つの結合ダウンミックスサブストリーム１２１を生成する場合を示している。
復号部７００は、複数のダウンミックスサブストリーム１１５（ＤｍｘＢ、ＤｍｘＣ及びＤｍｘＤ）を復号（逆符号化及び逆量子化）することによって、それぞれに対応する、ＭＤＣＴドメイン（スペクトルドメイン）のＭＤＣＴ係数セット７１０（ｃｏｅｆＢ、ｃｏｅｆＣ及びｃｏｅｆＤ）を生成する。ここで、逆符号化及び逆量子化とは、図７に示す符号化部６０２により行われたＡＡＣ符号化の逆演算である。また、復号部７００は、ダウンミックスサブストリームＤｍｘＢ、ＤｍｘＣ及びＤｍｘＤを逆符号化及び逆量子化する逆符号化部７０１〜７０３を備える。
なお、復号部７００は、図９に示すように３つの逆符号化部７０１〜７０３を備え、３つのダウンミックスサブストリーム１１５を当該３つの逆符号化部７０１〜７０３により並列に処理してもよいし、１又は２の逆符号化部を備え、３つのダウンミックスサブストリーム１１５を時分割で処理してもよい。
また、復号部７００は、複数のダウンミックスサブストリーム１１５のうち、アクティブサイトから送信されたダウンミックスサブストリーム１１５のみを復号する。
加算部７０４は、全ＭＤＣＴ係数セット７１０（復号ダウンミックスサブストリーム）を加算することにより結合ＭＤＣＴ係数セット７１１（中間結合ダウンミックスサブストリーム）を生成する。
スケーリング部７０５は、加算された結合ＭＤＣＴ係数セット７１１をスケーリングすることにより結合ＭＤＣＴ係数セット７１２（ｃｏｅｆＢＣＤ）を生成する。具体的には、スケーリング部７０５は、複数のＭＤＣＴ係数セット７１０のスペクトルパワーが結合ＭＤＣＴ係数セット７１２において保存されるように、結合ＭＤＣＴ係数セット７１１をスケーリングする。
ここで、本発明においては、結合ダウンミックスサブストリーム１２１は、異なる周波数範囲で異なる結合ゲインを伴って、全ダウンミックスサブストリーム１１５を線形結合した結果として得られる。
注意を喚起すべき点は、ハイブリッドドメインは時間−周波数解像度を有するが、ＭＤＣＴドメインは周波数解像度のみを有するということである。その結果、結合ゲインをＭＤＣＴ係数セットに適用する場合、ハイブリッドドメインにおける値をＭＤＣＴドメインにおける値に近似する必要がある。
本発明において適用される近似方法は、ハイブリッドドメインにおけるパラメータセットの分離を無視し、パラメータバンド分離方法をＭＤＣＴドメインに直接マッピングする方法である（なお、異なるパラメータバンドの分離方法を単一の統一パラメータバンド分離方法に統合する方法については、後述する）。言い換えると、図１０に示されるように、パラメトリック符号化プロセスに用いられるパラメータバンドの数がＱ（パラメータサブストリームに含まれるヘッダ情報）であるならば、ＭＤＣＴ周波数サブセットＩｍの数は、（ｍ＝１，２，・・・，Ｑ）であり、パラメータバンドｍは、サブセットＩｍ、例えば（ｑｍ−，ｑｍ＋）と同じ周波数範囲をカバーする。
上記ＭＤＣＴスペクトル分割に基づけば、分割ダウンミックス係数セットの結合ゲインは、異なる応用例に応じて、以下のように柔軟に設計することができる。
実施の形態１では、複数の符号化オーディオオブジェクトの全てが重要である場合、信号成分の増幅も減衰も好ましくない。そのような場合には、結合ダウンミックス係数を均一化するための共通スケーリングファクタを適用するパワー保存技術を採用する。
すなわち、結合ＭＤＣＴ係数セットｃｏｅｆＢＣＤは下記（式８）で表される。
Figure 0005377505
ここで、ｉはＭＤＣＴ係数インデックスであり、ｍはサブセットインデックスである。つまり、ｉは、下記（式９）となる。
Figure 0005377505
また、上付き記号は、対応するパラメータのサイトインデックスを表す。
また、結合ゲインは、スペクトルパワーを保存するように、下記（式１０）を用いて算出される。
Figure 0005377505
符号化部７０６は、結合ＭＤＣＴ係数セットｃｏｅｆＢＣＤを、量子化及び符号化することにより送信用の結合ダウンミックスサブストリーム１２１（ＤｍｘＢＣＤ）を生成する。
なお、一般的に、知覚エンコーダ（例えば、ＡＡＣエンコーダ）は、音響心理学の見地から知られるルールに従って、時間ドメインシーケンスにおける複素ＦＦＴから導かれる音響心理学マスカを用いて、信号間の無関連性について検証する。しかしながら、本発明に係るＭＣＵ３０５Ａにおいては、演算量が少なく遅延時間が短いことという要求事項を満たすために、ダウンミックス結合は、ＭＤＣＴドメインに限っておこなわれる。つまり、ＭＤＣＴドメインから時間ドメインへのドメイン変換はどのようなものであっても認められない。
当該課題は、いくつかの従来技術によって解決される。例えば、従来技術において、演算量が少なく高品質な、ＭＤＣＴに基づく音響心理学モデルを求めることができる。主要なアイデアは、複素ＦＦＴスペクトルを実数のＭＤＣＴスペクトルに置き換えること、及び、スペクトラム・フラットネス測定によってトーン性を求めることである。
従来技術については、例えば、上記非特許文献１〜３に詳述されている。
上記技術に従って、次のように符号化部７０６を設計することができる。まず、ＭＤＣＴドメインにおいて、結合ＭＤＣＴ係数セット用の正確な音響心理学マスカを算出する。また、ＡＡＣエンコーダと類似の方法で、残りの量子化及び符号化を実施する。出力結果は、結合ダウンミックスサブストリーム１２１として、サイト３０１Ａのパラメトリック復号装置２００へ送信される。同様の手順が、他の全サイトに対しても実行される。つまり、この手順は、Ｎ個のサイトを接続するシステム対して、Ｎ回実施される。
次に、パラメータサブストリーム結合部５０６の構成を説明する。
図１１は、パラメータサブストリーム結合部５０６の構成を示すブロック図である。図１１に示すようにパラメータサブストリーム結合部５０６は、逆量子化部７５０と、パラメータ結合部７５５と、パラメータ更新部７５６と、量子化部７５７とを備える。また、図１１では、サイト３０１Ａへ送信する一つの結合パラメータサブストリーム１２２を生成する構成のみを示している。
逆量子化部７５０は、複数のパラメータサブストリーム１１３（ＰａｒａｓＢ、ＰａｒａｓＣ及びＰａｒａｓＤ）を逆量子化することによって、それぞれ対応するパラメータ７６１に復元する。ここで、逆量子化とは、図１に示すパラメータ抽出部１０２Ｂにより行われた量子化の逆演算である。
パラメータ結合部７５５は、全パラメータ７６１を結合することにより結合パラメータ７６３及び７６４を生成する。
パラメータ更新部７５６は、結合パラメータ７６４を更新することにより更新パラメータ７６５を生成する。
また、パラメータ結合部７５５は、全パラメータ７６１に対して同一の結合ゲインを用いて結合する。その結果として、このダウンミックス結合プロセスは付加的パラメータに影響されない。よって、アクティブサイトが複数である場合、パラメータ更新部７５６は、結合パラメータ７６４としてＮＲＧパラメータ及びＯＬＤパラメータのみを更新する。
例えば、サイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブサイトである場合を例に説明を行う。この場合、パラメータサブストリーム結合部５０６は、サイト３０１Ｂ及び３０１Ｄから送信されたパラメータサブストリーム１１３を結合する。
更新後のＮＲＧパラメータは、サイトｋ（ｋ＝Ｂ，Ｄ）における最大ＮＲＧパラメータである。つまり、パラメータ更新部７５６は、下記（式１１）を用いて更新後のＮＲＧパラメータを算出する。
Figure 0005377505
また、パラメータ更新部７５６は、更新後のＯＬＤパラメータを、下記（式１２）を用いて全オブジェクトについて算出する。なお、オブジェクトとは、複数のオーディオ入力信号１１０のそれぞれを示す。
Figure 0005377505
ここで、オブジェクトインデックスｉは、ｉ＝１，・・・ＮＡ，ＮＡ＋１，・・・，ＮＡ＋ＮＤである。
量子化部７５７は、結合パラメータ７６３及び更新パラメータ７６５を量子化することにより結合パラメータサブストリーム１２２を生成する。
なお、Ｎ個のサイトを接続する遠隔会議システムでは、通常、（効率的に送信されたビットストリームを有する）アクティブサイトはＮ１個（Ｎ１≦Ｎ）のみであり、残りの（Ｎ−Ｎ１）個のサイトは非アクティブである。
また、そのようなシステムにおいて、ＭＣＵ３０５Ａは、部分的復号処理をＮ回、結合処理をＮ回、部分的符号化処理をＮ回おこなう必要がある。しかしながら、この場合、それらの非アクティブサイトには同一の結合ダウンミックスサブストリーム１２１が配信される。つまり、非アクティブサイトが通常存在する場合には、当該結合方法は冗長性をともなうことを意味する。
よって、本発明の実施の形態１に係るＭＣＵ３０５Ａでは、結合及び符号化処理の前にアクティブサイトの数を考慮することにより、ＭＣＵ３０５Ａの演算量をさらに削減する。
具体的には、送信部５０８は、アクティブサイトが１つ又は２つのみであるときは、受信した符号化ビットストリーム１１６を配信先サイトへ直接切り替え送信する。これにより、ＭＣＵ３０５Ａの演算量をさらに削減することができる。
より詳細には、非アクティブサイトの数が２以上の場合、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトから送信された複数のダウンミックスサブストリーム１１５を結合することにより、全ての非アクティブサイトに対して共通の結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、全てのアクティブサイトから送信された複数のパラメータサブストリーム１１３を結合することにより、全ての非アクティブサイトに対して共通の結合パラメータサブストリーム１２２を生成する。また、送信部５０８は、上記共通の結合ダウンミックスサブストリーム１２１及び共通の結合パラメータサブストリーム１２２を含む共通の結合ビットストリーム１２４を、全ての非アクティブサイトへ送信する。
また、アクティブサイトの数が２の場合、送信部５０８は、２個のアクティブサイトのうち一方から送信された符号化ビットストリーム１１６をそのまま、２個のアクティブサイトの他方へ送信する。また、送信部５０８は、２個のアクティブサイトのうち他方から送信された符号化ビットストリーム１１６をそのまま、２個のアクティブサイトの一方へ送信する。
また、アクティブサイトの数が１の場合、送信部５０８は、アクティブサイトから送信された符号化ビットストリーム１１６をそのまま、全ての非アクティブサイトへ送信する。
図１２は、本発明に係るＭＣＵ３０５Ａと、通常のＭＣＵとの演算量を示す図である。また、図１３は、ＭＣＵ３０５Ａによる結合処理のフローチャートである。
図１３に示すように、まず、検出部５０１は、アクティブサイトの数Ｎ１を検出する（Ｓ１０１）。
次に、検出部５０１は、アクティブサイトの数Ｎ１が１であるか否かを判定する（Ｓ１０２）。
アクティブサイトの数Ｎ１が１である場合（Ｓ１０２でＹｅｓ）、送信部５０８は、アクティブサイトから送信された符号化ビットストリーム１１６をそのまま全ての非アクティブサイトへ送信する（Ｓ１０３）。つまり、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６は、結合処理を行わない。また、送信部５０８は、１個のアクティブサイトへは、符号化ビットストリーム１１６及び結合ビットストリーム１２４を送信しない。
なお、アクティブサイトの数が０の場合も、送信部５０８は、符号化ビットストリーム１１６及び結合ビットストリーム１２４を送信しない。
このように、アクティブサイトの数Ｎ１が１である場合（Ｓ１０２でＹｅｓ）、図１２に示すように、部分的復号処理の数、結合処理の数及び部分的符号化処理の数は、全てゼロとなる。
図１４は、４つのサイト３０１のうち１つのサイト３０１Ａのみがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１４に示すように、サイト３０１Ａのみがアクティブな場合、ＭＣＵ３０５Ａは、サイト３０１Ａから送信されたダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡを非アクティブなサイト３０１Ｂ、３０１Ｃ及び３０１Ｄへ送信する。
一方、アクティブサイトの数Ｎ１が２以上の場合（Ｓ１０２でＮｏ）、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトから送信された複数のダウンミックスサブストリーム１１５に部分的復号処理を行うことにより、複数のＭＤＣＴ係数セット７１０を生成する（Ｓ１０４）。
次に、検出部５０１は、アクティブサイトの数Ｎ１が２であるか否かを判定する（Ｓ１０５）。
アクティブサイトの数Ｎ１が２の場合（Ｓ１０５でＹｅｓ）、ダウンミックスサブストリーム結合部５０４は、当該２つのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより非アクティブサイト用の１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、当該２つのアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより、非アクティブサイト用の１つの結合パラメータサブストリーム１２２を生成する（Ｓ１０６）。
次に、送信部５０８は、ステップＳ１０６で生成した１つの結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を全ての非アクティブサイトへ送信する（Ｓ１０７）。
また、送信部５０８は、２個のアクティブサイトのうち、一方のアクティブサイトから送信された符号化ビットストリーム１１６をそのまま他方のアクティブサイトへ送信し、他方のアクティブサイトから送信された符号化ビットストリーム１１６をそのまま一方のアクティブサイトへ送信する（Ｓ１０８）。
このように、アクティブサイトの数Ｎ１が２である場合（Ｓ１０５でＹｅｓ）、図１２に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１と同じ２となり、結合処理の数及び部分的符号化処理の数は１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、結合処理の数及び部分的符号化処理の数が１回に削減される。
図１５は、４つのサイト３０１のうち２つのサイト３０１Ａ及び３０１Ｂのみがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１５に示すように、サイト３０１Ａ及びサイト３０１Ｂのみがアクティブな場合、ＭＣＵ３０５Ａは、サイト３０１Ａから送信されたダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡをアクティブなサイト３０１Ｂへ送信し、サイト３０１Ｂから送信されたダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢをアクティブなサイト３０１Ａへ送信する。また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを非アクティブなサイト３０１Ｃ及び３０１Ｄへ送信する。
一方、アクティブサイトの数Ｎ１が３以上の場合（Ｓ１０５でＮｏ）、ダウンミックスサブストリーム結合部５０４は、当該３以上のアクティブサイトに対応するＭＤＣＴ係数セット７１０を全て結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより非アクティブサイト用の１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、当該３以上のアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより、非アクティブサイト用の１つの結合パラメータサブストリーム１２２を生成する（Ｓ１０９）。
次に、送信部５０８は、ステップＳ１０９で生成した１つの結合ダウンミックスサブストリーム１２１及び１つの結合パラメータサブストリームを全ての非アクティブサイトへ送信する（Ｓ１１０）。
次に、ＭＣＵ３０５Ａは、３個以上のアクティブサイトのそれぞれへ送信する結合ビットストリーム１２４を生成する。
まず、ＭＣＵ３０５Ａは、３個以上のアクティブサイトのうち１つのアクティブサイトを選択し、選択したアクティブサイトへ送信する結合ビットストリーム１２４を生成する。
具体的には、ダウンミックスサブストリーム結合部５０４は、選択したアクティブサイト以外の全てのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより選択したアクティブサイト用の結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、選択したアクティブサイト以外の全てのアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより選択したアクティブサイト用の結合パラメータサブストリーム１２２を生成する（Ｓ１１１）。
次に、送信部５０８は、ステップＳ１１１で生成した結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリームを、選択したアクティブサイトへ送信する（Ｓ１１２）。
次に、ダウンミックスサブストリーム結合部５０４は、アクティブサイトの数Ｎ１から１を減算することにより、新たなアクティブサイトの数Ｎ１を算出し（Ｓ１１３）、新たなアクティブサイトの数Ｎ１が０より大きい場合（Ｓ１１４でＹｅｓ）、次のアクティブサイトを選択し、選択したアクティブサイトに対してステップＳ１１１以降の処理を行う。つまり、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトに対して、ステップＳ１１１〜Ｓ１１４の処理を繰り返す。
このように、非アクティブサイトが２個以上存在し、かつアクティブサイトの数Ｎ１が３以上である場合（Ｓ１０５でＮｏ）、図１２に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１となり、結合処理の数及び部分的符号化処理の数はＮ１＋１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、非アクティブサイトへの送信用の結合処理の数及び部分的符号化処理の数が削減される。
なお、非アクティブサイトが存在しない場合、つまり、アクティブサイトの数Ｎ１が全サイト数Ｎに等しい場合には、ステップＳ１０９及びＳ１１０の処理は行われない。つまり、図１２に示すように、部分的復号処理の数、結合処理の数及び部分的符号化処理の数はＮ１回となる。
図１６は、４つのサイト３０１のうち３つのサイト３０１Ａ、３０１Ｂ及び３０１Ｃがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１６に示すように、サイト３０１Ａ、３０１Ｂ及び３０１Ｃがアクティブな場合、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを非アクティブなサイト３０１へ送信する。
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＢＣ及び結合パラメータサブストリームＰａｒａｓＢＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＢＣ及び結合パラメータサブストリームＰａｒａｓＢＣをサイト３０１Ａへ送信する。
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＣ及び結合パラメータサブストリームＰａｒａｓＡＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＣ及び結合パラメータサブストリームＰａｒａｓＡＣをサイト３０１Ｂへ送信する。
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢをサイト３０１Ｃへ送信する。
以上のように、本発明の実施の形態１に係るＭＣＵ３０５Ａは、アクティブサイトの数Ｎ１が１の場合には、復号処理、結合処理及び符号化処理を行わない。また、ＭＣＵ３０５Ａは、アクティブサイトの数Ｎ１が２の場合には、アクティブサイトへ送信する結合ビットストリーム１２４を生成しない。これにより、ＭＣＵ３０５Ａは、演算量を削減できる。
また、本発明の実施の形態１に係るＭＣＵ３０５Ａは、非アクティブサイトが存在する場合には、当該非アクティブサイトから送信された符号化ビットストリーム１１６を結合しない。具体的には、ＭＣＵ３０５Ａは、非アクティブサイトから送信されたダウンミックスサブストリーム１１５の復号処理を行わない。これにより、ＭＣＵ３０５Ａは、演算量を削減できる。
また、本発明の実施の形態１に係るＭＣＵ３０５Ａは、非アクティブサイトが複数存在する場合には、当該複数の非アクティブサイトに対して共通の結合ビットストリーム１２４を生成する。これにより、ＭＣＵ３０５Ａは、非アクティブサイトへの送信用の結合ビットストリーム１２４を生成する処理を省略できるので演算量を削減できる。
このように、本発明の実施の形態１に係るＭＣＵ３０５Ａは、アクティブサイトの数が１又は２という特別なケースを考慮に入れることにより、演算量を削減できる。
例えば、本発明の実施の形態１の効果を説明するために、複数のサイト（例えば、８つ）を接続する遠隔会議システムの例をあげる。実際には、通信期間のほとんどにおいて、同時にアクティブ状態になる通信サイトはせいぜい３つ程度である場合が多い。この場合、本発明に係るＭＣＵ３０５Ａを採用すれば、従来のＭＣＵに対して演算量を１５％〜４０％にまで削減することができる。
（実施の形態２）
ＭＣＵ３０５Ａが行う処理の中で、部分的符号化処理は、音響マスカの生成処理とダブルループの量子化処理とを含むため、演算量が最も多い。よって、実施の形態２に係るＭＣＵ３０５Ｂは、アクティブサイトが複数（Ｎ１＞２）である場合、部分的な符号化を１回のみおこなうことによって、演算量をさらに削減することができる。
図１７は、本発明の実施の形態２に係るＭＣＵ３０５Ｂの構成を示す図である。
図１７に示すＭＣＵ３０５Ｂは、実施の形態１に係るＭＣＵ３０５Ａに対して、ダウンミックスサブストリーム結合部５０４Ｂ及びパラメータサブストリーム結合部５０６Ｂの処理が、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６の処理と異なる。なお、ダウンミックスサブストリーム結合部５０４Ｂ及びパラメータサブストリーム結合部５０６Ｂの基本構成は、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６と同様である。
また、ＭＣＵ３０５Ｂは、ＭＣＵ３０５Ａの構成に加え、さらに、補助情報生成部５０７を備える。
ダウンミックスサブストリーム結合部５０４Ｂは、アクティブサイトの数が２以上の場合、全てのアクティブサイトから送信されたダウンミックスサブストリーム１１５を結合することにより単一の結合ダウンミックスサブストリーム１２１を生成する。
具体的には、ダウンミックスサブストリーム結合部５０４Ｂは、全てのアクティブサイトに関して部分的復号処理を行った後、復号された全ＭＤＣＴ係数セット７１０を単一の結合ＭＤＣＴ係数セット７１２に結合する。次に、ダウンミックスサブストリーム結合部５０４Ｂは、当該結合ＭＤＣＴ係数セット７１２を部分的に符号化することにより、全サイトに配信される単一の結合ダウンミックスサブストリーム１２１を生成する。
パラメータサブストリーム結合部５０６Ｂは、アクティブサイトの数が２以上の場合、全てのアクティブサイトから送信されたパラメータサブストリーム１１３を結合することにより単一の結合パラメータサブストリーム１２２を生成する。
補助情報生成部５０７は、アクティブサイトのそれぞれに対応する、複数の補助情報１２３を生成する。この補助情報１２３は、単一の結合ダウンミックスサブストリーム１２１及び単一の結合パラメータサブストリーム１２２の信号成分のうち、対応するアクティブサイトにより送信された符号化ビットストリーム１１６に対応する信号成分を特定するための情報である。なお、補助情報１２３に関しては後述する。
送信部５０８は、上記単一の結合ダウンミックスサブストリーム１２１、及び単一の結合パラメータサブストリーム１２２を全てのサイト３０１へ送信する。また、送信部５０８は、複数の補助情報１２３の各々を、対応するアクティブサイトへ送信する。
図１８は、本発明の実施の形態２に係る遠隔通信システム３００Ｂにおける、４つのサイト３０１のうち３つのサイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブな場合のＭＣＵ３０５Ｂの処理を模式的に示す図である。図１８に示すように、サイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブな場合、ＭＣＵ３０５Ｂは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＤ及びパラメータサブストリームＰａｒａｓＤとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを全てのサイト３０１Ａ〜３０１Ｄへ送信する。
また、ＭＣＵ３０５Ｂは、アクティブサイトであるサイト３０１Ａ、３０１Ｂ及び３０１Ｄへ、それぞれ補助情報１２３Ａ、１２３Ｂ及び１２３Ｄを送信する。なお、補助情報１２３Ａ、１２３Ｂ及び１２３Ｄは、それぞれ、サイト３０１Ａ、３０１Ｂ及び３０１Ｄに対応する補助情報１２３である。
図１９は、本発明の実施の形態２に係るＭＣＵ３０５Ｂの結合処理のフローチャートである。また、図２０は、本発明の実施の形態１及び実施の形態２に係るＭＣＵ３０５Ａ及び３０５Ｂと、通常のＭＣＵとの演算量を示す図である。
なお、図１９に示すステップＳ１０１〜Ｓ１０４の処理は、図１３と同様なので、説明は省略する。
ステップＳ１０４の後、ダウンミックスサブストリーム結合部５０４Ｂは、全てのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４Ｂは、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６Ｂは、全てのアクティブサイトから送信されたパラメータサブストリーム１１３を結合することにより、１つの結合パラメータサブストリーム１２２を生成する（Ｓ２０５）。
次に、送信部５０８は、ステップＳ２０５で生成した１つの結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を全てのサイトへ送信する（Ｓ２０６）。
このように、アクティブサイトの数Ｎ１が２以上である場合（Ｓ１０２でＮｏ）、図２０に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１となり、結合処理の数及び部分的符号化処理の数は１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、結合処理の数及び部分的符号化処理の数が１回に削減される。
本発明の実施の形態２の効果を説明するために、８つのサイトを接続する遠隔会議の例を再度参照する。この場合、実施の形態２に係るＭＣＵ３０５Ｂを採用すれば、通常のＭＣＵに対して演算量を１５％未満にまで削減することができる。
以下、補助情報１２３について説明する。
ＭＣＵ３０５Ｂの目的は、実施の形態１で説明したように、送信先のサイト以外の他の全てのサイトからの符号化ビットストリーム１１６を単一の結合ビットストリーム１２４に結合することである。よって、実施の形態２のように、結合ビットストリーム１２４が全ての符号化ビットストリーム１１６を結合したものである場合、各サイト３０１は、結合ビットストリーム１２４内の干渉ストリーム（自身が送信した符号化ビットストリーム１１６の成分）を除去する必要がある。
本発明においては、ＭＣＵ３０５Ｂは、全パラメータ情報を含む共通の結合パラメータサブストリーム１２２を生成する。また、各サイト３０１は、当該共通の結合パラメータサブストリーム１２２を用いて、パラメトリック復号処理において、結合ビットストリーム１２４内の干渉ストリームをミュートする。これにより、本発明の実施の形態２に係る遠隔通信システム３００Ｂは、干渉ストリームの除去をパラメータドメインで実現する。
例えば、上述の４つのサイト３０１を接続する遠隔会議システムの例において、アクティブサイトはサイト３０１Ａ、３０１Ｂ及び３０１Ｄの３つであるとする。共通の結合パラメータサブストリーム１２２は、次にあげるステップを通して構築される。
（１）オブジェクト数は、サイト３０１Ａ、３０１Ｂ及び３０１Ｄのオブジェクト数が合計されたものである。つまり、共通の結合パラメータサブストリーム１２２に含まれる全オブジェクトの数は、Ｎｔｏｔａｌ＝ＮＡ＋ＮＢ＋ＮＤで表される。
（２）結合されるパラメータは、Ａ、Ｂ、Ｄの順に並べられる。例えば、オブジェクトレベル差は、ｉ＝１，・・・ＮＡ，ＮＡ＋１，・・・，ＮＡ＋ＮＢ，ＮＡ＋ＮＢ＋１，・・・，Ｎｔｏｔａｌであるとき、ＯＬＤｉ（ｌ，ｍ）で表される。
また、共通の結合パラメータサブストリーム１２２は、共通の結合ダウンミックスサブストリーム１２１とともに各サイトへ配信される。各サイトにおけるパラメトリック復号の最終目的は、自サイトからの干渉ストリームの入力を除く全オーディオ入力を合成（つまりアップミックス）することである。
描画マトリックスをカスタマイズ設計することにより、パラメトリックオーディオ復号の最終目的を達成することができる。より詳しくは、自サイトからの干渉オブジェクトを除去するためには、ＭＣＵ３０５Ｂで何らかの新たな補助情報１２３が生成され、当該受信サイトに送信されるべきである。この補助情報１２３とは、例えば、干渉オブジェクトのインデックスである。各サイトが備える復号装置２００Ｂは、この補助情報１２３を用いることにより、パラメトリックオーディオ符号化の描画マトリックスにおいて、干渉オブジェクトにはゼロゲインを設定することができる。結果的に干渉オブジェクトがミュートされれば理想的である。
具体的には、補助情報生成部５０７は、アクティブサイトの各々に対して、単一の結合パラメータサブストリーム１２２に含まれるパラメータのうち、当該アクティブサイトにより送信されたパラメータサブストリーム１１３に対応するパラメータを特定するための補助情報１２３を生成する。
より詳細には、補助情報生成部５０７は、補助情報１２３として、共通の結合パラメータサブストリーム１２２に含まれるオブジェクト数（ＮＢ）及び開始オブジェクトインデックス（ＮＡ＋１）を、結合パラメータサブストリーム１２２とともに、サイト３０１Ｂへ送信する。
図２１は、本発明の実施の形態２に係るサイトが備えるパラメトリック復号装置２００Ｂの構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、重複する説明は省略する。図２１に示す復号装置２００Ｂは、図２に示す復号装置２００の構成に加え、さらに、パラメータ変換部２０５を備える。
この復号装置２００Ｂは、補助情報１２３を用いて、単一の結合ビットストリーム１２４の信号成分のうち、当該復号装置２００Ｂを備えるサイト３０１により送信された符号化ビットストリーム１１６に対応する信号成分を除去した複数のオーディオ出力信号２１６を生成する。
具体的には、パラメータ変換部２０５は、後続のパラメトリック復号化のために、任意に設計されたＮｓｐｅａｋｅｒ×Ｎｔｏｔａｌ（Ｎｓｐｅａｋｅｒはサイト３０１Ｂにおけるスピーカの数を表す）サイズの描画マトリックスのうち、補助情報１２３を用いてコラムＮＡ＋１からコラムＮＡ＋ＮＢまでのマトリックス要素をゼロに設定する。このことは、ＮＡ＋１からＮＡ＋ＮＢの全オブジェクトのゲインがＮｓｐｅａｋｅｒ個のスピーカにおいてゼロであることを意味する。その結果、サイト３０１Ｂにおける干渉オブジェクトはミュートされ、他のサイトからの残りのオーディオオブジェクトが要望に応じて再生される。
以上より、本発明の実施の形態２に係るＭＣＵ３０５Ｂは、単一の結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２のみを生成することにより、演算量を低減できる。
また、本発明の実施の形態２に係るＭＣＵ３０５Ｂは、アクティブサイトごとに補助情報１２３を生成する。これにより、各サイト３０１は、単一の結合ダウンミックスサブストリーム１２１から、自サイトが送信した符号化ビットストリーム１１６の信号成分を除外できる。
（実施の形態３）
パラメータの結合にあたり、実際には、異なるサイトからのパラメータサブストリーム１１３は異なるパラメータ表現基準を有していてもよい。なぜなら、各サイト３０１は、異なるビットレートを利用可能であり、異なるオブジェクト特性が表現されているからである。本発明に係る実施の形態３に係るＭＣＵ３０５Ｃは、異なるパラメータ表現基準で表現されたパラメータの結合をサポート可能である。
なお、パラメータ表現基準とは、具体的には、パラメータタイルの分割方法（分割間隔）である。
以下では、２つのパラメータサブストリーム１１３、例えば、サイト３０１ＢからのパラメータサブストリームＰａｒａｓＢと、サイト３０１ＣからのパラメータサブストリームＰａｒａｓＣとがＭＣＵ３０５に入力される例を説明する。ここで、パラメータサブストリームＰａｒａｓＢは、Ｎ１個のオブジェクトに対し、合計で（Ｐ１×Ｑ１）個のパラメータタイルで表され、パラメータサブストリームＰａｒａｓＣは、Ｎ２個のオブジェクトに対し、合計で（Ｐ２×Ｑ２）個のパラメータタイルで表されるとする。
ここで一般的には、下記（式１３）が成り立つ。
Figure 0005377505
なぜなら、２つの独立した符号化サイトにおいては、信号特性及び利用可能なビットレートが異なるからである。ここでは、図２２Ａ及び図２２Ｂに示すように、普遍性を失うことなく、下記（式１４）が成り立つと仮定する。
Figure 0005377505
図２３は、本発明の実施の形態３に係るＭＣＵ３０５Ｃの構成を示すブロック図である。なお、図８と同様の要素には同一の符号を付しており、重複する説明は省略する。
図２３に示すＭＣＵ３０５Ｃは、パラメータサブストリーム結合部５０６Ｃの構成が、図８に示すパラメータサブストリーム結合部５０６と異なる。
図２４は、本発明の実施の形態３に係るパラメータサブストリーム結合部５０６Ｃの構成を示すブロック図である。なお、図１１と同様の要素には同一の符号を付しており、重複する説明は省略する。また、図２４では、上記パラメータサブストリームＰａｒａｓＢとＰａｒａｓＣとを結合する場合を示している。
図２４に示すパラメータサブストリーム結合部５０６Ｃは、図１１に示す構成に加え、さらに、パラメータ基準統一部７５４を備える。
このパラメータ基準統一部７５４は、複数のパラメータサブストリーム１１３が、異なるパラメータ表現基準で表現されている場合、複数のパラメータ７６１のパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータ７６２を生成する。
パラメータ結合部７５５は、全統一パラメータ７６２を結合することにより結合パラメータ７６３を生成する。
本発明において、そのようなハイブリッドパラメータ表現基準を持つストリームの結合プロセスは、次に述べる２原則に従って設計される。
（１）過渡的なふるまいを可能な限り捉えること。
（２）ダウンミックス信号の品質を劣化させないために、結合パラメータサブストリーム１２２のビット消費を妥当な値に保つこと。
第２原則を利用するためには、パラメータサブストリーム１１３のビット消費の概算値を導き出す必要がある。Ｎ１個のオブジェクトに対するパラメータ表現を含むＰａｒａｓＢの例を検討する。この場合、ＯＬＤが（Ｎ１×Ｐ１×Ｑ１）個、ＮＲＧが（Ｐ１×Ｑ１）個、ＩＯＣが（Ｎ１×（Ｎ１−１）×Ｐ１×Ｑ１／２）個、ＤＭＧが（Ｎ１×Ｐ１×Ｑ１）個ある。パラメータタイプにかかわらず、同一のビットコストが当該パラメータに適用されるとする。結果的には、ヘッダ情報を無視することにより、ＰａｒａｓＢの総ビット消費ｂｉｔ＿ｃｏｕｎｔ１を下記（式１５）のように近似することができる。
Figure 0005377505
ゆえに、ハイブリッドパラメータ表現基準に対し、総ビット消費ｂｉｔ＿ｃｏｕｎｔｏｒｉｇは、下記（式１６）で表される。
Figure 0005377505
同様の方法で、以下のような異なる構成で表現される全パラメータに対し、考えうる３つのビットコストが下記（式１７）〜（式１９）を用いて算出される。
（１）最大ビット消費（精細なパラメータ表現基準）
Figure 0005377505
（２）中程度のビット消費（パラメータセットを細分割する場合のみのパラメータ表現基準）
Figure 0005377505
（３）最小ビット消費（粗いパラメータ表現基準）
Figure 0005377505
上記に基づいて異なるパラメータ表現基準を統一するために、パラメータ表現基準間に知能スイッチを備える３つの統一方法を提案する。
第１の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち精細なパラメータバンドＱ１と、パラメータセットＰ１及びＰ２のうち精細なパラメータセットＰ２とを有する精細なパラメータ表現基準を採用することができる。
この例では、図２５Ａに示されるとおり、パラメータ基準統一部７５４は、（Ｐ２×Ｑ１）個のタイルを用いる精細な基準を統一基準として採用する。
第２の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち粗いパラメータバンドＱ２と、パラメータセットＰ１及びＰ２のうち精細なパラメータセットＰ２を有する中程度のパラメータ表現基準を採用することができる。
この例では、図２５Ｂに示されるとおり、パラメータ基準統一部７５４は、（Ｐ２×Ｑ２）個のタイルを用いる中程度の基準を統一基準として採用する。
第３の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち粗いパラメータバンドＱ２と、パラメータセットＰ１及びＰ２のうち粗いパラメータセットＰ１を有する粗いパラメータ表現基準を採用することができる。
この例では、図２５Ｃに示されるとおり、パラメータ基準統一部７５４は、（Ｐ１×Ｑ２）個のタイルを用いる粗い基準を統一基準として採用する。
当然のことながら、パラメータ基準統一部７５４は、統一後のものと異なる基準のパラメータの全てを、統一後の基準に相当するまで拡大又は縮小する必要がある。
パラメータ基準統一部７５４は、パラメータを拡大する場合、パラメータ表現基準を、古い大きなパラメータタイル基準から新しい小さなタイル基準へと、つまり、図２６Ａから図２６Ｂへと精細化する。古いタイル（ｌ，ｍ）が（ｌ’，ｍ’）から（ｌ’＋Δｌ，ｍ’＋Δｍ）の新しい小さいタイルをカバーする場合、古いタイルに定義されたパラメータは、新しいタイルへ複製される。例えば、パラメータ基準統一部７５４は、下記（式２０）を用いて新しいＯＬＤを算出する。
Figure 0005377505
ここで、ｉはオブジェクトインデックスである。
また、ＩＯＣ、ＮＲＧ及びＤＭＧ等、他のパラメータタイプを有するパラメータも同様に精細化することができる。
一方、パラメータを縮小するには、パラメータ表現基準を、複数の古い小さなタイルから１つの新しい大きなタイルへ、つまり図２６Ｂから図２６Ａへ平均化する。この場合、異なるパラメータタイプは異なる平均化方法で平均化される。
例えば、パラメータ基準統一部７５４は、タイル（ｌ，ｍ）上の新しいＮＲＧパラメータを、下記（式２１）を用いて算出できる。
Figure 0005377505
これに基づき、パラメータ基準統一部７５４は、新しいＯＬＤパラメータを、下記（式２２）を用いて算出できる。
Figure 0005377505
また、パラメータ基準統一部７５４は、新しいＩＯＣパラメータを、下記（式２３）を用いて算出できる。
Figure 0005377505
また、パラメータ基準統一部７５４は、新しいＤＭＧパラメータを、下記（式２４）及び（式２５）のいずれかを用いて算出できる。
Figure 0005377505
あるいは、加重平均を用いる場合は、パラメータ基準統一部７５４は、下記（式２５）を用いて新しいＤＭＧパラメータを算出できる。
Figure 0005377505
ここで、Ｓ（ｕ，ｖ）は、タイル（ｕ，ｖ）の領域を表す。
以上により、本発明の実施の形態３に係るＭＣＵ３０５Ｃは、異なる基準で表現されたパラメータを結合できる。
（実施の形態４）
本発明の実施の形態４では、実施の形態３に係るＭＣＵ３０５Ｃの変形例について説明する。本発明の実施の形態４に係るＭＣＵ３０５Ｄは、統一されたパラメータ表現基準を相互作用的に切り替える能力を有する。
図２７は、本発明の実施の形態４に係るＭＣＵ３０５Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同一の符号を付しており、重複する説明は省略する。
図２７に示すＭＣＵ３０５Ｄは、図２３の構成に加え、さらに、パラメータ基準選択部５０２を備える。また、パラメータサブストリーム結合部５０６Ｄの構成が、図２３に示すパラメータサブストリーム結合部５０６Ｃと異なる。
パラメータ基準選択部５０２は、複数のパラメータ表現基準のうち一つを選択し、選択したパラメータ表現基準を示す選択信号５１１をパラメータサブストリーム結合部５０６へ出力する。例えば、パラメータ基準選択部５０２は、図２５Ａ〜図２５Ｃに示す３つのパラメータ表現基準（詳細なパラメータ表現基準、中程度のパラメータ表現基準及び粗いパラメータ表現基準）のうち一つを選択する。
具体的には、パラメータ基準選択部５０２は、基準切り替えのメカニズムを、例えば、ＭＣＵ３０５Ｄから複数のサイト３０１への送信に用いることができる現在のビットレート５１０、又は対応する結合パラメータサブストリーム１２２のビットコストに応じて決定することができる。これは、以下にあげる３つのステップを通して実現可能である。
（１）まず、ＭＣＵ３０５Ｄが結合ストリームを受信サイトに配信する際、高いビットレートを利用可能な場合、又は最大ビット消費が妥当である場合は、パラメータ基準選択部５０２は、詳細なパラメータ表現基準を選択する。これは、下記（式２６）のように表される。
Figure 0005377505
ここで、ｂｒは実際のＭＣＵ配信ビットレートを表し、ｂ０は結合ストリーム配信のために予め定義された高いビットレートを表し、ｂ１は予め定義された低いビットレート値を表し、ｃは予め定義された閾値、例えば、１．５〜２．０の間の実数を表す。
（２）上記条件が満たされなかった場合には、パラメータ基準選択部５０２は、ＭＣＵ配信のために認められたビットレート条件が厳しすぎるかどうか、又は、中程度のビット消費が妥当かどうかをテストする。すなわち、パラメータ基準選択部５０２は、下記（式２７）が満たされるか否かを判定する。
Figure 0005377505
上記に当てはまる場合、パラメータ基準選択部５０２は、中程度のパラメータ表現基準を選択する。
（３）上記条件のいずれも満たさない場合は、統一パラメータ表現基準は、パラメータ基準選択部５０２は、粗いパラメータ表現基準を選択する。
なお、パラメータ基準選択部５０２は、ビットレート及びビットコストの両方に基づき、パラメータ表現基準を選択してもよいし、ビットレート及びビットコストの一方のみに基づき、パラメータ表現基準を選択してもよい。
図２８は、パラメータサブストリーム結合部５０６Ｄの構成を示す図である。なお、図２４と同様の要素には同一の符号を付しており、重複する説明は省略する。また、４つのサイトを接続する遠隔会議システムにおいて、アクティブサイトがサイト３０１Ａ、３０１Ｂ及び３０１Ｄの３つであるとする。また、図２８は、サイト３０１Ａへ送信する一つの結合パラメータサブストリーム１２２を生成する構成のみを示している。
図２８に示すパラメータサブストリーム結合部５０６Ｄでは、パラメータ基準統一部７５４Ｄの構成が、図２４に示すパラメータ基準統一部７５４と異なる。
パラメータ基準統一部７５４Ｄは、選択信号５１１で示されるパラメータ表現基準に、複数のパラメータ７６１を変換することにより統一パラメータ７６２を生成する。
以上より、本発明の実施の形態４に係るＭＣＵ３０５Ｄは、ビットレート又はビットコストを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリーム１１３を効率的に統合できる。
以上、本発明の実施の形態に係る結合装置及び遠隔通信システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
例えば、上記実施の形態１〜４では、ダウンミックスサブストリーム結合部５０４又は５０４Ｂが、複数のダウンミックスサブストリーム１１５をＭＤＣＴドメイン（スペクトルドメイン）において結合する例を述べたが、図４に示す従来例のように、複数のダウンミックスサブストリーム１１５を時間ドメインで結合してもよい。
また、上記実施の形態１〜４に係る結合装置、符号化装置及び復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本発明の実施の形態１〜４に係る、結合装置、符号化装置及び復号装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施の形態１〜４に係る、遠隔通信システム、結合装置、符号化装置、復号装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、上記の結合装置による結合方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る結合装置による結合方法は、上記に限定されるものではない。例えば、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
本発明は、結合装置に適用できる。また、本発明は、当該結合装置を用いる遠隔会議システムに適用できる。
１００ 符号化装置
１０１、２０２ Ｔ−Ｆ変換部
１０２ アナライザ
１０２Ａ ダウンミックス部
１０２Ｂ パラメータ抽出部
１０３、２０４ Ｆ−Ｔ変換部
１０４ ダウンミックスエンコーダ
１１０ オーディオ入力信号
１１１ 周波数信号
１１２ 中間ダウンミックス信号
１１３、ＰａｒａｓＡ、ＰａｒａｓＢ、ＰａｒａｓＣ、ＰａｒａｓＤ パラメータサブストリーム
１１４ ダウンミックス時間信号
１１５、ＤｍｘＡ、ＤｍｘＢ、ＤｍｘＣ、ＤｍｘＤ ダウンミックスサブストリーム
１１６ 符号化ビットストリーム
１２１、ＤｍｘＡＢＣ、ＤｍｘＡＢＤ、ＤｍｘＡＣＤ、ＤｍｘＢＣＤ、ＤｍｘＡＢ、ＤｍｘＡＣ、ＤｍｘＢＣ 結合ダウンミックスサブストリーム
１２２、ＰａｒａｓＡＢＣ、ＰａｒａｓＡＢＤ、ＰａｒａｓＡＣＤ、ＰａｒａｓＢＣＤ、ＰａｒａｓＡＢ、ＰａｒａｓＡＣ、ＰａｒａｓＢＣ 結合パラメータサブストリーム
１２３、１２３Ａ、１２３Ｂ、１２３Ｄ 補助情報
１２４ 結合ビットストリーム
２００、２００Ｂ 復号装置
２０１ ダウンミックスデコーダ
２０３ パラメータ合成部
２０５ パラメータ変換部
２１３ 時間信号
２１４ 周波数信号
２１５ 変換信号
２１６ オーディオ出力信号
３００、３００Ａ、３００Ｂ 遠隔通信システム
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ、３０１Ｄ サイト
３０５、３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ ＭＣＵ
４０１、４０２、４０３ パラメトリックデコーダ
４０４、７０４ 加算部
４０５ パラメトリックエンコーダ
４１１Ｂ、４１１Ｃ、４１１Ｄ 復号信号
４１２ 加算信号
５０１ 検出部
５０２ パラメータ基準選択部
５０４、５０４Ｂ ダウンミックスサブストリーム結合部
５０６、５０６Ｂ、５０６Ｃ、５０６Ｄ パラメータサブストリーム結合部
５０７ 補助情報生成部
５０８ 送信部
５１０ ビットレート
５１１ 選択信号
６０１ ＭＤＣＴ変換部
６０２ 符号化部
６０３ 制御部
６１１、７１０、ｃｏｅｆＢ、ｃｏｅｆＣ、ｃｏｅｆＤ ＭＤＣＴ係数セット
７００ 復号部
７０１、７０２、７０３ 逆符号化部
７０５ スケーリング部
７０６ 符号化部
７１１、７１２、ｃｏｅｆＢＣＤ 結合ＭＤＣＴ係数セット
７５０ 逆量子化部
７５４、７５４Ｄ パラメータ基準統一部
７５５ パラメータ結合部
７５６ パラメータ更新部
７５７ 量子化部
７６１ パラメータ
７６２ 統一パラメータ
７６３、７６４ 結合パラメータ
７６５ 更新パラメータ

Claims (19)

  1. 複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合装置であって、
    前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、
    複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、
    複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、
    前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備え、
    前記第２結合部は、
    前記複数のパラメータサブストリームが、周波数区分が異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、周波数区分が同じである単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、
    前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成する
    結合装置。
  2. 前記第１結合部は、
    前記複数のダウンミックスサブストリームのうち、前記アクティブ符号化ビットストリームに含まれる前記ダウンミックスサブストリームのみを復号することにより複数の復号ダウンミックスサブストリームを生成する復号部と、
    前記複数の復号ダウンミックスサブストリームを加算することにより１以上の中間結合ダウンミックスサブストリームを生成する加算部と、
    前記１以上の中間結合ダウンミックスサブストリームを符号化することにより１以上の前記結合ダウンミックスサブストリームを生成する符号化部とを備える
    請求項１記載の結合装置。
  3. 前記第１結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のダウンミックスサブストリームのうち、当該サイト以外のサイトから送信された複数のダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合ダウンミックスサブストリームを生成し、
    前記第２結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のパラメータサブストリームのうち、当該サイト以外のサイトから送信された複数のパラメータダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合パラメータサブストリームを生成し、
    前記送信部は、前記結合ダウンミックスサブストリーム及び前記結合パラメータサブストリームを含む結合ビットストリームを、対応するサイトへ送信し、
    前記複数の符号化ビットストリームのうち、前記アクティブ符号化ビットストリーム以外の符号化ビットストリームである非アクティブ符号化ビットストリームの数が２以上の場合、
    （１）前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリームを結合することにより共通結合ダウンミックスサブストリームを生成し、
    （２）前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリームを結合することにより共通結合パラメータサブストリームを生成し、
    （３）前記送信部は、前記共通結合ダウンミックスサブストリーム及び前記共通結合パラメータサブストリームを含む共通結合ビットストリームを、前記２以上の非アクティブ符号化ビットストリームの送信元のサイトへ送信する
    請求項１又は２記載の結合装置。
  4. 前記アクティブ符号化ビットストリームの数が２の場合、前記送信部は、前記２個のアクティブ符号化ビットストリームの一方である第１符号化ビットストリームをそのまま、前記２個のアクティブ符号化ビットストリームの他方である第２符号化ビットストリームの送信元のサイトへ送信し、前記第２符号化ビットストリームをそのまま前記第１符号化ビットストリームの送信元のサイトへ送信する
    請求項１〜３のいずれか１項に記載の結合装置。
  5. 前記アクティブ符号化ビットストリームの数が１の場合、前記送信部は、前記アクティブ符号化ビットストリームをそのまま、当該アクティブ符号化ビットストリームの送信元のサイト以外のサイトへ送信する
    請求項１〜４のいずれか１項に記載の結合装置。
  6. 前記検出部は、前記複数のパラメータサブストリームに含まれる情報を用いて、前記アクティブ符号化ビットストリームを検出する
    請求項１〜５のいずれか１項に記載の結合装置。
  7. 前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームを結合することにより、単一の結合ダウンミックスサブストリームを生成し、
    前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームを結合することにより、単一の結合パラメータサブストリームを生成し、
    前記送信部は、前記単一の結合ダウンミックスサブストリーム及び前記単一の結合パラメータサブストリームとを含む単一の結合ビットストリームを、前記複数のサイトの全てへ送信する
    請求項１又は２記載の結合装置。
  8. 前記結合装置は、さらに、
    前記アクティブ符号化ビットストリームの送信元であるアクティブサイトの各々に対して、前記単一の結合ビットストリームの信号成分のうち、当該アクティブサイトにより送信された前記符号化ビットストリームに対応する信号成分を特定するための補助情報を生成する補助情報生成部を備え、
    前記送信部は、複数の前記補助情報の各々を、対応するアクティブサイトへ送信する
    請求項７記載の結合装置。
  9. 前記補助情報生成部は、前記アクティブサイトの各々に対して、前記単一の結合パラメータサブストリームに含まれるパラメータのうち、当該アクティブサイトにより送信された前記パラメータサブストリームに対応するパラメータを特定するための前記補助情報を生成する
    請求項８記載の結合装置。
  10. 前記結合装置は、さらに、
    当該結合装置から前記複数のサイトへの送信に用いることができる現在のビットレートに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備える
    請求項１記載の結合装置。
  11. 前記結合装置は、さらに、
    前記結合パラメータサブストリームのビット数を示すビットコストに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備える
    請求項１記載の結合装置。
  12. 前記ダウンミックスサブストリームは、前記複数のオーディオ入力信号がダウンミックスされた後、スペクトルドメインに変換されたうえで、符号化されており、
    前記復号部は、前記ダウンミックスサブストリームを復号することにより、前記スペクトルドメインの前記復号ダウンミックスサブストリームを生成し、
    前記加算部は、前記スペクトルドメインの前記複数の復号ダウンミックスサブストリームを加算することにより前記１以上の中間結合ダウンミックスサブストリームを生成する
    請求項２記載の結合装置。
  13. 前記第１結合部は、さらに、
    前記複数の復号ダウンミックスサブストリームのスペクトルパワーが前記中間結合ダウンミックスサブストリームにおいて保存されるように、前記中間結合ダウンミックスサブストリームをスケーリングするスケーリング部を備え、
    前記符号化部は、前記スケーリング部によりスケーリングされた前記中間結合ダウンミックスサブストリームを符号化することにより前記結合ダウンミックスサブストリームを生成する
    請求項１２記載の結合装置。
  14. 前記第２結合部は、
    複数のパラメータサブストリームを逆量子化することにより複数の逆量子化パラメータを生成する逆量子化部と、
    前記逆量子化パラメータを結合することにより結合パラメータを生成するパラメータ結合部と、
    前記結合パラメータに含まれるパラメータのうち一部のパラメータを更新することにより更新パラメータを生成するパラメータ更新部と、
    前記結合パラメータに含まれるパラメータのうち前記一部以外のパラメータと、前記更新パラメータとを量子化することにより、前記結合パラメータサブストリームを生成する量子化部とを備える
    請求項１２記載の結合装置。
  15. 複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、
    前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する請求項１記載の結合装置とを含み、
    前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含む
    遠隔通信システム。
  16. 複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、
    前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する請求項８記載の結合装置とを含み、
    前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含み、
    前記復号装置は、前記補助情報を用いて、前記単一の結合ビットストリームの信号成分のうち、当該復号装置を備えるサイトにより送信された前記符号化ビットストリームに対応する信号成分を除去した前記オーディオ出力信号を生成する
    遠隔通信システム。
  17. 複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合方法であって、
    前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出ステップと、
    複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合ステップと、
    複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合ステップと、
    前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信ステップとを含み、
    前記第２結合ステップは、
    前記複数のパラメータサブストリームが、周波数区分が異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、周波数区分が同じである単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一ステップを含み、
    前記第２結合ステップでは、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成する
    結合方法。
  18. 請求項１７記載の結合方法をコンピュータに実行させる
    プログラム。
  19. 複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する集積回路であって、
    前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、
    複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、
    複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、
    前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備え、
    前記第２結合部は、
    前記複数のパラメータサブストリームが、周波数区分が異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、周波数区分が同じである単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、
    前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成する
    集積回路。
JP2010532766A 2009-02-04 2010-02-04 結合装置、遠隔通信システム及び結合方法 Expired - Fee Related JP5377505B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010532766A JP5377505B2 (ja) 2009-02-04 2010-02-04 結合装置、遠隔通信システム及び結合方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009024304 2009-02-04
JP2009024304 2009-02-04
PCT/JP2010/000666 WO2010090019A1 (ja) 2009-02-04 2010-02-04 結合装置、遠隔通信システム及び結合方法
JP2010532766A JP5377505B2 (ja) 2009-02-04 2010-02-04 結合装置、遠隔通信システム及び結合方法

Publications (2)

Publication Number Publication Date
JPWO2010090019A1 JPWO2010090019A1 (ja) 2012-08-09
JP5377505B2 true JP5377505B2 (ja) 2013-12-25

Family

ID=42541928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010532766A Expired - Fee Related JP5377505B2 (ja) 2009-02-04 2010-02-04 結合装置、遠隔通信システム及び結合方法

Country Status (4)

Country Link
US (1) US8504184B2 (ja)
JP (1) JP5377505B2 (ja)
CN (1) CN102016982B (ja)
WO (1) WO2010090019A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101040086B1 (ko) * 2009-05-20 2011-06-09 전자부품연구원 오디오 생성방법, 오디오 생성장치, 오디오 재생방법 및 오디오 재생장치
CN102844808B (zh) * 2010-11-03 2016-01-13 华为技术有限公司 用于编码多通道音频信号的参数编码器
EP2870603B1 (en) * 2012-07-09 2020-09-30 Koninklijke Philips N.V. Encoding and decoding of audio signals
AU2013298462B2 (en) * 2012-08-03 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
KR102033985B1 (ko) 2012-08-10 2019-10-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적 오디오 객체 코딩에 오디오 정보를 적응시키기 위한 장치 및 방법
US20160049914A1 (en) * 2013-03-21 2016-02-18 Intellectual Discovery Co., Ltd. Audio signal size control method and device
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
CN106716525B (zh) * 2014-09-25 2020-10-23 杜比实验室特许公司 下混音频信号中的声音对象插入
CA3134343A1 (en) * 2017-10-04 2019-04-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000174909A (ja) * 1998-12-08 2000-06-23 Nec Corp 会議端末制御装置
WO2008026754A1 (fr) * 2006-08-30 2008-03-06 Nec Corporation Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme
WO2008039039A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
WO2009001887A1 (ja) * 2007-06-27 2008-12-31 Nec Corporation 多地点接続装置、信号分析及び装置と、その方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
US6934906B1 (en) * 1999-07-08 2005-08-23 At&T Corp. Methods and apparatus for integrating external applications into an MPEG-4 scene
US7505889B2 (en) * 2002-02-25 2009-03-17 Zoran Corporation Transcoding media system
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
FR2859495B1 (fr) * 2003-09-09 2005-10-07 Technip France Methode d'installation et de connexion d'une conduite sous-marine montante
US20060156531A1 (en) * 2005-01-14 2006-07-20 Dwileski Mark D Jr Pipe aligning device and method of use thereof
US9626973B2 (en) 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
JP4809370B2 (ja) * 2005-02-23 2011-11-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） マルチチャネル音声符号化における適応ビット割り当て
JP4936688B2 (ja) 2005-07-19 2012-05-23 パナソニック株式会社 中継装置、通信端末装置、信号復号化装置、信号処理方法、および信号処理プログラム
JP4644813B2 (ja) 2006-02-27 2011-03-09 国立大学法人東京農工大学 多者間通話システム、多者間通話システムにおける通話端末および通話サーバ、多者間通話方法
ES2396072T3 (es) * 2006-07-07 2013-02-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para combinar múltiples fuentes de audio paramétricamente codificadas
EP2084901B1 (en) 2006-10-12 2015-12-09 LG Electronics Inc. Apparatus for processing a mix signal and method thereof
ATE539434T1 (de) * 2006-10-16 2012-01-15 Fraunhofer Ges Forschung Vorrichtung und verfahren für mehrkanalparameterumwandlung
KR101049143B1 (ko) * 2007-02-14 2011-07-15 엘지전자 주식회사 오브젝트 기반의 오디오 신호의 부호화/복호화 장치 및 방법
CN103299363B (zh) * 2007-06-08 2015-07-08 Lg电子株式会社 用于处理音频信号的方法和装置
US20110112843A1 (en) * 2008-07-11 2011-05-12 Nec Corporation Signal analyzing device, signal control device, and method and program therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000174909A (ja) * 1998-12-08 2000-06-23 Nec Corp 会議端末制御装置
WO2008026754A1 (fr) * 2006-08-30 2008-03-06 Nec Corporation Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme
WO2008039039A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
WO2009001887A1 (ja) * 2007-06-27 2008-12-31 Nec Corporation 多地点接続装置、信号分析及び装置と、その方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013009775; Ｋｕｎｄａｎ　Ｓｉｎｇｈ　ｅｔ　ａｌ．: '"Ｃｅｎｔｒａｌｉｚｅｄ　Ｃｏｎｆｅｒｅｎｃｉｎｇ　ｕｓｉｎｇ　ＳＩＰ"' Ｐｒｏｃ．　ｏｆ　ｔｈｅ　２ｎｄ　ＩＰ-Ｔｅｌｅｐｈｏｎｙ　Ｗｏｒｋｓｈｏｐ　（ＩＰＴｅｌ'２００１） , 200104 *

Also Published As

Publication number Publication date
US8504184B2 (en) 2013-08-06
CN102016982A (zh) 2011-04-13
US20110029113A1 (en) 2011-02-03
JPWO2010090019A1 (ja) 2012-08-09
WO2010090019A1 (ja) 2010-08-12
CN102016982B (zh) 2014-08-27

Similar Documents

Publication Publication Date Title
JP5377505B2 (ja) 結合装置、遠隔通信システム及び結合方法
KR102230727B1 (ko) 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
EP2483887B1 (en) Mpeg-saoc audio signal decoder, method for providing an upmix signal representation using mpeg-saoc decoding and computer program using a time/frequency-dependent common inter-object-correlation parameter value
CA2645912C (en) Methods and apparatuses for encoding and decoding object-based audio signals
JP5302980B2 (ja) 複数の入力データストリームのミキシングのための装置
Herre et al. MPEG surround-the ISO/MPEG standard for efficient and compatible multichannel audio coding
AU2005328264B2 (en) Near-transparent or transparent multi-channel encoder/decoder scheme
RU2406166C2 (ru) Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов
JP5243527B2 (ja) 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム
JP2013083986A (ja) 符号化装置
US8930197B2 (en) Apparatus and method for encoding and reproduction of speech and audio signals
EP3424048A1 (en) Audio signal encoder, audio signal decoder, method for encoding and method for decoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130924

R150 Certificate of patent or registration of utility model

Ref document number: 5377505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees