JP6600004B2 - マルチチャンネル信号を符号化又は復号化するための装置と方法 - Google Patents

マルチチャンネル信号を符号化又は復号化するための装置と方法 Download PDF

Info

Publication number
JP6600004B2
JP6600004B2 JP2017548015A JP2017548015A JP6600004B2 JP 6600004 B2 JP6600004 B2 JP 6600004B2 JP 2017548015 A JP2017548015 A JP 2017548015A JP 2017548015 A JP2017548015 A JP 2017548015A JP 6600004 B2 JP6600004 B2 JP 6600004B2
Authority
JP
Japan
Prior art keywords
channel
mch
channels
processor
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017548015A
Other languages
English (en)
Other versions
JP2018513402A5 (ja
JP2018513402A (ja
Inventor
サッシャ ディック
フローリアン シュウ
ニコラウス レッテルバッハ
トビアス シュヴェーグラー
リヒャルト フューク
ジョーハン ヒルペアト
マティアス ノイズィンガー
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2018513402A publication Critical patent/JP2018513402A/ja
Publication of JP2018513402A5 publication Critical patent/JP2018513402A5/ja
Application granted granted Critical
Publication of JP6600004B2 publication Critical patent/JP6600004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Error Detection And Correction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、オーディオコーディング/復号化に関し、特にチャンネル間信号の依存性を利用するオーディオコーディングに関する。
オーディオコーディングは、オーディオ信号において、余剰のもの及び不要なものの利用を解決する圧縮領域である。MPEG USAC[ISO/IEC 23003:2012 情報技術 MPEGオーディオ技術 パート3:統合した音声符号化とオーディオコーディング]において、2つのチャンネルのジョイントステレオ符号化は、MPS 2−1−2、又は帯域制限若しくは全帯域残差信号を伴う統合ステレオのような複雑な予測を使用して行われる。MPEG環境[ISO/IEC 23003−1:2007 情報技術 MPEGオーディオ技術 パート1:MPEG環境]は、残差信号の送信を有する/有しないマルチチャンネルオーディオのジョイントコーディングのために、OTTとTTTボックスとを段階的に結合する。MPEG−Hクワッドチャンネル要素は、固定された4×4リミックスツリーを構築する複雑な予測/MSステレオボックスによって、後に続くMPS 2−1−2ステレオボックスを段階的に適用する。AC4[ETSI TS 103 190 V1.1.1(2014−04)デジタルオーディオ圧縮(AC−4)標準]は、送信された混合行列や後のジョイントステレオ符号化情報を介して送信されたチャンネルをリミックスすることを許容する新しい3、4、5のチャンネル要素を取り入れる。さらに、以前の発表は、強化されたマルチチャンネルオーディオコーディングのために、カルーネン・レーベ変換(KLT)のような直交変換を使用することを提案する。[Yang, Dai and Ai, Hongmei and Kyriakakis, Chris and Kuo, C.-C. Jay, 2001: Adaptive Karhunen-Loeve Transform for Enhanced Multichannel Audio Coding, http://ict.usc.edu/pubs/Adaptive%20Karhunen-Loeve%20Transform%20for%20Enhanced %20Multichannel%20Audio%20Coding.pdf]
3Dオーディオの環境で、ラウドスピーカーチャンネルは、水平及び垂直のチャンネル対の結果となるいくつかの高い層によって分配される。USACにおいて定義づけられるように、2つのチャンネルだけのジョイントコーディングは、チャンネル間の空間的及び知覚的な関係を考慮するのに十分ではない。MPEG環境は、追加の前/後処理ステップで適用され、残りの信号は、例えば、右と左の間の垂直の残りの信号との間の依存性を利用するために、ジョイントステレオ符号化の可能性なしに個々に送信される。AC−4において、専用のNチャンネル要素は、ジョイントコーディングパラメータの効果的な符号化を許容するが、新しい没入型再生シナリオ(7.1+4、22.2)で提案されているように、より多くのチャンネルを持つ一般的なスピーカーの設定は失敗するように導入されている。MPEG−Hクワッドチャンネル要素は、4チャンネルのみに制限され、任意のチャンネルに動的に適用することはできず、チャンネル数をあらかじめ構成し、固定される。
本発明の目的は、改良された符号化/復号化の概念を提供することである。
この目的は、請求項1による少なくとも3つのチャンネル有するマルチチャンネル信号を符号化するための装置、請求項12による符号化されたチャンネルと、少なくとも第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネルを復号化するための装置、請求項21による少なくとも3つのチャンネルを有するマルチチャンネル信号を符号化するための方法、請求項22によって符号化されたチャンネルと、少なくとも第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を復号化するための方法、又は請求項23によるコンピュータプログラムによって達成される。
実施の形態は、少なくとも3つのチャンネルを有するマルチチャンネル信号を符号化するための装置を備える。その装置は、反復プロセッサーと、チャンネルエンコーダーと、出力インターフェースとを備える。反復プロセッサーは、第1反復ステップにおいて、最高値又は閾値より上の値を有する組を選択するため、及び、マルチチャンネル処理操作を使用して選択された組を処理して、選択された組のための第1マルチチャンネルパラメータ(MCH_PAR1)を導出する、及び第1の処理されたチャンネルを導出するために、第1反復ステップにおいて、少なくとも3つのチャンネルのそれぞれの組の間のチャンネル間相関値を計算するよう構成される。さらに、反復プロセッサーは、第2反復ステップにおいて、処理されたチャンネルの少なくとも1つを使用して、計算、選択、処理を実行して、第2マルチチャンネルパラメータと第2の処理されたチャンネルとを導出するよう構成される。チャンネルエンコーダーは、反復プロセッサーによって実行される反復処理から生じたチャンネルを符号化して符号化されたチャンネルを得るよう構成される。出力インターフェースは、符号化されたチャンネルと、第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を生成するよう構成される。
別の実施の形態は、符号化されたマルチチャンネル信号を復号化するための装置を備え、符号化されたマルチチャンネル信号は、符号化されたチャンネルと、第1及び第2マルチチャンネルパラメータとを有する。装置は、チャンネルデコーダーとマルチチャンネルプロセッサーとを備える。チャンネルデコーダーは、符号化されたチャンネルを復号化して、復号化されたチャンネルを得るよう構成される。マルチチャンネルプロセッサーは、第2マルチチャンネルパラメータによって識別された復号化されたチャンネルの第2の組を使用して、及び第2マルチチャンネルパラメータを使用してマルチチャンネル処理を実行して、処理されたチャンネルを得るように構成され、第1マルチチャンネルパラメータによって識別されたチャンネルの第1の組を使用して、及び第1マルチチャンネルパラメータを使用して、別のマルチチャンネル処理を実行するよう構成され、チャンネルの第1の組は、少なくとも1つの処理されたチャンネルを備える。
固定された信号経路(例えば、ステレオコーディングツリー)を使用する一般的なマルチチャンネル符号化概念とは対照的に、本発明の実施の形態は、マルチチャンネル入力信号の少なくとも3つの入力チャンネルの特徴に適合する動的信号経路を使用する。詳細には、反復プロセッサー102は、第1反復ステップにおいて、最高値又は閾値より上の値を有する組を選択するために、少なくとも3つのチャンネルCH1からCH3のそれぞれの組の間のチャンネル間相関値に基づいて、及び、第2反復ステップにおいて、最高値又は閾値より上の値を有する組を選択するために、少なくとも3つのチャンネルのそれぞれの組と、対応する以前に処理されたチャンネルの間のチャンネル間相関値に基づいて、信号経路(例えば、ステレオツリー)を構築するように適合しうる。
別の実施の形態は、少なくとも3つのチャンネルを有するマルチチャンネル信号を符号化するための方法を備える。その方法は、以下を備える。
−第1反復ステップにおいて、少なくとも3つのチャンネルのそれぞれの組の間のチャンネル間相関値を計算するステップと、第1反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するステップと、選択された組のための第1マルチチャンネルパラメータを導出するため、及び、第1の処理されたチャンネルを導出するためにマルチチャンネル処理操作を使用して選択された組を処理するステップ。
−第2マルチチャンネルパラメータと第2の処理されたチャンネルとを得るために、処理されたチャンネルの少なくとも1つを使用して、第2反復ステップにおいて、計算するステップと、選択するステップと、処理するステップとを実行するステップ。
−符号化されたチャンネルを得るために、反復プロセッサーによって実行された反復処理から生じたチャンネルを符号化するステップ。
−符号化されたチャンネルと、第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を生成するステップ。
別の実施の形態は、符号化されたチャンネルと、第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を復号化するための方法を備える。その方法は、以下を備える。
−復号化されたチャンネルを得るために、符号化されたチャンネルを復号化するステップ
−処理されたチャンネルを得るために、第2マルチチャンネルパラメータによって識別された復号化されたチャンネルの第2の組を使用して、及び第2マルチチャンネルパラメータを使用してマルチチャンネル処理を実行するステップと、第1マルチチャンネルパラメータによって識別されたチャンネルの第1の組を使用して、及び第1マルチチャンネルパラメータを使用して、別のマルチチャンネル処理を実行するステップを含み、チャンネルの第1の組は少なくとも1つの処理されたチャンネルを備える。
本発明の実施の形態は、添付している図を参照して、本願明細書に記載される。
図1は、本発明の実施の形態に従う、少なくとも3つチャンネルを有するマルチチャンネル信号を符号化するための装置の概略的なブロック図を示す。 図2は、本発明の実施の形態に従う、少なくとも3つチャンネルを有するマルチチャンネル信号を符号化するための装置の概略的なブロック図を示す。 図3は、本発明の実施の形態に従う、ステレオボックスの概略的なブロック図を示す。 図4は、本発明の実施の形態に従う、符号化されたチャンネルと、少なくとも第1及び第2マルチチャンネルパラメータを有する符号化されたマルチチャンネル信号を復号化するための装置の概略的なブロック図を示す。 図5は、本発明の実施の形態に従う、少なくとも3つのチャンネルを有するマルチチャンネル信号を符号化するための方法のフローチャートを示す。 図6は、本発明の実施の形態に従う、符号化されたチャンネルと、少なくとも第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を復号化するための方法のフローチャートを示す。
等しい若しくは等価である要素、又は等しい若しくは等価である機能を有する要素は、等しい若しくは等価の参照番号によって、後に説明される。
後の説明において、複数の詳細は、本発明の実施の形態の説明を通してより詳細に述べられている。しかしながら、当業者にとって、本発明の実施の形態は、これらの特定の詳細なしで実行しうることは明らかであろう。他の例では、本発明の実施の形態を不明瞭となることを避けるため、周知の構造や機器は、詳細よりもむしろブロック図で示す。加えて、以下に説明する異なる実施の形態の特徴は、特記しない限り、互いに組み合しうる。
図1は、少なくとも3つのチャンネルCH1からCH3を有するマルチチャンネル信号101を符号化するための装置(エンコーダー)の概略的なブロック図を示す。装置100は、反復プロセッサー102と、チャンネルエンコーダー104と、出力インターフェース106とを備える。
反復プロセッサー102は、第1反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するため、及びマルチチャンネル処理操作を使用して選択された組を処理して、選択された組のための第1マルチチャンネルパラメータMCH_PAR1を導出するために、及び第1の処理されたチャンネルP1とP2とを導出するために、第1反復ステップにおいて、少なくとも3つのチャンネルCH1からCH3のそれぞれの組の間のチャンネル間相関値を計算するよう構成される。さらに、反復プロセッサー102は、第2反復ステップにおいて、第2マルチチャンネルパラメータMCH_PAR2、及び第2の処理されたチャンネルP3とP4を得るために、少なくとも1つの処理されたチャンネルP1又はP2を使用して計算、選択、処理を実行するよう構成される。
例えば、図1に示すように、反復プロセッサー102は、第1反復ステップにおいて、
少なくとも3つのチャンネルCH1からCH3の第1の組の間のチャンネル間相関値を計算しうり、第1の組は第1チャンネルCH1と第2チャンネルCH2からなり、少なくとも3つのチャンネルCH1からCH3の第2の組の間のチャンネル間相関値を計算しうり、第2の組は第2チャンネルCH2と第3チャンネルCH3からなり、そして、少なくとも3つのチャンネルCH1からCH3の第3の組の間のチャンネル間相関値を計算しうり、第3の組は第1チャンネルCH1と第3チャンネルCH3からなる。
図1で、反復プロセッサー102は、第1反復ステップにおいて、最も高いチャンネル間相関値を有する第3の組を選択し、選択された組のための第1マルチチャンネルパラメータMCH_PAR1を導出するために、及び第1の処理されたチャンネルP1とP2を導出するために、マルチチャンネル処理操作を使用して、選択された組、すなわち、第3の組を処理するように、第1反復ステップにおいて、第1チャンネルCH1と第3チャンネルCH3とから成る第3の組は、最も高いチャンネル間相関値を備えると推測される。
さらに、第2反復ステップにおいて、最も高いチャンネル間相関値を有する又は閾値より上の値を有する組を選択するために、反復プロセッサー102は、第2反復ステップにおいて、少なくとも3つのチャンネルCH1からCH3と、処理されたチャンネルP1とP2とのそれぞれの組の間のチャンネル間相関値を計算するよう構成しうる。したがって、反復プロセッサー102は、第2反復ステップ(又は、任意の別の反復ステップ)において、第1反復ステップの選択された組を選択しないように構成しうる。
図1において示される例を参照すると、反復プロセッサー102は、第1チャンネルCH1と第1の処理されたチャンネルP1とから成る第4の組の間のチャンネル間相関値と、第1チャンネルCH1と第2の処理されたチャンネルP2とから成る第5の組の間のチャンネル間相関値と、第2チャンネルCH2と第1の処理されたチャンネルP1とから成る第6の組の間のチャンネル間相関値と、第2チャンネルCH2と第2の処理されたチャンネルP2とから成る第7の組の間のチャンネル間相関値と、第3チャンネルCH3と第1の処理されたチャンネルP1とから成る第8の組の間のチャンネル間相関値と、第3チャンネルCH3と第2の処理されたチャンネルP2とから成る第9の組の間のチャンネル間相関値と、第1の処理されたチャンネルP1と第2の処理されたチャンネルP2とから成る第10の組の間のチャンネル間相関値とを更に計算しうる。
図1で、反復プロセッサー102は、第2反復ステップにおいて、第6の組を選択し、選択された組のための第2マルチチャンネルパラメータMCH_PAR2を導出するために、及び第2の処理されたチャンネルP3とP4を導出するために、マルチチャンネル処理操作を使用して、選択された組、例えば、第6の組を処理するように、第2反復ステップにおいて、第2チャンネルCH2と第1の処理されたチャンネルP1とから成る第6の組は、最も高いチャンネル間相関値を備えると推測される。
反復プロセッサー102は、組のレベルの違いが閾値よりも小さいとき、一組だけを選択するよう構成しうり、閾値は、40dB、25dB、12dBよりも小さい、又は6dBよりも小さい。したがって、25又は40dBの閾値は、3又は0.5度の回転角度に対応する。
反復プロセッサー102は、正規化された整数相関値を計算するよう構成されうり、正規化された整数相関値が例えば0.2より大きい又は好ましくは0.3のとき、反復プロセッサー102は、一組を選択するよう構成しうる。
さらに、反復プロセッサー102は、マルチチャンネル処理から生じたチャンネルを、チャンネルエンコーダー104へ提供しうる。例えば、図1を参照すると、反復プロセッサー102は、第3の処理されたチャンネルP3と、第2反復ステップにおいて実行されたマルチチャンネル処理から生じた第4の処理されたチャンネルP4と、第1反復ステップにおいて実行されたマルチチャンネル処理から生じた第2の処理されたチャンネルP2を、チャンネルエンコーダー104へ提供しうる。したがって、反復プロセッサー102は、それらの処理されたチャンネルを、チャンネルエンコーダー104へ提供しうるだけであり、後の反復ステップにおいて(さらに)処理されない。図1で示すように、第1の処理されたチャンネルP1は、第2反復ステップにおいて、さらに処理されるので、チャンネルエンコーダー104へ提供されない。
チャンネルエンコーダー104は、符号化されたチャンネルE1からE3を得るために、反復プロセッサー102によって実行された反復処理(又はマルチチャンネル処理)から生じたチャンネルP2からP4を符号化するよう構成しうる。
例えば、チャンネルエンコーダー104は、反復処理(又はマルチチャンネル処理)から生じたチャンネルP2からP4を符号化するために、モノラルエンコーダー(又はモノラルボックス、又はモノラルツール)120_1から120_3を使用するよう構成しうる。モノラルボックスは、より少ないビットが、より大きいエネルギー(又はより大きい振幅)を有するチャンネルを符号化するためよりも、より小さいエネルギー(又はより小さい振幅)を有するチャンネルを符号化するために要求されるように、チャンネルを符号化するよう構成しうる。モノラルボックス120_1から120_3は、例えば、変換ベースのオーディオエンコーダーとすることもできる。さらに、チャンネルエンコーダー104は、反復処理(又はマルチチャンネル処理)から生じるチャンネルP2からP4を符号化するために、ステレオエンコーダー(例えば、パラメトリックステレオエンコーダー、又はロッシーステレオエンコーダー)を使用するよう構成しうる。
出力インターフェース106は、符号化されたチャンネルE1からE3と、第1及び第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2とを有するマルチチャンネル信号107を生成し、符号化するよう構成しうる。
例えば、出力インターフェース106は、シリアル信号又はシリアルビットストリームのように符号化されたマルチチャンネル信号107を生成するように構成しうり、そのため、第2マルチチャンネルパラメータMCH_PAR2は、第1マルチチャンネルパラメータMCH_PAR1の前に符号化された信号107に含まれるようにする。したがって、図4に関して後に説明する実施の形態のデコーダーは、第1マルチチャンネルパラメータMCH_PAR1の前に第2マルチチャンネルパラメータMCH_PAR2を受信するだろう。
図1において、反復プロセッサー102は、第1反復ステップにおけるマルチチャンネル処理操作と、第2反復ステップにおけるマルチチャンネル処理操作との、2つのマルチチャンネル処理操作を例示的に実行する。当然ながら、反復プロセッサー102も、後の反復処理において、別のマルチチャンネル処理操作を実行しうる。したがって、反復プロセッサー102は、反復終了基準に達するまで、反復ステップを実行するよう構成しうる。反復終了基準は、最大反復ステップ数が等しい、若しくはマルチチャンネル信号101のすべてのチャンネル数が2倍より大きい、又はチャンネル間相関値が、閾値よりも大きい値を有しないとき、閾値は好ましくは0.2よりも大きい、若しくは閾値は好ましくは0.3であるときである。別の実施の形態において、反復終了基準は、最大反復ステップ数が等しい、若しくはマルチチャンネル信号101のすべてのチャンネル総数がより多い、チャンネル間相関値が、閾値よりも大きい値を有しないとき、閾値は好ましくは0.2よりも大きいとき、若しくは閾値は好ましくは0.3である。
図示するために、第1反復ステップ及び第2反復ステップにおいて、反復プロセッサー102によって実行されるマルチチャンネル処理操作は、処理ボックス110及び112によって、図1において例示的に図示される。処理ボックス110及び112は、ハードウェア又はソフトウェアで実行されうる。処理ボックス110及び112は、例えば、ステレオボックスである。
したがって、チャンネル間信号依存性は、既知のジョイントステレオコーディングツールを階層的に適用することによって利用しうる。以前のMPEGの方法とは対照的に、処理される信号組は、固定信号経路(例えば、ステレオコーディングツリー)によって予め決定されるのではなく、入力信号特性に適応するように動的に変更しうる。実際のステレオボックスの入力は、(1)チャンネルCH1からCH3のような未処理のチャンネル、又は(2)処理された信号P1からP4のような前述のステレオボックスの出力、又は(3)未処理のチャンネル及び前述のステレオボックスの出力の結合が可能である。
ステレオボックス110及び112の内部の処理は、(USACの複合予測ボックスのような)予測ベース、又はKLT/PCAベース(入力チャンネルは、エネルギー圧縮を最大化するために、すなわち、信号エネルギーを1つのチャンネルに集中させるために、エンコーダーにおいて(例えば、2×2回転行列を介して)回転させられ、デコーダーにおいて、回転させられた信号が、元の入力信号方向に再変換されるだろう)のどちらかであるだろう。
エンコーダー100の可能な実装において、(1)エンコーダーは、すべてのチャンネルの組の間でもチャンネル間相関を計算し、入力信号から1つの適切な信号組を選択し、選択されたチャンネルにステレオツールを適用する。(2)エンコーダーは、すべてのチャンネル(処理された中間出力チャンネルと同様に未処理のチャンネルも含む)間のチャンネル間相関を再計算し、入力信号から1つの適切な信号組を選択し、選択されたチャンネルにステレオツールを適用する。そして、(3)エンコーダーは、すべてのチャンネル間相関が閾値以下になるまで、又は、もし変換の最大数が適用される場合は、ステップ(2)を繰り返す。
すでに述べたように、エンコーダー100によって処理された信号組、又はより正確な反復プロセッサー102は、固定信号経路(例えば、ステレオコーディングツリー)によって予め決定されるのではなく、入力信号特性に適応するように動的に変更しうる。したがって、エンコーダー100(又は、反復プロセッサー102)は、マルチチャンネル(入力)信号101の少なくとも3つのチャンネルCH1からCH3に応じて、ステレオツリーを構築するよう構成しうる。言い換えれば、エンコーダー100(又は、反復プロセッサー102)は、チャンネル間相関(例えば、第1反復ステップにおいて、最高値又は閾値より上の値を有する組を選択するために、第1反復ステップにおいて、少なくとも3つのチャンネルCH1からCH3のそれぞれの組の間のチャンネル間相関値を計算することによって、及び、第2反復ステップにおいて、最高値又は閾値より上の値を有する組を選択するために、第2反復ステップにおいて、少なくとも3つのチャンネルと、前に処理されたチャンネルとのそれぞれの組の間のチャンネル間相関値を計算することによって)に基づいてステレオツリーを構築するよう構成しうる。1つのステップアプローチにしたがって、おそらく処理された以前の反復において、すべてのチャンネルの相関を含むおそらく各反復について、相関行列を計算しうる。
上記で示すように、反復プロセッサー102は、第1反復ステップにおいて、選択された組のための第1マルチチャンネルパラメータMCH_PAR1を導出して、第2反復ステップにおいて、選択された組のための第2マルチチャンネルパラメータMCH_PAR2を導出するよう構成しうる。第1マルチチャンネルパラメータMCH_PAR1は、第1反復ステップにおいて選択されたチャンネルの組を識別する(又は伝える)第1チャンネル組識別(又はインデックス)を備えうり、第2マルチチャンネルパラメータMCH_PAR2は、第2反復ステップにおいて選択されたチャンネルの組を識別する(又は伝える)第2チャンネル組識別(又はインデックス)を備えうる。
以下では、入力信号の効果的なインデックス付けが規定されている。例えば、チャンネル組は、チャンネルの総数に応じて、それぞれの組に対する特有のインデックスを使用して効果的に伝えうる。例えば、6つのチャンネルに対する組のインデックス付けは以下の表において示されうる。
Figure 0006600004
例えば、上表において、インデックス5は、第1チャンネルと第2チャンネルとからなる組を伝えうる。同様に、インデックス6は、第1チャンネルと第3チャンネルとからなる組を伝えうる。
n個のチャンネルに対する可能なチャンネル組のインデックスの総数は、以下によって計算されうる。
numPairs = numChannels*(numChannels-1)/2
それゆえに、1つのチャンネル組を伝えるために必要なビット数は、以下となる。
numBits = floor(log2(numPairs-1))+1
さらに、エンコーダー100は、チャンネルマスクを使用しうる。マルチチャンネルツールの構造は、ツールがアクティブなチャンネルを示すチャンネルマスクを含みうる。したがって、LFE(LFE=低音増強/増大チャンネル)は、インデックス付けし、より効果的な符号化を許容するチャンネルから取り除きうる。例えば、11.1に設定するために、これは、12*11/2=66から11*10/2=55へインデックス付けするチャンネル組の数を減らし、7ビットの代わりに6ビットで伝えることを許容する。このメカニズムは、モノオブジェクト(例えば、多言語トラック)であることが意図されたチャンネルを除外するためにも使用できる。チャンネルマスク(チャンネルマスク)の復号化において、チャンネルマップ(チャンネルマップ)は、チャンネルの組のインデックスの再マッピングをデコーダーチャンネルへ許容するよう、生成されうる。
さらに、反復プロセッサー102は、第1のフレームについて、複数の選択された組の指示を導出するように構成され、出力インターフェース106は、マルチチャンネル信号107に、第1のフレームの後に続く第2のフレームのために、第2のフレームが、第1のフレームと同じ複数の選択された組の指示を有することを示すキープインジケーターを含むよう構成しうる。
キープインジケーター、又はキープツリーフラグは、新しいツリーには送信されないが、最後のステレオツリーが使用されることを伝えるために使用しうる。もし、チャンネル相関特性がより長い時間静止しているなら、これは、同じステレオツリー構成の複数の送信を避けるために使用しうる。
図2は、ステレオボックス110、112の概略的なブロック図を示す。ステレオボックス110、112は、第1の入力信号I1と第2の入力信号I2とに対する入力、及び第1の出力信号O1と第2の入力信号O2とに対する出力を備える。図2において示すように、入力信号I1及びI2からの出力信号O1及びO2の依存性は、s−パラメータS1からS4によって示される。
反復プロセッサー102は、(別の)処理されたチャンネルを導出するため、入力チャンネル及び/又は処理されたチャンネル上でマルチチャンネル処理操作を実行するために、ステレオボックス110、112を使用できる(又は、備えることができる)。例えば、反復プロセッサー102は、市販の予想ベース又はKLT(カルーネン・レーベ変換)ベースの回転ステレオボックス110、112を使用するよう構成しうる。
市販のエンコーダー(又は、エンコーダー側のステレオボックス)は、以下の式に基づいて出力信号O1とO2とを得るために、入力信号I1とI2とを符号化するよう構成しうる。
Figure 0006600004
市販のデコーダー(又は、デコーダー側のステレオボックス)は、以下の式に基づいて出力信号O1とO2とを得るために、入力信号I1とI2とを復号化するよう構成しうる。
Figure 0006600004
予測ベースのエンコーダー(又は、エンコーダー側のステレオボックス)は、以下の式に基づいて出力信号O1とO2とを得るために、入力信号I1とI2とを符号化するよう構成しうる。
Figure 0006600004
pは予測係数である。
予測ベースのデコーダー(又は、デコーダー側のステレオボックス)は、以下の式に基づいて出力信号O1とO2とを得るために、入力信号I1とI2とを復号化するよう構成しうる。
Figure 0006600004
KLTベースの回転エンコーダー(又は、エンコーダー側のステレオボックス)は、以下の式に基づいて出力信号O1とO2とを得るために、入力信号I1とI2とを符号化するよう構成しうる。
Figure 0006600004
KLTベースの回転デコーダー(又は、デコーダー側のステレオボックス)は、以下の式(逆回転)に基づいて出力信号O1とO2とを得るために、入力信号I1とI2とを復号化するよう構成しうる。
Figure 0006600004
以下において、KLTベースの回転のための回転角度αの計算は示される。
KLTベースの回転のための回転角度αは、以下のように定義されうる。
Figure 0006600004
xyは正規化されていない相関行列の入力であり、c11、c22はチャンネルエネルギーである。
これは、分数の分子内の負の相関と、分数の分母内の負のエネルギーの差異との間を区別できるようにatan2関数を使用して実行しうる。
alpha = 0.5*atan2(2*correlation[ch1][ch2],
(correlation[ch1][ch1] - correlation[ch2][ch2]))
さらに、反復プロセッサー102は、複数のバンドの対するチャンネル間相関値を得るために、複数のバンドを備えるそれぞれのチャンネルのフレームを使用して、チャンネル間相関を計算するよう構成しうる。反復プロセッサー102は、第1又は第2マルチチャンネルパラメータが複数のバンドのそれぞれから得られるので、複数のバンドのそれぞれに対して、マルチチャンネル処理を実行するよう構成しうる。
したがって、反復プロセッサー102は、マルチチャンネル処理においてステレオパラメータを計算するよう構成され、反復プロセッサー102は、ステレオパラメータ、ステレオ量子化器(例えば、KLTベース回転エンコーダ)によって定義されるゼロに量子化された閾値より高いバンド内においてのみ、ステレオ処理を実行するよう構成される。ステレオパラメータは、例えばMS On/Off、又は回転角度、又は予測係数であるだろう。
例えば、反復プロセッサー102は、マルチチャンネル処理において回転角度を計算するよう構成され、反復プロセッサー102は、回転角度が、回転角度量子化器(例えば、KLTベース回転エンコーダ)によって定義されるゼロに量子化された閾値より高いバンド内においてのみ、回転処理を実行するよう構成される
したがって、エンコーダー100(又は、出力インターフェース106)は、完全なスペクトル(フルバンドボックス)に対する1つのパラメータ、又はスペクトルの一部に対する複数の周波数依存パラメータのどちらかのように、変換/回転情報を送信するよう構成しうる。
エンコーダー100は、次の表に基づくビットストリーム107を生成するよう構成しうる。
表1‐mpegh3daExtElementConfig()のシンタックス
Figure 0006600004
表21‐MCCConfig()のシンタックス
Figure 0006600004
表32‐MultichannelCodingBoxBandWise()のシンタックス
Figure 0006600004
表4‐MultichannelCodingBoxFullband()のシンタックス
Figure 0006600004
表5‐MultichannelCodingFrame()のシンタックス
Figure 0006600004
表6‐usacExtElementTypeの値
Figure 0006600004
表7‐拡張ペイロード符号化のためのデータブロックの解釈
Figure 0006600004
図3は、1つの実施の形態による、反復プロセッサー102の概略的なブロック図である。図3に示される実施の形態において、マルチチャンネル信号101は、6つのチャンネル、すなわち、左チャンネルL、右チャンネルR、左サラウンドチャンネルLs、右サラウンドチャンネルRs、正面チャンネルC、低音増幅チャンネルLFEを有する5.1チャンネル信号である。
図3において示すように、LFEチャンネルは、反復プロセッサー102によって処理されない。これは、LFEチャンネルと他の5つのチャンネルL、R、Ls、Rs、Cのそれぞれとの間のチャンネル間相関値が小さい、又は、チャンネルマスクがLFEチャンネルを処理しないことを示すので、以下のように仮定する。
第1反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するために、反復プロセッサー102は、第1反復ステップにおいて、5つのチャンネルL、R、Ls、Rs、Cのそれぞれの組の間のチャンネル間相関値を計算する。図3において、反復プロセッサー102が、第1及び第2の処理されたチャンネルP1とP2とを導出するために、マルチチャンネル操作を処理する操作を実行するステレオボックス(又はステレオツール)110を使用して、左チャンネルLと右チャンネルRとを処理するように、左チャンネルLと右チャンネルRとが、最高値を有すると仮定される。
第2反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するために、反復プロセッサー102は、第2反復ステップにおいて、5つのチャンネルL、R、Ls、Rs、Cと、処理されたチャンネルP1とP2とのそれぞれの組の間のチャンネル間相関値を計算する。図3において、反復プロセッサー102が、第3及び第4の処理されたチャンネルP3とP4とを導出するために、ステレオボックス(又はステレオツール)112を使用して、左サラウンドチャンネルLsと右サラウンドチャンネルRsとを処理するように、左サラウンドチャンネルLsと右サラウンドチャンネルRsとが、最高値を有すると仮定される。
第3反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するために、反復プロセッサー102は、第3反復ステップにおいて、5つのチャンネルL、R、Ls、Rs、Cと、処理されたチャンネルP1からP4とのそれぞれの組の間のチャンネル間相関値を計算する。図3において、反復プロセッサー102が、第5及び第6の処理されたチャンネルP5とP6とを導出するために、ステレオボックス(又はステレオツール)114を使用して、第1の処理されたチャンネルP1と第3の処理されたチャンネルP3とを処理するように、第1の処理されたチャンネルP1と第3の処理されたチャンネルP3とが最高値を有すると仮定される。
第4反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するために、反復プロセッサー102は、第4反復ステップにおいて、5つのチャンネルL、R、Ls、Rs、Cと、処理されたチャンネルP1からP6とのそれぞれの組の間のチャンネル間相関値を計算する。図3において、反復プロセッサー102が、第7及び第8の処理されたチャンネルP7とP8とを導出するために、ステレオボックス(又はステレオツール)115を使用して、第5の処理されたチャンネルP5と正面チャンネルCとを処理するように、第5の処理されたチャンネルP5と正面チャンネルCとが最高値を有すると仮定される。
ステレオボックス110から116は、MSステレオボックスとすることができる。すなわち、中間/側面のステレオ音響効果ボックスが、中間チャンネルと側面チャンネルとに提供するよう構成される。中間チャンネルは、ステレオボックスの入力チャンネル間の合計であり、側面チャンネルは、ステレオボックスの入力チャンネル間の差である。さらに、ステレオボックス110から116は、回転ボックス又はステレオ予測ボックスとすることができる。
図3において、第1の処理されたチャンネルP1、及び第3の処理されたチャンネルP3、及び第5の処理されたチャンネルP5は中間チャンネルとすることができ、第2の処理されたチャンネルP2、及び第4の処理されたチャンネルP4、及び第6の処理されたチャンネルP6は中間チャンネルとすることができる。
さらに、図3において示すように、反復プロセッサー102は、第2反復ステップにおいて、及び、該当する場合には以後のどの反復ステップにおいて、入力チャンネルL、R、Ls、Rs、C、及び、処理されたチャンネルの中間チャンネルP1、P3、P5(だけ)、を使用して、計算、選択、処理を実行するよう構成されうる。言い換えれば、反復プロセッサー102は、第2反復ステップ、及び、該当する場合には以後のどの反復ステップにおいて計算、選択、処理するときに、処理されたチャンネルの側面のチャンネルP1、P3、P5を使用しないように構成しうる。
図4は、符号化されたチャンネルE1からE3と、少なくとも第1及び第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2とを有する符号化されたマルチチャンネル信号107を復号化するために装置(デコーダー)200の概略的なブロック図を示す。装置200は、チャンネルデコーダー202とマルチチャンネルプロセッサー204とを備える。
チャンネルデコーダー202は、D1からD3の復号化されたチャンネルを得るために、符号化されたチャンネルE1からE3を復号化するよう構成される。
例えば、チャンネルデコーダー202は、少なくとも3つのモノラルデコーダー(又はモノラルボックス又はモノラルツール)206_1から206_3を備えることができ、それぞれのモノラルデコーダー206_1から206_3は、それぞれの復号化されたチャンネルE1からE3を得るために、少なくとも3つの符号化されたチャンネルE1からE3の1つを復号化するよう構成しうる。モノラルデコーダー206_1から206_3は、例えば、変換ベースのオーディオデコーダーとすることができる。
マルチチャンネルプロセッサー204は、処理されたチャンネルを得るために、第2マルチチャンネルパラメータMCH_PAR2によって識別される復号化されたチャンネルの第2の組を使用して、及び第2マルチチャンネルパラメータMCH_PAR2を使用して、マルチチャンネル処理を実行し、第1マルチチャンネルパラメータMCH_PAR1によって識別されるチャンネルの第1の組を使用して、及び第1マルチチャンネルパラメータMCH_PAR1を使用して、別のマルチチャンネル処理を実行するように構成され、チャンネルの第1の組が、少なくとも1つの処理されたチャンネルを備える。
例示の方法によって図4において示すように、復号化されたチャンネルの第2の組は、第1の復号化されたチャンネルD1と第2の復号化されたチャンネルD2とから成ることを、第2マルチチャンネルパラメータMCH_PAR2は、示しうる(又は信号が送られうる)。したがって、マルチチャンネルプロセッサー204は、処理されたチャンネルP1*とP2*とを得るために、第1の復号化されたチャンネルD1と第2の復号化されたチャンネルD2(第2マルチチャンネルパラメータMCH_PAR2によって識別される)からなる復号化されたチャンネルの第2の組を使用して、及び、第2マルチチャンネルパラメータMCH_PAR2を使用して、マルチチャンネル処理を実行する。第1マルチチャンネルパラメータMCH_PAR1は、復号化されたチャンネルの第1の組は、第1の処理されたチャンネルP1*と第3の復号化されたチャンネルD3とからなることを示しうる。したがって、マルチチャンネルプロセッサー204は、処理されたチャンネルP3*とP4*を得るために、第1の処理されたチャンネルP1*と第3の復号化されたチャンネルD3(第1マルチチャンネルパラメータMCH_PAR1によって識別される)からなる復号化されたチャンネルの第1の組を使用して、及び、第1マルチチャンネルパラメータMCH_PAR1を使用して、別のマルチチャンネル処理を実行する。
さらに、マルチチャンネルプロセッサー204は、第3の処理されたチャンネルP3*を第1チャンネルCH1として、第4の処理されたチャンネルP4*を第3チャンネルCH3として、第2の処理されたチャンネルP2*を第2チャンネルCH2として提供しうる。
図4において示されるデコーダー200が、図1において示されるエンコーダー100から符号化されたマルチチャンネル信号107を受信すると仮定すると、デコーダー200の第1の復号化されたチャンネルD1は、エンコーダー100の第3の処理されたチャンネルP3と等価であり、デコーダー200の第2の復号化されたチャンネルD2は、エンコーダー100の第4の処理されたチャンネルP4と等価であり、デコーダー200の第3の復号化されたチャンネルD3は、エンコーダー100の第2の処理されたチャンネルP2と等価である。さらに、デコーダー200の第1の処理されたチャンネルP1*は、エンコーダー100の第1の処理されたチャンネルP1と等価である
さらに、符号化されたマルチチャンネル信号107は、直列信号とすることができ、第2マルチチャンネルパラメータMCH_PAR2は、第1マルチチャンネルパラメータMCH_PAR1の前に、デコーダー200で受信される。その場合において、マルチチャンネルプロセッサー204は、マルチチャンネルパラメータMCH_PAR1及びMCH_PAR2が、デコーダーによって受信される順序で、復号化されたチャンネルを実行するよう構成しうる。図4において示す例において、デコーダーは、第1マルチチャンネルパラメータMCH_PAR1の前に、第2マルチチャンネルパラメータMCH_PAR2を受信し、したがって、第1マルチチャンネルパラメータMCH_PAR1によって識別される復号化されたチャンネルの第1の組(第1の処理されたチャンネルP1*と第3の復号化されたチャンネルD3とからなる)を使用してマルチチャンネル処理を実行する前に、第2マルチチャンネルパラメータMCH_PAR2によって識別される復号化されたチャンネルの第2の組(第1及び第2の復号化されたチャンネルD1とD2とからなる)を使用してマルチチャンネル処理を実行する。
図4において、マルチチャンネルプロセッサー204は、2つのマルチチャンネル処理操作を見本として実行する。図示するために、マルチチャンネルプロセッサー204によって実行されるマルチチャンネル処理操作は、図4において処理ボックス208と210によって示される。処理ボックス208と210は、ハードウェア又はソフトウェアにおいて、実装しうる。処理ボックス208と210は、例えば、市販のデコーダー(又は、デコーダー側のステレオボックス)、又は予測ベースのデコーダー(又は、デコーダー側のステレオボックス)、又はKLTベースの回転デコーダー(又は、デコーダー側のステレオボックス)のように、エンコーダー100を参照して上述したように、ステレオボックスとすることができる。
例えば、エンコーダー100は、KLTベースの回転エンコーダー(又はエンコーダー側のステレオボックス)を使用することができる。その場合において、エンコーダー100は、第1及び第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2とを導出することができ、その結果、第1及び第2マルチチャンネルMCH_PAR1とMCH_PAR2とは、回転角度を備える。回転角度は、差動的に符号化しうる。それゆえに、デコーダー200のマルチチャンネルプロセッサー204は、差動的に符号化された回転角度を差動的に復号化するために差動的なデコーダーを備えうる。
装置200は、符号化されたマルチチャンネル信号107を受信及び処理し、符号化されたチャンネルE1からE3を、チャンネルデコーダー202へ提供し、第1及び第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2とをマルチチャンネルプロセッサー204へ提供するよう構成されるインプットインターフェース212をさらに備える。
すでに述べたように、キープインジケータ(又はキープツリーフラグ)は、新しいツリーが送信されないことを伝えるために使用しうるが、最後のステレオツリーが、使用される必要がある。もし、チャンネル相関特性が長い時間静止している場合、これは、同じステレオツリー構成の複数の送信を避けるために使用しうる。
それゆえに、符号化されたマルチチャンネル信号107が、第1のフレームに対して、第1又は第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2、及び、第1のフレームに続く、第2のフレームに対して、キープインジケーターを備えるとき、マルチチャンネルプロセッサー204は、第2のフレームにおいて、第1のフレームについて使用されるように、同じ第2の組又は同じ第1の組のチャンネルにマルチチャンネル処理又は別のマルチチャンネル処理を実行するよう構成しうる。
マルチチャンネル処理及び別のマルチチャンネル処理は、ステレオパラメータを使用するステレオ処理を含みうる。個々のスケールファクタバンド又は復号化されたチャンネルD1からD3のスケールファクタバンドのグループについて、第1ステレオパラメータは、第1マルチチャンネルパラメータMCH_PAR1が含まれ、第2ステレオパラメータは、第2マルチチャンネルパラメータMCH_PAR2が含まれる。それゆえに、第1ステレオパラメータ及び第2ステレオパラメータは、回転角度や予測係数のような、同じ型にすることができる。もちろん、第1ステレオパラメータ及び第2ステレオパラメータは、異なる型にすることができる。例えば、第1ステレオパラメータは、回転角度とすることができ、第2ステレオパラメータは、予測係数とすることができる。また、その逆もできる。
さらに、第1又は第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2とは、どのスケールファクタバンドがマルチチャンネル処理されていて、どのスケールファクタバンドがマルチチャンネル処理されていないかを示すマルチチャンネル処理マスクを備えうる。したがって、マルチチャンネルプロセッサー204は、マルチチャンネル処理マスクによって示されるスケールファクタバンドにおいて、マルチチャンネル処理が実行されないように構成しうる。
第1及び第2マルチチャンネルパラメータMCH_PAR1とMCH_PAR2とは、チャンネル組識別(又はインデックス)をそれぞれ含みうる。マルチチャンネルプロセッサー204は、予測された復号化ルール又は符号化されたマルチチャンネル信号で示される復号化ルールを使用してチャンネル組識別(又はインデックス)を復号化するよう構成しうる。
例えば、チャンネル組は、エンコーダー100を参照して上述したように、チャンネルの総数に応じて、それぞれの組に対して、固有のインデックスを使用して、効果的に信号を送られうる。
さらに、復号化ルールは、ハフマン復号化ルールとすることができ、マルチチャンネルプロセッサー204は、チャンネル組識別のハフマン復号化を実行するよう構成しうる。
符号化されたマルチチャンネル信号107は、マルチチャンネル処理が許可された復号化された復号化されたチャンネルのサブグループだけを示し、且つ、マルチチャンネル処理が許可されていない少なくとも1つの復号化されたチャンネルを示す、マルチチャンネル処理許容インジケータを更に備える。したがって、マルチチャンネルプロセッサー204は、マルチチャンネル処理許容インジケータによって示されるように、マルチチャンネル処理が許容されない、少なくとも1つの復号化されたチャンネルについて、いかなるマルチチャンネル処理も実行しないように構成される。
例えば、マルチチャンネル信号が、5.1チャンネル信号であるとき、マルチチャンネル処理許容インジケータは、マルチチャンネル処理が5つのチャンネル、すなわち、右R、左L、右サラウンドRs、左サラウンドLS、正面Cを許容するだけであることを示しうり、マルチチャンネル処理は、LFEチャンネルを許容しない。
復号化処理(チャンネル組インデックスの復号化)のために、以下のCコードは使用されうる。したがって、すべてのチャンネル組に対して、アクティブなKLT処理を有するチャンネル数(nChannels)と現在のフレームのチャンネル組の数(numPairs)とが、必要とされる。
Figure 0006600004
非バンド角度に対する予測係数を復号化するために、以下のCコードは使用されうる。
Figure 0006600004
非バンドKLT角度に対する予測係数を復号化するために、以下のCコードは使用されうる。
Figure 0006600004
異なるプラットフォームでの三角関数の浮動小数点の違いを避けるために、角度インデックスを直接sin/cosに変換するための以下のルックアップテーブルは使用しうる。
Figure 0006600004
マルチチャンネルコーディングの復号化のために、以下のCコードはKLT回転に基づく手法に使用しうる。
Figure 0006600004
バンド処理のために、以下のCコードを使用しうる。

Figure 0006600004
KLT回転の適用のために、以下のCコードを使用しうる。
Figure 0006600004
図5は、少なくとも3つのチャンネルを有するマルチチャンネル信号を符号化するための方法300のフローチャートである。方法300は、第1反復ステップにおいて、少なくとも3つのチャンネルそれぞれの組の間のチャンネル間相関値を計算し、第1反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択し、選択された組のための第1マルチチャンネルパラメータを導出するため、及び、第1の処理されたチャンネルを導出するために、マルチチャンネル処理操作を使用して選択された組を処理するステップ302と、第2マルチチャンネルパラメータと第2の処理されたチャンネルとを導出するために、処理されたチャンネルの少なくとも1つを使用して、第2反復ステップにおいて、計算、選択、処理を実行するステップ304と、符号化されたチャンネルを得るために、反復プロセッサーによって実行された反復処理から生じたチャンネルを符号化するステップ306と、符号化されたチャンネルと、第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を生成するステップ308とを備える。
図6は、符号化されたチャンネルと、少なくとも第1及び第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を復号化するための方法400のフローチャートを示す。方法400は、復号化されたチャンネルを得るために、符号化されたチャンネルを復号化するステップ402と、処理されたチャンネルを得るために、第2マルチチャンネルパラメータによって識別された復号化されたチャンネルの第2の組を使用して、及び第2マルチチャンネルパラメータを使用して、マルチチャンネル処理を実行し、第1マルチチャンネルパラメータによって識別されたチャンネルの第1の組を使用して、及び第1マルチチャンネルパラメータを使用して、マルチチャンネル処理を実行するステップ404と、を備え、チャンネルの第1の組は、少なくとも1つの処理されたチャンネルを備える。
本発明は、ブロックが実際の又は論理的なハードウェア要素を示すブロック図との関係において述べられているけれども、本発明は、コンピュータ実装方法によって実装もすることができる。後者の場合、ブロックは、これらのステップが、対応する論理的又は物理的なハードウェアブロックによって実行される機能性を示す対応する方法ステップを示す。
いくつかの側面が、装置との関係において述べられているけれども、これらの側面が、対応する方法の説明も示すことは明らかであり、ブロック又は装置が、方法ステップ又は方法ステップの特徴に相当する。同様に、方法ステップとの関係において述べられる側面は、対応するブロック又はアイテムの説明、又は対応する装置の特徴も示す。方法ステップのいくつか又はすべては、例えば、マイクロプロセッサー、又はプログラム可能なコンピュータ、又は電子回路のような、ハードウェア装置によって(又は使用して)実行されうる。いくつかの実施の形態において、最も重要な方法ステップのうち1つ以上は、このような装置によって実行されうる。
本発明の送信又は符号化された信号は、デジタル記録媒体に保存されうり、又は無線送信媒体若しくはインターネットのような有線送信媒体のような送信媒体で送信されうる。
特定の実装要求に応じて、本発明の実施の形態は、ハードウェアにおいて、または、ソフトウェアにおいて実装しうる。実装は、それぞれの方法を実行されるように、プログラム可能なコンピュータシステムと協働するか、(又は協働することができる)保存された電気的に読み込み可能な制御信号を有する、デジタル記録媒体、例えば、フロッピー(登録商標)ディスク、DVD、ブルーレイディスク(登録商標)、CD、ROM、PROM、EPROM、EEPROM(登録商標)またはFLASHメモリを使用して実行しうる。このように、デジタル記憶媒体は、コンピュータに読み込み可能である。
本発明によるいくつかの実施の形態は、本願明細書において記載された方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電気的に読み込み可能な制御信号を有するデータ記録媒体を備える。
一般的に、本発明の実施の形態は、プログラムコードを有するコンピュータプログラム製品として実装しうる。そして、コンピュータプログラム製品がコンピュータ上で動くときに、プログラムコードは、方法の1つを実行するために動作される。プログラムコードは、例えば、機械読み取り可能な媒体に保存されうる。
他の実施の形態は、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムを備え、機械読み取り可能な媒体に保存される。
言い換えれば、本発明の方法の実施の形態は、したがって、コンピュータプログラムがコンピュータ上で実行するときに、本願明細書において記載されている方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本発明の方法の別の実施形態は、したがって、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムを備え、そこに記録されるデータ記録媒体(又はデジタル記憶媒体のような非一過性の記録媒体、又はコンピュータ可読媒体)である。データ記録媒体、デジタル記憶媒体、又は記録媒体は、たいていは明白及び/又は非一時的である。
本発明の方法の別の実施形態は、したがって、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムを示すデータストリーム又は一連の信号である。例えば、データストリーム又は一連の信号は、データ通信接続を経て、例えばインターネットを経て、送信されるよう構成しうる。
別の実施の形態は、本願明細書において記載されている方法の1つを行うように構成、又は、適合された、例えばコンピュータのような処理手段又はプログラム可能な論理装置を備える。
別の実施の形態は、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムがインストールされるコンピュータを備える。
本発明による別の実施の形態は、本願明細書において記載される方法の1つを実行するためのコンピュータプログラムを受信装置に(例えば、電子的もしくは、光学的に)送信するよう構成される装置またはシステムを備える。受信装置は、例えば、コンピュータ、モバイル機器、メモリ装置または類似の装置でもよい。装置またはシステムは、例えば、コンピュータプログラムを受信装置に送信するためのファイルサーバを備えていてもよい。
いくつかの実施の形態では、プログラム可能な論理装置(例えば、現場でプログラム可能なゲートアレイ)が、本願明細書において記載される方法の機能のいくつか又は全てを実行するために使用しうる。いくつかの実施の形態では、現場でプログラム可能なゲートアレイは、本願明細書において記載される方法の1つを実行するために、マイクロプロセッサーと協働できる。一般に、方法は、いかなるハードウェア装置によって、好ましくは、実行しうる。
上述した実施の形態は、本発明の原理を表すだけである。本願明細書に記載された構成及び詳細の修正及び変形は、当業者には明らかであることが理解される。したがって、本発明は、添付の特許請求の範囲によってのみ限定され、本願明細書の実施の形態の記述及び説明のための特定の詳細によっては限定されないことが意図される。

Claims (22)

  1. 少なくとも3つのチャンネル(CH1:CH3)を有するマルチチャンネル信号(101)を符号化するための装置(100)であって、
    第1反復ステップにおいて、前記少なくとも3つのチャンネル(CH1:CH3)のそれぞれの組の間のチャンネル間相関値を計算し、前記第1反復ステップにおいて、最高値を有する、又は閾値より上の値を有する組を選択し、マルチチャンネル処理操作(110、112)を使用して前記選択された組を処理して、前記選択された組についての第1マルチチャンネルパラメータ(MCH_PAR1)を導出する、及び第1の処理されたチャンネルの組(P1,P2)を導出するための反復プロセッサー(102)であって、
    前記反復プロセッサー(102)は、第2反復ステップにおいて、前記少なくとも3つのチャンネル(CH1:CH3)の処理されていないチャンネル及び前記処理されたチャンネル(P1、P2)を使用して前記計算、前記選択、前記処理を実行して第2マルチチャンネルパラメータ(MCH_PAR2)及び第2の処理されたチャンネルの組を導出するように構成され、前記反復プロセッサー(102)は、第2反復ステップ、及び該当する場合には以後のどの反復ステップにおいても、前記第1反復ステップの前記選択された組を選択しないように構成される反復プロセッサー(102)と、
    前記反復プロセッサー(10)が実行する反復処理から生じたチャンネル(P2:P4)を符号化して符号化されたチャンネル(E1:E3)を得るためのチャンネルエンコーダーであって、前記反復処理から生じて前記チャンネルエンコーダーに提供されるチャンネル(P2:P4)の数が、前記反復プロセッサー(102)に入力されるチャンネル(CH1:CH3)の数と等しいチャンネルエンコーダーと、
    前記符号化されたチャンネル(E1:E3)と、前記第1及び前記第2のマルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)を有する符号化されたマルチチャンネル信号(107)を生成するための出力インターフェース(106)とを備え、
    前記第1マルチチャンネルパラメータ(MCH_PAR1)は、前記第1反復ステップのための前記選択された組において前記チャンネルの第1の識別を備え、前記第2マルチチャンネルパラメータ(MCH_PAR2)は、前記第2反復ステップの前記選択された組において、前記チャンネルの第2の識別を備える、装置(100)。
  2. 前記出力インターフェース(106)、シリアルビットストリームとして、且つ、前記第2マルチチャンネルパラメータ(MCH_PAR2)が、前記符号化された信号内において、前記第1マルチチャンネルパラメータ(MCH_PAR1)の前にあるように前記符号化されたチャンネル信号(107)を生成するように構成される、請求項1に記載する装置(100)。
  3. 前記反復プロセッサー(102)は、前記選択された組からの回転角度計算を使用する回転処理と、予測処理とを含む少なくとも1つのグループを備えるステレオ処理を実行するよう構成される、請求項1又は請求項2の1つに記載する装置(100)。
  4. 前記反復プロセッサー(102)は、複数のバンドを備える各チャンネルのフレームを使用してチャンネル間相関を計算して、前記複数のバンドについて1つのチャンネル間の相関値が得られるように構成され、
    前記反復プロセッサー(10)は、前記複数のバンドのそれぞれに対して、前記マルチチャンネル処理操作を実行して、前記複数のバンドのそれぞれについて、前記第1又は前記第2のマルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)が得られるように構成される、請求項1ないし請求項3の1つに記載する装置(100)。
  5. 前記反復プロセッサー(102)は、第1のフレームについて、複数の選択された組の指示を導出するよう構成され、前記出力インターフェース(106)は、前記マルチチャンネル信号(107)に、前記第1のフレームに続く第2のフレームのために、前記第2のフレームが前記第1のフレームと同じ複数の選択された組の指示を有することを示すキープインジケーターを含むよう構成される、請求項1ないし請求項4の1つに記載する装置(100)。
  6. 前記反復プロセッサー(102)は、正規化された相関値を計算するよう構成され、前記反復プロセッサー(102)は、前記相関値が、0.2よりも大きい時に、組を選択するよう構成される、請求項1ないし請求項の1つに記載する装置(100)。
  7. 前記反復プロセッサー(102)は、前記マルチチャンネル処理操作において、ステレオパラメータを計算するよう構成され、前記反復プロセッサー(102)は、ステレオパラメータ、ステレオパラメータ量子化器によって定義されるゼロに量子化された閾値よりも高いバンド内においてのみ、ステレオ処理を行うように構成される、請求項1ないし請求項の1つに記載する装置(100)。
  8. 前記反復プロセッサー(102)は、前記マルチチャンネル処理操作において、回転角度を計算するよう構成され、前記反復プロセッサー(102)は、回転角度、デコーダー側のゼロに逆量子化された閾値よりも高いバンド内においてのみ、回転処理を行うように構成される、請求項1ないし請求項の1つに記載する装置(100)。
  9. 前記反復プロセッサー(102)は、反復終了基準に達するまで、反復ステップを実行するように構成され、前記反復終了基準は、最大反復ステップ数が、前記マルチチャンネル信号(101)のチャンネル(CH1:CH3)の総数の2倍と等しい、若しくは、より大きいことである、又は、前記反復終了基準は、前記チャンネル間相関値が、前記閾値よりも高い値を有しないときである、請求項1ないし請求項の1つに記載する装置(100)。
  10. 前記反復プロセッサー(102)は、前記第1反復ステップにおいて、前記マルチチャンネル処理操作を使用して前記選択された組を処理し、前記処理されたチャンネル(P1、P2)が、中間チャンネル(P1)とサイドチャンネル(P2)になるように構成され、
    前記反復プロセッサー(102)は、前記第2反復ステップにおいて、前記処理されたチャンネル(P1、P2)の前記少なくとも1つとして、前記処理されたチャンネル(P1、P2)の前記中間チャンネル(P1)だけを使用して前記計算、前記選択、前記処理を実行して、前記第2マルチチャンネルパラメータ(MCH_PAR2)及び第2の処理されたチャンネル(P3、P4)を導出するように構成される、請求項1ないし請求項の1つに記載する装置(100)。
  11. 前記チャンネルエンコーダーは、前記反復処理から生じた前記チャンネル(P2:P4)を符号化するためのチャンネルエンコーダー(120_1:120_3)を備え、前記チャンネルエンコーダーは、少ないエネルギーを有するチャンネルを符号化するためには、より大きなエネルギーを有するチャンネルを符号化するよりも少ないビットが使用されるように、前記チャンネル(P2:P4)を符号化するよう構成される、請求項1ないし請求項10の1つに記載する装置(100)。
  12. 符号化されたチャンネル(E1:E3)と、少なくとも第1及び第2のマルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)とを有する符号化されたマルチチャンネル信号(107)を復号化するための装置(200)であって、
    前記符号化されたチャンネル(E1:E3)を復号化して復号化されたチャンネル(D1:D3)を得るためのチャンネルデコーダー(202)と、
    前記第2マルチチャンネルパラメータ(MCH_PAR2)によって識別された、前記復号化されたチャンネル(D1:D3)の第2の組を使用して、及び前記第2マルチチャンネルパラメータ(MCH_PAR2)を使用してマルチチャンネル処理を実行して、処理されたチャンネル(P1*、P2*)を得るための、並びに、前記第1マルチチャンネルパラメータ(MCH_PAR1)によって識別されたチャンネル(D1:D3、P1*、P2*)の第1の組を使用して、及び前記第1マルチチャンネルパラメータ(MCH_PAR1)を使用して別のマルチチャンネル処理を実行するためのマルチチャンネルプロセッサー(204)であって、チャンネルの前記第1の組は、少なくとも1つの処理されたチャンネル(P1*、P2*)を備え、前記マルチチャンネル処理によって生じ、前記マルチチャンネルプロセッサー(204)によって出力された処理されたチャンネルの数は、前記マルチチャンネルプロセッサー(204)に入力された復号化されたチャンネル(D1:D3)の数と等しい、マルチチャンネルプロセッサー(204)を備え、
    前記第1及び前記第2マルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)は、チャンネル組の識別をそれぞれ含み、
    前記マルチチャンネルプロセッサー(204)は、事前に定義された復号化ルール又は前記符号化されたマルチチャンネル信号において示された復号化ルールを使用して前記チャンネル組の識別を復号化するよう構成される、装置(200)。
  13. 前記符号化されたマルチチャンネル信号(107)は、第1のフレームのための前記第1及び前記第2のマルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)と、前記第1フレームの後に続く第2のフレームのためのキープインジケーターとを備え、
    前記マルチチャンネルプロセッサー(204)は、前記第2フレームにおいて、前記同じ第2の組と、前記第1のフレームにおいて使用されるのと同じ前記第1の組に対し、前記マルチチャンネル処理および前記別のマルチチャンネル処理を実行するよう構成される、請求項12に記載する装置(200)。
  14. 前記マルチチャンネル処理及び前記別のマルチチャンネル処理は、ステレオパラメータを使用するステレオ処理を含み、前記復号化されたチャンネル(D1:D3)の個々のスケールファクタバンド又はスケールファクタバンドのグループについて、第1ステレオパラメータが前記第1マルチチャンネルパラメータ(MCH_PAR1)に含まれ、第2ステレオパラメータが前記第2マルチチャンネルパラメータ(MCH_PAR2)に含まれる、請求項12又は請求項13の1つに記載する装置(200)。
  15. 前記第1又は前記第2マルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)は、どのスケールファクタバンドがマルチチャンネル処理されていて、どのスケールファクタバンドがマルチチャンネル処理されていないかを示すマルチチャンネル処理マスクを備え、
    前記マルチチャンネルプロセッサー(204)は、前記マルチチャンネル処理マスクによって示される前記スケールファクタバンドにおいて、前記マルチチャンネル処理をしないように構成される、請求項12ないし請求項14の1つに記載する装置(200)。
  16. 前記復号化ルールはハフマン復号化ルールであり、前記マルチチャンネルプロセッサー(204)は、前記チャンネル組の識別のハフマン復号化を実行するように構成される、請求項12ないし請求項15の1つに記載する装置(200)。
  17. 前記符号化されたマルチチャンネル信号(107)は、前記マルチチャンネル処理が許可された前記復号化されたチャンネルのサブグループだけを示し、且つ、前記マルチチャンネル処理が許容されていない少なくとも1つの復号化されたチャンネルを示す、マルチチャンネル処理許容インジケータを備え、
    前記マルチチャンネルプロセッサー(204)は、前記マルチチャンネル処理許容インジケータによって示されるように、前記マルチチャンネル処理が許容されない、前記少なくとも1つの復号化されたチャンネルについて、いかなるマルチチャンネル処理も実行しないように構成される、請求項12ないし請求項16の1つに記載する装置(200)。
  18. 前記第1及び前記第2マルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)はステレオパラメータを備え、前記ステレオパラメータは差動的に符号化され、前記マルチチャンネルプロセッサー(204)は、前記差動的に符号化されたステレオパラメータを差動的に復号化するための差動的なデコーダーを備える、請求項12ないし請求項17の1つに記載する装置(200)。
  19. 前記符号化されたマルチチャンネル信号(107)は、前記第2マルチチャンネルパラメータ(MCH_PAR2)が、前記第1マルチチャンネルパラメータ(MCH_PAR1)の前に、前記装置(200)で受信される直列信号であり、
    前記マルチチャンネルプロセッサー(204)は、前記マルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)が前記装置(200)によって受信された順番で、前記復号化されたチャンネル(D1:D3)を処理するよう構成される、請求項12ないし請求項18の1つに記載する装置。
  20. 少なくとも3つのチャンネルを有するマルチチャンネル信号を符号化するための方法(300)であって、前記方法は、
    第1反復ステップにおいて、前記少なくとも3つのチャンネルのそれぞれの組の間のチャンネル間相関値を計算するステップ(302)と、第1反復ステップにおいて、最高値を有する又は閾値より上の値を有する組を選択するステップと、前記選択された組のための第1のマルチチャンネルパラメータを導出するため、及び、第1の処理されたチャンネルを導出するために、マルチチャンネル処理操作を使用して前記選択された組を処理するステップと、
    第2マルチチャンネルパラメータと第2の処理されたチャンネルとを導出するために、第2反復ステップにおいて、前記少なくとも3つのチャンネル(CH1:CH3)の未処理のチャンネルと前記処理されたチャンネルとを使用して前記計算するステップと、前記選択するステップと、前記処理するステップとを実行するステップ(304)であって、前記第2反復ステップ、及び該当する場合には以後のどの反復ステップにおいても、前記第1の反復ステップの前記選択された組選択されないステップと、
    符号化されたチャンネルを得るために、反復処理によって生じたチャンネルを符号化するステップ(306)であって、前記反復処理によって生じたチャンネルの数が、前記反復処理が実行されるチャンネルの数と等しいステップと、
    前記符号化されたチャンネルと前記第1及び前記第2マルチチャンネルパラメータとを有する符号化されたマルチチャンネル信号を生成するステップ(308)とを備え、
    前記第1マルチチャンネルパラメータ(MCH_PAR1)は、前記第1反復ステップのための前記選択された組において前記チャンネルの第1の識別を備え、前記第2マルチチャンネルパラメータ(MCH_PAR2)は、前記第2反復ステップの選択された組において、前記チャンネルの第2の識別を備える、方法(300)。
  21. 符号化されたチャンネル、並びに少なくとも第1及び第2マルチチャンネルパラメータを有する符号化されたマルチチャンネル信号を復号化する方法(400)であって、前記方法は、
    復号化されたチャンネルを得るために前記符号化されたチャンネルを復号化するステップ(402)と、
    処理されたチャンネルを得るために、前記第2マルチチャンネルパラメータによって識別された前記復号化されたチャンネルの第2の組を使用して、及び前記第2のマルチチャンネルパラメータを使用して、マルチチャンネル処理を実行するステップ(404)と、前記第1マルチチャンネルパラメータによって識別されたチャンネルの第1の組を使用して、及び前記第1のマルチチャンネルパラメータを使用して別のマルチチャンネル処理を実行するステップを含み、チャンネルの前記第1の組は、少なくとも1つの処理されたチャンネルを備え、前記マルチチャンネル処理によって生じた処理されたチャンネルの数は、前記マルチチャンネル処理が実行される復号化されたチャンネルの数と等しく、前記第1及び前記第2のマルチチャンネルパラメータ(MCH_PAR1、MCH_PAR2)は、チャンネル組の識別をそれぞれ含み、前記チャンネル組の識別は、事前に定義された復号化ルール又は前記符号化されたマルチチャンネル信号において示された復号化ルールを使用して復号化される、方法(400)。
  22. コンピュータ又はプロセッサー上で動くとき、請求項20の前記マルチチャンネル信号を符号化する前記方法、又は請求項21の符号化されたマルチチャンネル信号を復号化する前記方法を実行するためのコンピュータプログラム。
JP2017548015A 2015-03-09 2016-03-08 マルチチャンネル信号を符号化又は復号化するための装置と方法 Active JP6600004B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15158234.3 2015-03-09
EP15158234 2015-03-09
EP15172492.9 2015-06-17
EP15172492.9A EP3067885A1 (en) 2015-03-09 2015-06-17 Apparatus and method for encoding or decoding a multi-channel signal
PCT/EP2016/054900 WO2016142375A1 (en) 2015-03-09 2016-03-08 Apparatus and method for encoding or decoding a multi-channel signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019182675A Division JP7208126B2 (ja) 2015-03-09 2019-10-03 マルチチャンネル信号を符号化又は復号化するための装置と方法

Publications (3)

Publication Number Publication Date
JP2018513402A JP2018513402A (ja) 2018-05-24
JP2018513402A5 JP2018513402A5 (ja) 2019-06-06
JP6600004B2 true JP6600004B2 (ja) 2019-10-30

Family

ID=52692421

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017548015A Active JP6600004B2 (ja) 2015-03-09 2016-03-08 マルチチャンネル信号を符号化又は復号化するための装置と方法
JP2019182675A Active JP7208126B2 (ja) 2015-03-09 2019-10-03 マルチチャンネル信号を符号化又は復号化するための装置と方法
JP2023000472A Pending JP2023052219A (ja) 2015-03-09 2023-01-05 マルチチャンネル信号を符号化又は復号化するための装置と方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019182675A Active JP7208126B2 (ja) 2015-03-09 2019-10-03 マルチチャンネル信号を符号化又は復号化するための装置と方法
JP2023000472A Pending JP2023052219A (ja) 2015-03-09 2023-01-05 マルチチャンネル信号を符号化又は復号化するための装置と方法

Country Status (16)

Country Link
US (5) US10388289B2 (ja)
EP (3) EP3067885A1 (ja)
JP (3) JP6600004B2 (ja)
KR (1) KR102109159B1 (ja)
CN (2) CN107592937B (ja)
AR (1) AR103873A1 (ja)
AU (1) AU2016231238B2 (ja)
CA (1) CA2978818C (ja)
ES (1) ES2769032T3 (ja)
MX (1) MX364419B (ja)
PL (1) PL3268959T3 (ja)
PT (1) PT3268959T (ja)
RU (1) RU2711055C2 (ja)
SG (1) SG11201707180SA (ja)
TW (1) TWI584271B (ja)
WO (1) WO2016142375A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034920A (ja) * 2015-03-09 2020-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャンネル信号を符号化又は復号化するための装置と方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106710600B (zh) * 2016-12-16 2020-02-04 广州广晟数码技术有限公司 多声道音频信号的去相关编码方法和装置
US10650834B2 (en) * 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium
EP3740950B8 (en) 2018-01-18 2022-05-18 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
KR102606259B1 (ko) * 2018-07-04 2023-11-29 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 신호 화이트닝 또는 신호 후처리를 이용하는 다중신호 인코더, 다중신호 디코더, 및 관련 방법들
US10547927B1 (en) * 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
US11538489B2 (en) * 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
US11361776B2 (en) 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
CN112151045B (zh) 2019-06-29 2024-06-04 华为技术有限公司 一种立体声编码方法、立体声解码方法和装置
CN112233682B (zh) * 2019-06-29 2024-07-16 华为技术有限公司 一种立体声编码方法、立体声解码方法和装置
CN114023338A (zh) 2020-07-17 2022-02-08 华为技术有限公司 多声道音频信号的编码方法和装置
CN113948095A (zh) 2020-07-17 2022-01-18 华为技术有限公司 多声道音频信号的编解码方法和装置
EP4243015A4 (en) 2021-01-27 2024-04-17 Samsung Electronics Co., Ltd. AUDIO PROCESSING APPARATUS AND METHOD
CN115410584A (zh) * 2021-05-28 2022-11-29 华为技术有限公司 多声道音频信号的编码方法和装置
US20230224668A1 (en) * 2022-01-13 2023-07-13 Electronics And Telecommunications Research Institute Apparatus for immersive spatial audio modeling and rendering

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3404837B2 (ja) * 1993-12-07 2003-05-12 ソニー株式会社 多層符号化装置
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
SE519981C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4369140B2 (ja) * 2003-02-17 2009-11-18 パナソニック株式会社 オーディオ高能率符号化装置、オーディオ高能率符号化方法、オーディオ高能率符号化プログラム及びその記録媒体
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
DE102004009628A1 (de) * 2004-02-27 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Beschreiben einer Audio-CD und Audio-CD
CN1973319B (zh) * 2004-06-21 2010-12-01 皇家飞利浦电子股份有限公司 编码和解码多通道音频信号的方法和设备
DE102004042819A1 (de) 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
ATE521143T1 (de) * 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
DE102005010057A1 (de) * 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
WO2006103581A1 (en) * 2005-03-30 2006-10-05 Koninklijke Philips Electronics N.V. Scalable multi-channel audio coding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7961890B2 (en) * 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
JP2006323314A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd マルチチャネル音声信号をバイノーラルキュー符号化する装置
EP1913578B1 (en) * 2005-06-30 2012-08-01 LG Electronics Inc. Method and apparatus for decoding an audio signal
ES2433316T3 (es) * 2005-07-19 2013-12-10 Koninklijke Philips N.V. Generación de señales de audio de multiples canales
JP5111375B2 (ja) * 2005-08-30 2013-01-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US8238561B2 (en) * 2005-10-26 2012-08-07 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
FR2898725A1 (fr) 2006-03-15 2007-09-21 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
WO2008006108A2 (en) * 2006-07-07 2008-01-10 Srs Labs, Inc. Systems and methods for multi-dialog surround audio
JP5270557B2 (ja) * 2006-10-16 2013-08-21 ドルビー・インターナショナル・アクチボラゲット 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現
JP2008129250A (ja) * 2006-11-20 2008-06-05 National Chiao Tung Univ Aacのためのウィンドウ切り替え方法およびm/s符号化の帯域決定方法
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
EP2201566B1 (en) * 2007-09-19 2015-11-11 Telefonaktiebolaget LM Ericsson (publ) Joint multi-channel audio encoding/decoding
CN101821799B (zh) 2007-10-17 2012-11-07 弗劳恩霍夫应用研究促进协会 使用上混合的音频编码
US8249883B2 (en) * 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
WO2009146734A1 (en) * 2008-06-03 2009-12-10 Nokia Corporation Multi-channel audio coding
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
JP5793675B2 (ja) * 2009-07-31 2015-10-14 パナソニックIpマネジメント株式会社 符号化装置および復号装置
JP5785082B2 (ja) * 2009-08-20 2015-09-24 ジーブイビービー ホールディングス エス.エイ.アール.エル. オーディオ・ストリームを合成する装置、方法及びプログラム
BR112012008793B1 (pt) * 2009-10-15 2021-02-23 France Telecom Processos de codificação e de decodificação paramétrica de um sinalaudiodigital multicanal, codificador e decodificador paramétricos de um sinalaudiodigital multicanal
US8942989B2 (en) 2009-12-28 2015-01-27 Panasonic Intellectual Property Corporation Of America Speech coding of principal-component channels for deleting redundant inter-channel parameters
KR101641685B1 (ko) * 2010-03-29 2016-07-22 삼성전자주식회사 멀티채널 오디오의 다운믹스 방법 및 장치
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
JP5681290B2 (ja) 2010-09-28 2015-03-04 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス
EP2656640A2 (en) * 2010-12-22 2013-10-30 Genaudio, Inc. Audio spatialization and environment simulation
CN104364842A (zh) * 2012-04-18 2015-02-18 诺基亚公司 立体声音频信号编码器
EP2717262A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding
MY179136A (en) 2013-03-05 2020-10-28 Fraunhofer Ges Forschung Apparatus and method for multichannel direct-ambient decomposition for audio signal processing
EP2989631A4 (en) * 2013-04-26 2016-12-21 Nokia Technologies Oy AUDIO SIGNAL ENCODER
JP2015011076A (ja) * 2013-06-26 2015-01-19 日本放送協会 音響信号符号化装置、音響信号符号化方法、および音響信号復号化装置
EP2830334A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
TWI774136B (zh) * 2013-09-12 2022-08-11 瑞典商杜比國際公司 多聲道音訊系統中之解碼方法、解碼裝置、包含用於執行解碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置的音訊系統
CN110992964B (zh) * 2014-07-01 2023-10-13 韩国电子通信研究院 处理多信道音频信号的方法和装置
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020034920A (ja) * 2015-03-09 2020-03-05 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャンネル信号を符号化又は復号化するための装置と方法
US11508384B2 (en) 2015-03-09 2022-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multi-channel signal
JP7208126B2 (ja) 2015-03-09 2023-01-18 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャンネル信号を符号化又は復号化するための装置と方法
US11955131B2 (en) 2015-03-09 2024-04-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multi-channel signal

Also Published As

Publication number Publication date
JP2018513402A (ja) 2018-05-24
US10388289B2 (en) 2019-08-20
BR122023021817A2 (pt) 2023-12-26
EP3268959B1 (en) 2019-08-14
JP7208126B2 (ja) 2023-01-18
CA2978818A1 (en) 2016-09-15
JP2020034920A (ja) 2020-03-05
MX364419B (es) 2019-04-25
MX2017011495A (es) 2018-01-25
AU2016231238B2 (en) 2018-08-02
US20210012783A1 (en) 2021-01-14
CN112233684A (zh) 2021-01-15
KR102109159B1 (ko) 2020-05-12
US20240249732A1 (en) 2024-07-25
BR122023021787A2 (pt) 2023-12-26
RU2017134964A3 (ja) 2019-04-05
AR103873A1 (es) 2017-06-07
PT3268959T (pt) 2019-11-11
ES2769032T3 (es) 2020-06-24
US20190333524A1 (en) 2019-10-31
RU2017134964A (ru) 2019-04-05
RU2711055C2 (ru) 2020-01-14
US11955131B2 (en) 2024-04-09
BR122023021855A2 (pt) 2023-12-26
BR122023021854A2 (pt) 2023-12-26
TW201642248A (zh) 2016-12-01
PL3268959T3 (pl) 2020-01-31
US11508384B2 (en) 2022-11-22
CN107592937A (zh) 2018-01-16
EP3268959A1 (en) 2018-01-17
JP2023052219A (ja) 2023-04-11
US20230134993A1 (en) 2023-05-04
BR112017019187A2 (pt) 2018-04-24
EP3067885A1 (en) 2016-09-14
US10762909B2 (en) 2020-09-01
AU2016231238A1 (en) 2017-09-21
US20180090151A1 (en) 2018-03-29
BR122023021774A2 (pt) 2023-12-26
CN112233684B (zh) 2024-03-19
CN107592937B (zh) 2021-02-23
EP3506259A1 (en) 2019-07-03
SG11201707180SA (en) 2017-10-30
CA2978818C (en) 2020-09-22
WO2016142375A1 (en) 2016-09-15
KR20170130458A (ko) 2017-11-28
TWI584271B (zh) 2017-05-21

Similar Documents

Publication Publication Date Title
JP6600004B2 (ja) マルチチャンネル信号を符号化又は復号化するための装置と方法
JP6573640B2 (ja) オーディオ・エンコーダおよびデコーダ
JP6346278B2 (ja) ジョイント符号化残留信号を用いたオーディオエンコーダ、オーディオデコーダ、方法、およびコンピュータプログラム
BR112017019187B1 (pt) Aparelho e método para codificar e decodificar um sinal de múltiplos canais
BR122023021817B1 (pt) Aparelho e método para codificar e decodificar um sinal de múltiplos canais
BR122023021854B1 (pt) Aparelho e método para codificar e decodificar um sinal de múltiplos canais
BR122023021787B1 (pt) Aparelho e método para codificar e decodificar um sinal de múltiplos canais
BR122023021855B1 (pt) Aparelho e método para codificar e decodificar um sinal de múltiplos canais
BR122023021774B1 (pt) Aparelho e método para codificar e decodificar um sinal de múltiplos canais

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20171113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190405

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191003

R150 Certificate of patent or registration of utility model

Ref document number: 6600004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250