JP6092187B2 - ステレオオーディオ信号の処理 - Google Patents

ステレオオーディオ信号の処理 Download PDF

Info

Publication number
JP6092187B2
JP6092187B2 JP2014506864A JP2014506864A JP6092187B2 JP 6092187 B2 JP6092187 B2 JP 6092187B2 JP 2014506864 A JP2014506864 A JP 2014506864A JP 2014506864 A JP2014506864 A JP 2014506864A JP 6092187 B2 JP6092187 B2 JP 6092187B2
Authority
JP
Japan
Prior art keywords
audio signal
signal
input
converted
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014506864A
Other languages
English (en)
Other versions
JP2014516425A (ja
Inventor
ヴォス,コーエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Skype Ltd Ireland
Original Assignee
Skype Ltd Ireland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skype Ltd Ireland filed Critical Skype Ltd Ireland
Publication of JP2014516425A publication Critical patent/JP2014516425A/ja
Application granted granted Critical
Publication of JP6092187B2 publication Critical patent/JP6092187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、ステレオオーディオ信号の処理に関する。
ステレオオーディオ信号は複数のオーディオ信号(またはオーディオ「チャンネル」)よりなる。例えば、ステレオオーディオ信号は、異なるロケーションにある複数のマイクロホンを用いて録音される。各マイクロホンはそれぞれのロケーションでキャプチャしたオーディオ信号を提供する。個別のオーディオ信号は合成されて、より完全に聞こえるステレオオーディオ信号となる。人間には、ステレオオーディオ信号を構成する個別の各オーディオ信号よりもステレオオーディオ信号の方が音質がよく聞こえることが多い。ステレオオーディオ信号は複数のスピーカから出力され、ユーザに対してステレオオーディオ信号を提供する。
一例では、ステレオオーディオ信号は「左」信号(L)と「右」信号(R)を含む。ここで用いる用語「左」と「右」は必ずしも信号の相対的な位置を示すものではない。かかるステレオオーディオ信号は、出力されるステレオオーディオ信号を聴くユーザにステレオ体験を提供するために、異なる位置に配置された2つのスピーカから出力される。ステレオオーディオ信号を送信または記憶することが望ましく、そうするために、ステレオオーディオ信号は(例えば、デジタルドメインで)符号化される。2つの信号LとRは、それぞれのモノエンコーダ(mono encoders)を用いて別々に符号化される。これは、単純かつ効率的なオーディオ信号の符号化を提供する。このように2つのモノコーデックを用いて左右のチャンネルを別々に符号化することは、「デュアルモノコーディング」として知られている。
ステレオオーディオ信号を符号化する場合、第1の目的は、ステレオオーディオ信号の音質をできるだけ高く保つことである。すなわち、符号化したステレオオーディオ信号を復号する場合、もとのステレオオーディオ信号にできるだけ近くなければならない。しかし、第2の目的は、符号化されたステレオオーディオ信号が少量のデータを用いて表せることである。符号化されたステレオオーディオ信号を記憶し送信するため、高いコーディング効率が望ましい。第1と第2の目的は相容れない場合がある。
上記のデュアルモノコーディング方法の欠点は、左右のチャネルが相関している場合、そのような場合が多いのであるが、符号化されるステレオオーディオ信号が効率的にコーディングされないことである。言い換えると、デュアルモノコーディング方法は、LチャンネルとRチャンネルの間の冗長性を利用しないので、コーディング効率が最適ではない。さらに、2つのモノコーデックにより、LとRのオーディオ信号成分間の相関とは異なる相関を有する量子化誤差成分が生じる。結果として、これらの誤差成分は、空間的ステレオイメージにおいて、浸透とは別に現れるため、リスナが気づきやすくなる。この効果はバイノーラルアンマスキングとして知られている。非特許文献1に記載されているように、バイノーラルアンマスキングはリスナの知覚系がノイズを空間的に分離(isolate)できるため、2チャンネルのステレオオーディオ信号中の相関信号成分とは相関していないノイズ成分をアンマスクできる(または、2チャンネルのステレオオーディオ信号中の非相関信号成分から、相関ノイズ成分をアンマスクする)ことに関する。換言すると、LとRの信号間の誤差成分の相関が、実際のLとRのオーディオ信号の相関と一致しない場合、その誤差はリスナ(human listeners)に取って知覚的により大きいものである。
上記のデュアルモノコーディング方法に替わるコーディング方法は、(非特許文献2に記載されている)ミドル/サイド(Mid/Side)コーディング方法である。この方法では、次の式により、左右のチャンネルがミドル(M)とサイド(S)のチャンネルに変換される:
Figure 0006092187
ミドル及びサイドのチャンネルの信号はモノコーデックにより別々にコーディングされる。言うまでもなく、ミドル信号Mは左右信号の平均を表し、サイド信号Sは左右信号間の差分の半分を表す。M信号とS信号は、記憶や伝送などのために、別々に符号化できる。ステレオオーディオ信号を回復するため、デコーダはMチャンネルとSチャンネルの信号を左右チャンネル表現に変換し戻すことができる。例えば、デコーダがミドルチャンネルで信号M’、及びサイドチャンネルで信号S’を受け取ると、次式を用いて、左右チャンネルの信号(L’とR’)を決定できる:
Figure 0006092187
上記のデュアルモノコーディング法と比較して、M/Sコーディング法は、左右信号が互いに非常に似ている時、コーディング効率と音質が良くなる。これは、この場合には、サイド信号Sの値が小さくなり、左右信号を表現するのに必要なデータ量と比較して、少量のデータ(例えば、少数のビット)で表現できるからである。
しかし、L信号とR信号がそれほど類似していない場合、M/Sコーディング法ではコーディング効率と音質を改善できないことがある。
J. D. Johnston, A. J. Ferreira著「Sum-Difference Stereo Transform Coding」(IEEE International Conference on Acoustics, Speech and Signal Processing, March 1992) J. D. Johnston, A. J. Ferreira著「Sum-Difference Stereo Transform Coding」(IEEE International Conference on Acoustics, Speech and Signal Processing, March 1992) J. Lindblom, J. H. Plasberg, R. Vafin著「Flexible Sum-Difference Stereo Coding Based on Time Aligned Signal Components」(IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, October 2005)
発明者は、M/Sコーディング法を修正すると、ある状況では、上記のM/Sコーディング法よりも高い符号化効率と音質を提供できることに気づいた。この新しい方法では、左右入力チャンネルを、各モノフォニックオーディオコーデックにより符号化された2つの新しい信号に変換することにより、ステレオオーディオ信号をコーディングする。好ましい実施形態では、第1の信号はミドル信号(M)である。これは、左(L)チャンネルと右(R)チャンネルの平均として計算される。すなわち、M=[1/2](L+R)。一方、第2の信号は、サイド信号(S)であり、2つのチャンネル間の重み付け差分よりなる。すなわち、S=[1/2][(1−w)L−(1+w)R]である。ここで、−1<w<1である。スカラーパラメータwは、量子化され、コーディングされた信号M及びSとともに、デコーダに送信される。デコーダは、受信されたミドル信号(M’)及びサイド信号(S’)を復号し、M’及びS’信号を、次式を用いて、ステレオオーディオ信号の左信号(L’)と右信号(R’)に変換し戻す:L’=(1+w)M’+S’及びR’=(1−w)M’−S’。
本発明の第1の態様によると、入力ステレオオーディオ信号を処理して、前記入力ステレオオーディオ信号を表す変換ステレオオーディオ信号を生成する方法が提供される。該方法は、前記入力ステレオオーディオ信号は左入力オーディオ信号と右入力オーディオ信号とを含み、前記変換ステレオオーディオ信号は第1変換オーディオ信号と第2変換オーディオ信号とを含み、前記方法は、前記第1変換オーディオ信号を生成する、前記第1変換オーディオ信号は前記左入力オーディオ信号と前記右入力オーディオ信号との和に基づく、ステップと、前記第2変換オーディオ信号を生成する、前記第2変換オーディオ信号は前記左入力オーディオ信号の第1関数と前記右入力オーディオ信号の第2関数との差に基づく、ステップと、前記第1と第2の関数は、前記変換ステレオオーディオ信号の少なくとも一特徴を調整するように調整可能である。
好ましい実施形態は、2つの有利な特性を提供する:
・2つの変換されたオーディオ信号のうち一方(例えば、第1の変換オーディオ信号)は、入力ステレオオーディオ信号のモノバージョンに対応し、
・他方の変換されたオーディオ信号(例えば、第2の変換オーディオ信号)は、左右入力オーディオ信号がスケール係数だけの違いであるときはいつも、ゼロにできる。
上記の第1の有利な特性により、変換されたステレオオーディオ信号を受け取るデコーダのモノ・インプリメンテーションの複雑度が下げられる。かかるデコーダのモノ・インプリメンテーションは、デコーダのフルステレオ・インプリメンテーションよりも、CPU及びメモリ資源が少なくて済む。この複雑性セービング(complexity saving)の理由は、モノデコーダは、変換されるステレオオーディオ信号のビットストリームのうち、モノ表現(すなわち、第1の変換されたオーディオ信号M)を含む部分のみを復号すればよく、他の部分(すなわち、第2の変換されたオーディオ信号S)は無視できるからである。実際、これにより、デコーダの複雑性とメモリ消費を約半分に減らせる(従来、モノデコーダは左右信号を復号して、これら2つの信号の平均を計算し、ステレオ信号のペアをモノ信号に変換しているからである)。このため、モノデコーダは、実装と、ローエンドハードウェアや多数の呼を処理するゲートウェイにおける実行とが比較的容易であり、バッテリー寿命が長くなる。このことは、例えばデコーダがモバイルデバイスで操作する場合などに特に重要である。デコーダが実装されるデバイスは、ステレオ再生機能を有さないこともあり、そのためステレオデコーダでは知覚音質が改善されない。ここに説明した方法を用いれば、モノデコーダは、変換されたステレオオーディオ信号ビットストリームと互換性を有している。第1の有利な特性は、ビットストリーム互換デコーダの最低ハードウェア要件が大幅に下がることである。
上記の第2の有利な特性により、コーディング効率と音質がよくなる。重み付け差分信号(例えば、第2の変換されたオーディオ信号S)は、小さければ、音質を低下させずに、低ビットレートで符号化できる。具体的に、Sがゼロ(またはほぼゼロ)の場合、Sオーディオ信号のコーディングにビットをまったく(またはほとんど)使わなくてもよい。これにより、より多くのビットを、第1の変換オーディオ信号Mの符号化に使え、変換ステレオオーディオ信号の音質がよくなる。一例として、上記の好ましい実施形態では(M=[1/2](L+R)およびS=[1/2][(1−w)L−(1+w)R]であり)、第2の変換オーディオ信号Sは、左右の入力オーディオ信号が同じ(すなわち、L=Rである)場合、スケーリングパラメータwをゼロに設定することにより、ゼロに調整できる。これらの好ましい実施形態では、左入力オーディオ信号がゼロであるとき、スケーリングパラメータwを−1に設定することにより、Sをゼロにできる。さらに、これらの好ましい実施形態では、右入力オーディオ信号がゼロであるとき、スケーリングパラメータwを1に設定することにより、Sをゼロにできる。
また、上記の第2の有利な特性は、バイノーラルアンマスキングにつながるステレオイメージにおけるアーティファクトを回避することにより、変換されたステレオオーディオ信号の音質を改善する。かかるアーティファクトは、左右の入力オーディオ信号が同じ場合にのみ、背景技術欄に記載したM/Sコーディング法により回避できる。対照的に、本発明の実施形態では、左右の入力オーディオ信号がスケール係数まで等しいときはいつも(すなわち、右入力オーディオ信号にある係数を適用することにより、左入力オーディオ信号のよい近似が提供できるときはいつも、すなわちL=aRのときはいつも)、変換ステレオオーディオ信号が復号される時、復号されたステレオオーディオ信号の左右オーディオ信号の量子化エラー間の相関は、左右の入力オーディオ信号間の相関に等しい。そのため、変換ステレオオーディオ信号中のコーディングアーティファクトのバイノーラルマスキングが最適になる。
この方法は、各モノエンコーダを用いて前記第1と第2の変換オーディオ信号を符号化するステップをさらに含んでもよい。また、この方法は、前記変換ステレオオーディオ信号を、前記第1と第2の関数の表示とともに、デコーダに送信するステップを含んでもよい。前記表示は前記ステレオオーディオ信号のフレームごとに一度送信できる。
本方法はさらに、前記左右入力オーディオ信号を分析して、前記第1と第2の関数の最適な関数を決定するステップと、前記決定された最適な関数により前記第1と第2の関数を調整するステップとをさらに含み得る。前記最適な関数は前記第2変換オーディオ信号を最小化するように決定できる。
好ましい実施形態では、前記第1と第2の関数は互いに依存する。例えば、前記第1と第2の関数の和は、前記関数が調整されても一定であってもよい。一例では、
前記第1変換オーディオ信号Mと前記第2変換オーディオ信号Sは次式で与えられ:
Figure 0006092187
ここで、LとRはそれぞれ前記左右入力オーディオ信号を示し、wはスケーリングパラメータであり、前記第1関数は(1−w)で与えられ、前記第2関数は(1+w)で与えられる。
前記変換ステレオオーディオ信号の少なくとも一特徴は、前記変換ステレオオーディオ信号のコーディング効率と音質とのうち少なくとも一方を含んでもよい。
本方法はさらに、前記左右オーディオ信号を分析するステップと、前記左右入力オーディオ信号の分析が、デュアルモノコーディングモードに切り替えれば、前記変換ステレオオーディオ信号のコーディング効率または音質が改善することを示すとき、前記デュアルモノコーディングモードに切り換えるステップとをさらに含み得る。
前記第2変換オーディオ信号を生成するステップは、前記左入力オーディオ信号に前記第1関数を適用して、調整された左入力オーディオ信号を生成するステップと、前記右入力オーディオ信号に前記第2関数を適用して、調整された右入力オーディオ信号を生成するステップと、前記調整された左入力オーディオ信号と前記調整された右入力オーディオ信号との間の差を決定するステップとを含み得る。
本方法は、前記左右入力オーディオ信号の和を決定するステップと、前記左右入力オーディオ信号の差を決定するステップと、前記決定された左右入力オーディオ信号の和に調整関数を適用して、調整された信号を生成するステップとを有し、前記第2変換オーディオ信号は、前記調整された信号と、前記決定された左右入力オーディオ信号間の差との間の差に基づき生成できる。
前記第1と第2の関数は第1と第2のスケーリング係数であってもよい。あるいは、前記第1と第2の関数は予測フィルタのフィルタ係数により決定できる。
本発明の第2の態様によると、入力ステレオオーディオ信号を処理して、前記入力ステレオオーディオ信号を表す変換ステレオオーディオ信号を生成する装置が提供される。該装置は、前記入力ステレオオーディオ信号は左入力オーディオ信号と右入力オーディオ信号とを含み、前記変換ステレオオーディオ信号は第1変換オーディオ信号と第2変換オーディオ信号とを含み、前記装置は、前記第1変換オーディオ信号を生成するように構成された、前記第1変換オーディオ信号は前記左入力オーディオ信号と前記右入力オーディオ信号との和に基づく、第1生成手段と、前記第2変換オーディオ信号を生成するように構成された、前記第2変換オーディオ信号は前記左入力オーディオ信号の第1関数と前記右入力オーディオ信号の第2関数との差に基づく、第2生成手段とを含み、前記第1と第2の関数は、前記変換ステレオオーディオ信号の少なくとも一特徴を調整するように調整可能である。
本装置はさらに、前記第1変換オーディオ信号を符号化するように構成された第1モノエンコーダと、前記第2変換オーディオ信号を符号化するように構成された第2モノエンコーダとを含み得る。本装置はさらに、前記変換ステレオオーディオ信号を、前記第1と第2の関数の表示とともに、デコーダに送信するように構成された送信機をさらに含み得る。
本発明の第3の態様によると、入力ステレオオーディオ信号から生成された変換ステレオオーディオ信号から出力ステレオオーディオ信号を生成する方法が提供される。前記入力ステレオオーディオ信号は左入力オーディオ信号と右入力オーディオ信号とを含み、前記変換ステレオオーディオ信号は、少なくとも一関数により前記左右入力オーディオ信号に関係する第1変換オーディオ信号と第2変換オーディオ信号を含み、前記出力ステレオオーディオ信号は左出力オーディオ信号と右出力オーディオ信号とを含み、前記方法は、前記第1と第2の変換オーディオ信号を前記少なくとも一関数の表示とともに受信するステップと、前記右出力オーディオ信号を生成する、前記右出力オーディオ信号は前記第2変換オーディオ信号と前記第1変換オーディオ信号の第1復号関数との和に基づく、ステップと、前記左出力オーディオ信号を生成する、前記左出力オーディオ信号は前記第2変換オーディオ信号と前記第1変換オーディオ信号の第2復号関数との間の差に基づく、ステップとを含み、先記第1と第2の復号関数は、前記生成される左右出力オーディオ信号が前記左右入力オーディオ信号を表すように、前記受信された少なくとも一関数の表示により決定される。
前記第1変換オーディオ信号は、前記左入力オーディオ信号と前記右入力オーディオ信号との和に基づいていてもよく、前記第2変換オーディオ信号は、前記左入力オーディオ信号の第1関数と前記右入力オーディオ信号の第2関数との間の差に基づいていてもよい。また、前記少なくとも一関数は前記第1関数と前記第2関数とを含み得る。
本方法はさらに、前記右出力信号を生成するステップと、前記左出力オーディオ信号を生成するステップとの前に、各モノデコーダを用いて、前記受信された第1と第2の変換オーディオ信号を復号するステップをさらに有する。本方法はさらに、前記出力ステレオオーディオ信号を出力するステップをさらに有する。
好ましい実施形態において、前記左出力オーディオ信号L’と前記右出力オーディオ信号R’とは次式により与えられ:
Figure 0006092187
ここで、M’とS’はそれぞれ前記受信された第1と第2の変換オーディオ信号を示し、wはスケーリングパラメータであり、前記第3関数は(1−w)で与えられ、前記第4関数は(1+w)で与えられる。
本発明の第4の態様によると、非過渡的なコンピュータ読み取り可能媒体に化体され、装置の一または複数のプロセッサにおいて実行されると、上記の方法による動作を実行するように構成されたコードを含む、コンピュータプログラム製品が提供される。
本発明の第5の態様によると、入力ステレオオーディオ信号から生成された変換ステレオオーディオ信号から出力ステレオオーディオ信号を生成する方法が提供される。前記入力ステレオオーディオ信号は左入力オーディオ信号と右入力オーディオ信号とを含み、前記変換ステレオオーディオ信号は、少なくとも一関数により前記左右入力オーディオ信号に関係する第1変換オーディオ信号と第2変換オーディオ信号を含み、前記出力ステレオオーディオ信号は左出力オーディオ信号と右出力オーディオ信号とを含み、前記装置は、前記第1と第2の変換オーディオ信号を前記少なくとも一関数の表示とともに受信するように構成された受信器と、前記右出力オーディオ信号を生成するように構成された、前記右出力オーディオ信号は前記第2変換オーディオ信号と前記第1変換オーディオ信号の第1復号関数との和に基づく、第1生成手段と、前記左出力オーディオ信号を生成するように構成された、前記左出力オーディオ信号は前記第2変換オーディオ信号と前記第1変換オーディオ信号の第2復号関数との間の差に基づく、第2生成手段と、前記第1と第2の復号関数を、前記生成される左右出力オーディオ信号が前記左右入力オーディオ信号を表すように、前記受信された少なくとも一関数の表示により決定するように構成された決定手段と、を含む。
本装置はさらに、前記受信された第1変換オーディオ信号を復号するように構成された第1モノデコーダと、前記受信された第2変換オーディオ信号を復号するように構成された第2モノデコーダと、さらにを含んでいてもよい。
本発明の第6の態様によると、システムが提供される。該システムは、入力ステレオオーディオ信号を処理して変換ステレオオーディオ信号を生成する、本発明の第2の態様による第1の装置と、前記変換ステレオオーディオ信号を受信し、出力ステレオオーディオ信号を生成する、本発明の第5の態様による第2の装置とを含む。
本発明をよく理解し、どのように実施するか明りょうに示すため、一例として図面を参照する。
好ましい一実施形態によるシステムを示す図である。 第1の実施形態による、オーディオエンコーダブロックとオーディオデコーダブロックを示す図である。 好ましい一実施形態によるステレオオーディオ信号の処理方法を示すフローチャートである。 第2の実施形態による、オーディオエンコーダブロックとオーディオデコーダブロックを示す図である。 第3の実施形態による、オーディオエンコーダブロックとオーディオデコーダブロックを示す図である。
ここで本発明の好ましい実施形態を例示により説明する。
図1は、好ましい一実施形態によるシステム100を示す図である。システム100は、第1ノード102と第2ノード104とを含む。第1ノード102は、ステレオオーディオ信号を受け取り、符号化し、符号化したステレオオーディオ信号を第2ノード104に送るように構成されている。第2ノード104は、第1ノード102から受け取ったステレオオーディオ信号を復号し、ステレオオーディオ信号を出力するように構成されている。これらの目的のため、第1ノード102は、マイクロホン106などのオーディオ入力手段と、オーディオエンコーダブロック108とを有し、第2ノード104は、オーディオデコーダブロック110と、スピーカ112などのオーディオ出力手段とを有する。マイクロホン106は、ステレオオーディオ信号を受信し、オーディオエンコーダブロック108に送るように構成されている。オーディオエンコーダブロック108は、ステレオオーディオ信号を符号化するように構成されている。符号化されたステレオオーディオ信号は、(例えば、図1には図示しない送信器を介して)第1ノード102から送られ得る。符号化されたステレオオーディオ信号は、(例えば、図1には図示しない受信器を用いて)第2ノード104で受け取られ、オーディオデコーダブロック110に送られる。オーディオデコーダブロック110は、ステレオオーディオ信号を復号するように構成されている。ステレオオーディオ信号が正しく復号できるように、オーディオデコーダブロック110の復号プロセスは、オーディオエンコーダブロック108の符号化プロセスに対応している。例えば、復号プロセスは符号化プロセスの逆プロセスであってもよい。復号されたステレオオーディオ信号は、デコーダブロック110からスピーカ112に送られ、スピーカ112から出力される。
マイクロホン106はステレオオーディオ信号を受け取る機能を有する。ステレオオーディオ信号を受け取るために、各マイクロホン106は、(左オーディオ信号や右オーディオ信号など)別個の入力オーディオ信号を受け取ることができる。本技術分野では、ステレオオーディオ信号を受け取る異なるタイプのマイクロホン106が知られているが、これより詳細には説明しない。同様に、スピーカ112はステレオオーディオ信号を出力機能を有する。ステレオオーディオ信号を出力するために、各スピーカ112は、(左オーディオ信号や右オーディオ信号など)別個の入力オーディオ信号を出力することができる。本技術分野では、ステレオオーディオ信号を出力する異なるタイプのスピーカ112が知られているが、これより詳細には説明しない。
一例では、マイクロホン106は、第1ノード102のロケーションにおいて、音楽や第1ノード102のユーザからのスピーチなどのステレオオーディオ信号を録音する。ステレオオーディオ信号は処理され、第2ノード104のスピーカに送られ、第2ノード104のユーザに出力される。ステレオオーディオ信号は、リスナには、対応するモノオーディオ信号よりよい音質であると知覚されることが多い。
本発明の実施形態は、システム100などのシステムで利用するため、ステレオオーディオ信号を高音質で効率的にコーディングするために、オーディオエンコーダブロック108とオーディオデコーダブロック110において利用される方法に関する。
背景技術欄で説明したM/Sコーディング方法では、(M=(L+R)/2、S=(L−R)/2)左右信号が強く相関しているが、レベルが異なる場合、ステレオオーディオ信号のコーディング効率と音質はよくない。この状況は、例えば、ステレオ信号を生成するためモノ信号を「振幅パン(amplitude pan)」した場合に生じることがある。振幅パンニング(amplitude panning)はレコーディングスタジオや放送スタジオにおいてよく使われる方法である。
一方法では、ミドル信号とサイド信号(MとS)が次式で与えられるように、差分信号Sを計算するとき、適応利得(g)を用いる:
Figure 0006092187
これらの信号は別々にコーディングされ、利得値gとともにデコーダに送られる。デコーダは、ミドル信号とサイド信号(M’とS’)を受け取り、次式により、受け取った信号を左右表現(L’とR’)に変換し戻す:
Figure 0006092187
適応利得値gの利用により、左右信号が強く相関し、レベルが近い場合に、ステレオオーディオ信号のコーディング品質を改善できる。サイド信号Sのエネルギーが小さくなるように利得値を適応できるからである。
しかし、適応利得法の欠点は、性能が非対称である(すなわち、左右のオーディオ信号で異なる)ことにある。左チャンネルの信号がゼロの場合、ゲインをゼロ(g=0)に設定することにより、サイド信号Sをゼロにでき、性能はよい。一方、右チャンネルの信号がゼロの場合、信号Sは信号Mと同じになり、コーディング効率が悪くなる。2つのモノコーデックが同じ信号を2回コーディングするからである。さらに、右チャンネルの信号のレベルが低く、信号Sを最小化するために利得gが大きいとき、性能は悪くなる。その場合、右入力信号中の量子化雑音が増幅され、これによりサイド信号Sで動作するモノコーデックの効率が悪くなる。そのため、実際には、利得値gを1よりずっと大きくすることはできない。
本発明の実施形態により、上記の適応利得コーディング法の少なくともいくつかの問題を解消できるコーディング方法を提供する。
ここで、図2を参照して、第1の実施形態によるオーディオエンコーダブロック108とオーディオデコーダブロック110を説明する。オーディオエンコーダブロック108は、第1ミキサ202、第2ミキサ204、第1スケーリング部206、第2スケーリング部208、第3スケーリング部210、第4スケーリング部212、第1モノエンコーダ214、及び第2モノエンコーダ216を有する。オーディオデコーダブロック110は、第1モノデコーダ218、第2モノデコーダ220、第5スケーリング部222、第6スケーリング部226、第3ミキサ224、及び第4ミキサ228を有する。オーディオエンコーダブロック108は、入力オーディオ信号を左右オーディオ信号(LとR)として受け取るように構成されている。Lオーディオ信号は第1ミキサ202の第1正入力と第1スケーリング要素206の入力に結合されている。Rオーディオ信号は第1ミキサ202の第2正入力と第2スケーリング要素208の入力に結合されている。第1スケーリング部206の出力は第2ミキサ204の正入力に結合されている。第2スケーリング部208の出力は第2ミキサ204の負入力に結合されている。第1ミキサ202の出力は第3スケーリング部210の入力に結合されている。第3スケーリング部210の出力(M)は第1モノエンコーダ214の入力に結合されている。第2ミキサ204の出力は第4スケーリング部212の入力に結合されている。第4スケーリング部212の出力(S)は第2モノエンコーダ214の入力に結合されている。第1モノエンコーダ214の出力は、(例えば、第1ノード108の送信器と第2ノード110の受信器とを介して)第1モノデコーダ218の入力に結合されている。第2モノエンコーダ216の出力は、(例えば、第1ノード108の送信器と第2ノード110の受信器とを介して)第2モノデコーダ220の入力に結合されている。第1モノデコーダ218の出力(M’)は、第5スケーリング部222の入力と、第6スケーリング部226の入力とに結合している。第5スケーリング部222の出力は第3ミキサ224の第1正入力に結合されている。第6スケーリング部226の出力は第4ミキサ228の正入力に結合されている。第2モノデコーダ220の出力は、第3ミキサ224の第2正入力と、第4ミキサ228の負入力とに結合されている。第3ミキサ224の出力(L’)がオーディオデコーダブロック110からの出力である。第4ミキサ228の出力(R’)がオーディオデコーダブロック110からの出力である。
ここで、エンコーダブロック108とデコーダブロック110の動作を、図3のフローチャートを参照して説明する。
ステップS302において、エンコーダブロック108がマイクロホン106から入力オーディオ信号(LとR)を受け取る。ステップS304において、LとRの信号を用いて、ミドル信号(M)とサイド信号(S)を生成する。そうするために、ミキサ202がL信号とR信号を加算する。ミキサ202の出力は、スケーリング部210により係数1/2だけ(by a factor of a half)スケーリングされ、ミドル信号Mとなる。それゆえ、ミドル信号MはM=(L+R)/2で与えられることが分かる。L信号は、スケーリング部206により係数1−wだけスケーリングされ、R信号は、スケーリング部208により係数1+wだけスケーリングされる。ミキサ204が、スケーリングされたL信号とR信号との間の差分を求める。すなわち、ミキサ204は、スケーリング要素206の出力から、スケーリング要素208の出力を減算する。ミキサ204の出力は、スケーリング部212により係数1/2だけスケーリングされ、サイド信号Sとなる。それゆえ、ミドル信号(M)とサイド信号(S)が次式で与えられることが分かる:
Figure 0006092187
スケーリングパラメータwは−1<w<1の範囲から選択される。ステップS306において、ミドル信号Mはモノエンコーダ214によりエンコードされ、サイド信号Sはモノエンコーダ216によりエンコードされる。それゆえ、2つのオーディオ信号(MとS)は別々に符号化される。当業者には、モノエンコーダ214と216においてオーディオ信号MとSをエンコードするのに使える方法は知られており、モノエンコーダ214と216の動作の詳細はここでは説明しない。
ステップS308において、エンコード(encode)されたM信号とS信号は、第1ノード102から第2ノード104に送られる。スカラーパラメータwは量子化され、符号化されたM信号及びS信号とともに第1ノード102から第2ノード104に送られる。第2ノード110のオーディオデコーダブロック10が、符号化されたM信号及びS信号とスカラーパラメータwとを受け取る。具体的には、第1モノデコーダ218が符号化(encode)されたM信号を受け取り、第2モノデコーダ220が符号化されたS信号を受け取る。
ステップS310において、符号化されたM信号とS信号が復号される。第1モノデコーダ218は符号化されたM信号を復号(decode)して、ミドル信号(M’)を提供し、第2モノデコーダ220は符号化されたS信号を復号して、サイド信号(S’)を提供する。復号されたM’信号とS’信号には記号「′」を付したが、その理由は、第1ノード102のモノエンコーダ214と216に入力されたM信号及びS信号と完全には一致しないからである。モノコーデック214、216、218及び220の符号化及び復号プロセスが完全であり、第1ノード102と第2ノード104の間の符号化されたM信号とS信号の送信が完全にロスレス(lossless)であれば、復号された信号M’とS’は、モノエンコーダ214と216に入力されたM信号とS信号と同じである。しかし、現実の物理系では、符号化と復号のプロセスは完全ではなく、第1ノード102と第2ノード104との間を送信されるので、符号化されたM信号とS信号の損失や歪みが生じ得る。そのため、M’はMと同じでない可能性があり、S’はSと同じでない可能性がある。
ステップS312において、オーディオデコーダブロック110において、復号されたM’信号とS’信号から、左右信号(L’とR’)が生成される。オーディオデコーダブロック110は、符号化オーディオ信号とともにスカラーパラメータwを受け取り、そのスカラーパラメータの値を用いて、スケーリング部222と226が用いるスケーリング係数を設定する。M’信号はスケーリング部222により係数(1+w)を用いてスケーリングされ、スケーリングされたM’信号がS’信号とミキサ224により加算されるミキサ224の出力はL’信号として用いられる。M’信号はスケーリング部226により係数(1−w)を用いてスケーリングされ、ミキサ228がスケーリングされたM’信号とS’信号との間の差分を求める。すなわち、ミキサ228が、スケーリング部226の出力からS’信号を減算する。ミキサ228の出力はR’信号として用いられる。それゆえ、左信号(L’)と右信号(R’)が次式で与えられることが分かる:
Figure 0006092187
L’信号とR’信号がオーディオデコーダブロック110から出力され、スピーカ112に送られる。ステップS314において、L’信号とR’信号がスピーカ112から出力され、それにより第2ノード104からそのユーザにステレオオーディオ信号が出力される。
上記の式1aと1bにおいて、ミドル信号(M)は2つの入力チャンネル(LとR)のモノバージョン(mono version)に対応し、サイド信号(S)はLのスケーリングされたバージョン(scaled version)とRのスケーリングされたバージョン(scaled version)との間の差分であることが分かる。上記の通り、デコーダのモノ・インプリメンテーションは、デコーダのフルステレオ・インプリメンテーションよりも、CPU及びメモリ資源が少なくて済む。この複雑性セービング(complexity saving)の理由は、モノデコーダは、送信されるステレオオーディオ信号のビットストリームのうち、モノ表現(すなわち、符号化されたM信号)を含む部分のみを復号すればよく、他の部分(すなわち、符号化されたS信号)は無視できるからである。実際、これにより、デコーダにおける複雑性とメモリ消費とが約半分に減らせることがある。このため、モノデコーダは、実装と、ローエンドハードウェアや多数の呼を処理するゲートウェイにおける実行とが比較的容易であり、バッテリー寿命が長くなる。このことは、例えばデコーダがモバイルデバイスで操作する場合などに特に重要である。デコーダが実装されるデバイスは、ステレオ再生機能を有さない(例えば、第2ノード104のスピーカが1つだけ)かも知れないが、そのため、知覚される音質はステレオデコーダでも改善されない。ここに説明した方法を用いれば、モノデコーダは、変換されたステレオオーディオ信号ビットストリームと互換性を有している。
スケーリングパラメータwは、L信号とR信号にスケール係数の違いしかない時はいつも、サイド信号Sをゼロにするように、調整できる。スケーリングパラメータwは動作中に調整され、全プロセスを通してサイド信号Sが最小化される。具体的に、L信号とR信号を分析して、wをどう設定するか、それゆえL信号とR信号に適用するスケーリングをどう調整するか決定する。スケーリングパラメータは−1<w<1の範囲内に維持されるが、これにより、有利にもL信号とR信号中の量子化ノイズが増幅されない。
スケーリング部206と208によりL信号とR信号に適用されるスケーリング係数は、相互依存することが分かる。言い換えると、L信号に適用されるスケーリング係数が変化すると、R信号に適用されるスケーリング係数も変化する。実際、スケーリング係数(1−w)と(1+w)を加えると、常に定数になる。上記の好ましい実施形態では、和は2である。スケーリング部212により行われるスケーリングにより、ミキサ204の出力は半分になる。このように、スケーリングパラメータwの値により、ミキサ204に送られるLとRの比率が設定される。上記の通り、サイド信号Sを表すのに必要なデータ量を減らして、ステレオオーディオ信号のコーディング効率と音質を改善すると有利である。
一例として、左右の入力オーディオ信号が同じである(すなわち、L=Rである)とき、スケーリングパラメータwをゼロに設定することにより、Sをゼロにできる。これらの好ましい実施形態では、左入力オーディオ信号がゼロであるとき、スケーリングパラメータwを−1に設定することにより、Sをゼロにできる。さらに、これらの好ましい実施形態では、右入力オーディオ信号がゼロであるとき、スケーリングパラメータwを1に設定することにより、Sをゼロにできる。それゆえ、好ましい実施形態では、L信号とR信号の分析結果によりスケーリングパラメータwを設定して、サイド信号Sのエネルギーを最小化する。
上記の通り、最大のコーディング効率と音質を実現するように、スケーリングパラメータwを最適化することができる。この目的に向けた近似としてよいものは、サイド信号Sのエネルギーを最小化するようにwを選択することである。これは次式のように、最小二乗法で実現できる:
Figure 0006092187
ここで、L、R、Mは列ベクトルで表され、(.)は転置関数を示す。スケーリングパラメータwはコーディングされ、デコーダに送信されるので、有利にも、オーディオ信号のサンプリングレートより低いサンプリングレートでサンプリングされる。一つのアプローチは、ステレオオーディオ信号のフレームまたはサブフレームごとに、1つのw値を送ることである。不連続になることを避けるため、wを時間的に補間すると有利である。
上記の通り、S信号のエネルギーを最小化することにより、バイノーラルアンマスキング(binaural unmasking)を生じるステレオイメージにおけるアーティファクトを回避して、変換されたステレオオーディオ信号における音質を改善できる。
ここで、図4を参照して、第2の実施形態によるオーディオエンコーダブロック108とオーディオデコーダブロック110を説明する。第2の実施形態のオーディオエンコーダブロック108とオーディオデコーダブロック110により、第1の実施形態の結果と同じ結果が、違う方法で得られる。
オーディオエンコーダブロック108は、第1ミキサ402、第2ミキサ404、第3ミキサ406、第1スケーリング部408、第2スケーリング部410、第3スケーリング部412、第1モノエンコーダ414、及び第2モノエンコーダ416を有する。オーディオデコーダブロック110は、第1モノデコーダ418、第2モノデコーダ420、第4スケーリング部422、第4ミキサ424、第5ミキサ426、及び第6ミキサ428を有する。オーディオエンコーダブロック108は、マイクロホン106からL信号とR信号を受け取るように構成されている。L信号はミキサ402の第1正入力とミキサ404の正入力に結合されている。R信号はミキサ402の第2正入力とミキサ404の負入力に結合されている。ミキサ402の出力はスケーリング部408と410の入力に結合されている。スケーリング部408の出力はミキサ406の負入力に結合されている。ミキサ404の出力はミキサ406の正入力に結合されている。ミキサ406の出力はスケーリング部412の入力に結合されている。スケーリング部410の出力はモノエンコーダ414の入力に結合されている。スケーリング部412の出力はモノエンコーダ46の入力に結合されている。モノエンコーダ414の出力はモノエンコーダ48の入力に結合されている。モノエンコーダ416の出力はモノエンコーダ420の入力に結合されている。モノデコーダ418の出力は、ミキサ424の第1正入力と、ミキサ428の正入力と、スケーリング部422の入力とに結合されている。スケーリング部422の出力はミキサ426の第1正入力に結合されている。モノデコーダ420の出力はミキサ426の第2正入力に結合されている。ミキサ426の出力は、ミキサ424の第2正入力と、ミキサ428の負入力とに結合されている。ミキサ424の出力は、L’信号としてオーディオデコーダブロック110から出力される。ミキサ428の出力は、R’信号としてオーディオデコーダブロック110から出力される。
図4に示したオーディオエンコーダは、図2を参照して説明したのと同じM信号とS信号を提供するので、図2を参照して説明したのと同じく有利であるが、これは異なる方法で実現される。M信号は同じ方法で、すなわちL信号とR信号とを加算して、その結果を係数1/2でスケーリングすることによって、生成される。
しかし、S信号は、まずミキサ404を用いてL信号とR信号との間の差分を求めることにより、すなわちL信号からR信号を減算することにより、生成される。L信号とR信号の和は、スケーリング部408により係数wだけスケーリングされる。次に、ミキサ406がミキサ404の出力とスケーリング部408の出力との間の差分を求める。すなわち、ミキサ404の出力からスケーリング部408の出力を減算する。ミキサ406の出力は、係数1/2だけスケーリングされて、S信号が生成される。これらの動作は次式を用いて表現できる:
Figure 0006092187
言うまでもなく、式3aは式1aと同じである。さらに、式を少し変形すると、式3bは式1bと同じである。それゆえ、図4に示したオーディオエンコーダブロック108は、図2に示したオーディオエンコーダブロック108と同じ結果を実現する。
図4に示したオーディオデコーダは、図2を参照して説明したのと同じL’信号とR’信号を提供するので、図2を参照して説明したのと同じく有利であるが、これは異なる方法で実現される。復号されたミドル信号M’はスケーリング部422で係数wだけスケーリングされ、ミキサ426がスケーリング部422の出力を復号されたサイド信号S’と加算する。ミキサ426の出力は、ミキサ424において、M’信号と加算され、L’信号を提供する。ミキサ428は、M’信号とミキサ426の出力との間の差分を求める。すなわち、M’信号は、ミキサ426の出力から減算され、R’信号を提供する。それゆえ、L’信号とR’信号は、図2を参照して説明したのと同じ式(式2aと2b)と同じ式で与えられる。すなわち:
Figure 0006092187
ここで、図5を参照して、第3の実施形態によるオーディオエンコーダブロック108とオーディオデコーダブロック110を説明する。第3の実施形態は第2の実施形態と似ており、そのため図4と図5に示された対応する要素は対応する参照数字で示した。
(図5に示した)第3の実施形態と(図4に示した)第2の実施形態との相違点は、スケーリング部408が、フィルタ係数P(Z)を有するフィルタ508と置き換えられ、スケーリング部422が、フィルタ係数P(Z)を有するフィルタ522と置き換えられている点である。このように、第3の実施形態では、図5に示したように、スカラーパラメータwがフィルタP(Z)により置き換えられている。フィルタ508の出力は、和信号(L+R)に基づく差信号(L−R)の予測を表す。フィルタ係数は、信号Sがエネルギーの点で最小化されるように、選択できる。フィルタ係数は量子化され、オーディオデコーダブロック110に送られる。オーディオデコーダブロック110は、オーディオエンコーダブロック108から受け取ったフィルタ係数を用いて、フィルタ522において正しいフィルタ係数を適用し、それによりM’信号とS’信号から正しくL’信号とR’信号を回復する。
ここに説明するすべての実施形態では、M’とS’からL’とR’を計算するオーディオデコーダブロック110におけるデコーダ変換プロセスは、LとRからMとSを計算するオーディオエンコーダブロック108におけるエンコーダ変換プロセスのちょうど逆変換である。これは、システムが完全な再構成をインプリメントしていることを意味する:モノエンコーダとモノデコーダがロスレスである(すなわち、コーディングエラーを生じない)場合、左右の出力信号(L’とR’)は入力信号(LとR)にいくらでも近くできる。
この方法は、デュアルモノコーディングモードに切り換える方法と組合せられ、そうすればいつも、入力信号に応じて、符号化ステレオオーディオ信号のコーディング効率と音質を改善できる。コーディング方法の切り替えは、オーディオデコーダブロック110にシグナリングされ、オーディオデコーダブロック110が符号化ステレオオーディオ信号を正しく復号できるようにする。
ここに説明する方法は、時間ドメインで、サブバンド信号に、または変換ドメイン係数に適用することができる。本方法が時間ドメインで実行される場合、非特許文献3に記載されているように、左右信号(LとR)を時間的に合わせる(time-align)と有利である。このような時間的合わせ(time alignment)は、エンコーダにおいて、左右入力信号LとRを、独立な適応的遅延時間だけ遅延することにより、行われる。デコーダにおいて、出力信号L’とR’も、これらの信号間の相対的タイミングが入力信号LとRの相対的タイミングと同じになるように、遅延される。
上記の実施形態では、符号化ステレオオーディオ信号は、復号が行われる他の一ノードに送信される。別の実施形態では、符号化ステレオ信号は、他のノードには送信されず、その替わりに、符号化が行われたのと同じノード(例えば、第1のノード102)で復号されてもよい。例えば、符号化ステレオオーディオ信号は、第1ノード102の記憶部(store)に記憶される。その後、符号化ステレオオーディオ信号は、記憶部から読み出され、上記のブロック110に対応するオーディオデコーダブロックを用いて第1のノード102において復号され、第1のノード102において、例えばそのスピーカを用いて、L’信号とR’信号を出力できる。
上記の方法と機能要素はソフトウェアまたはハードウェアで実施できる。例えば、オーディオエンコーダブロック108とオーディオデコーダブロック110をソフトウェアで実施する場合、第1及び/または第2のノード102、104において、コンピュータ処理手段を用いて、一または複数のコンピュータプログラム製品を実行することにより、実施できる。
上記のオーディオエンコーダブロック108とオーディオデコーダブロック110は、デジタルドメインで動作する。すなわち、オーディオ信号はデジタルオーディオ信号である。別の実施形態では、オーディオエンコーダブロック108とオーディオデコーダブロック110はアナログドメインで動作する。この場合、オーディオ信号はアナログオーディオ信号である。
他の一例では、M信号とS信号は次式により生成される:
Figure 0006092187
この例では、スケーリングパラメータwを適宜調整することにより、S信号を最小化できる。しかし、M信号はもはやステレオオーディオ信号のモノバージョンを表すものではない。
この例では、デコーダは同様に、すなわち次式により動作する:
Figure 0006092187
それゆえ、M信号とS信号を符号化するのに用いる方法は、デコーダが信号を正しく復号できるすべての場合に同じでなくてもよいことが分かる。
さらに、本発明を好ましい実施形態を参照して具体的に説明したが、当業者には言うまでもなく、添付した特許請求の範囲により画定される本発明の範囲から逸脱することなく、形式及び詳細におけるいろいろな変更をすることができる。

Claims (10)

  1. 入力ステレオオーディオ信号を処理して、前記入力ステレオオーディオ信号を表す変換ステレオオーディオ信号を生成する方法であって、前記入力ステレオオーディオ信号は左入力オーディオ信号と右入力オーディオ信号とを含み、前記変換ステレオオーディオ信号は第1変換オーディオ信号と第2変換オーディオ信号とを含み、
    前記方法は、
    前記第1変換オーディオ信号を生成する、前記第1変換オーディオ信号は前記左入力オーディオ信号と前記右入力オーディオ信号との和に基づく、ステップと、
    前記第2変換オーディオ信号を生成する、前記第2変換オーディオ信号は前記左入力オーディオ信号の第1関数と前記右入力オーディオ信号の第2関数との差に基づく、ステップとを含み、
    前記第1と第2の関数は、前記変換ステレオオーディオ信号の少なくとも一特徴を調整するように調整可能であり、
    前記入力ステレオオーディオ信号はマイクロホンから受け取られる、
    方法。
  2. 各モノエンコーダを用いて前記第1と第2の変換オーディオ信号を符号化するステップをさらに含む、請求項1に記載の方法。
  3. 前記変換ステレオオーディオ信号を、前記第1と第2の関数に関する情報とともに、デコーダに送信するステップをさらに含む、請求項1に記載の方法。
  4. 入力ステレオオーディオ信号から生成された変換ステレオオーディオ信号から出力ステレオオーディオ信号を生成する方法であって、前記入力ステレオオーディオ信号は左入力オーディオ信号と右入力オーディオ信号とを含み、前記変換ステレオオーディオ信号は、少なくとも一関数により前記左及び右入力オーディオ信号に関係する第1変換オーディオ信号と第2変換オーディオ信号を含み、前記出力ステレオオーディオ信号は左出力オーディオ信号と右出力オーディオ信号とを含み、
    前記方法は、
    前記第1と第2の変換オーディオ信号を前記少なくとも一関数に関する情報とともに受信するステップと、
    前記左出力オーディオ信号を生成する、前記左出力オーディオ信号は前記第2変換オーディオ信号と前記第1変換オーディオ信号の第2復号関数との和に基づく、ステップと、
    前記右出力オーディオ信号を生成する、前記右出力オーディオ信号は前記第2変換オーディオ信号と前記第1変換オーディオ信号の第1復号関数との間の差に基づく、ステップとを含み、
    先記第1と第2の復号関数は、前記生成される左右出力オーディオ信号が前記左及び右入力オーディオ信号を表すように、前記受信された少なくとも一関数に関する情報により決定され
    前記入力ステレオオーディオ信号はマイクロホンから受け取られる、
    方法。
  5. (i)前記第1変換オーディオ信号は、前記左入力オーディオ信号と前記右入力オーディオ信号との和に基づき、(ii)前記第2変換オーディオ信号は、前記左入力オーディオ信号の第1関数と前記右入力オーディオ信号の第2関数との間の差に基づき、前記少なくとも一関数は前記第1関数と前記第2関数とを含む、請求項4に記載の方法。
  6. 前記変換ステレオオーディオ信号は請求項1に記載の方法により生成されたものである、請求項4に記載の方法。
  7. 前記右出力オーディオ信号を生成するステップと、前記左出力オーディオ信号を生成するステップとの前に、各モノデコーダを用いて、前記受信された第1と第2の変換オーディオ信号を復号するステップをさらに有する、請求項4に記載の方法。
  8. 前記出力ステレオオーディオ信号を出力するステップをさらに有する、請求項4に記載の方法。
  9. 前記左出力オーディオ信号L’と前記右出力オーディオ信号R’とは次式により与えられ:
    Figure 0006092187
    ここで、M’とS’はそれぞれ前記受信された第1と第2の変換オーディオ信号を示し、wはスケーリングパラメータであり、前記第1復号関数は(1−w)で与えられ、前記第2復号関数は(1+w)で与えられる、請求項4に記載の方法。
  10. または複数のプロセッサに請求項1ないし9いずれか一項に記載の方法の動作を実行させる、コンピュータプログラム。
JP2014506864A 2011-04-26 2012-04-26 ステレオオーディオ信号の処理 Active JP6092187B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/094,322 US8654984B2 (en) 2011-04-26 2011-04-26 Processing stereophonic audio signals
US13/094,322 2011-04-26
PCT/EP2012/057653 WO2012146658A1 (en) 2011-04-26 2012-04-26 Processing stereophonic audio signals

Publications (2)

Publication Number Publication Date
JP2014516425A JP2014516425A (ja) 2014-07-10
JP6092187B2 true JP6092187B2 (ja) 2017-03-08

Family

ID=46022223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014506864A Active JP6092187B2 (ja) 2011-04-26 2012-04-26 ステレオオーディオ信号の処理

Country Status (6)

Country Link
US (1) US8654984B2 (ja)
EP (1) EP2702775B1 (ja)
JP (1) JP6092187B2 (ja)
KR (1) KR101926209B1 (ja)
CN (1) CN102760439B (ja)
WO (1) WO2012146658A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12062378B2 (en) 2020-01-09 2024-08-13 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device, encoding method, and decoding method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068862A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 복수개의 스피커를 운용하는 단말기 및 이의 운용 방법
BR112015023897B1 (pt) 2013-03-19 2021-12-21 Koninklijke Philips N.V. Aparelho para determinar uma posição de um microfone, método para determinar uma posição de um microfone
CN105556597B (zh) 2013-09-12 2019-10-29 杜比国际公司 多声道音频内容的编码和解码
EP3405950B1 (en) * 2016-01-22 2022-09-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Stereo audio coding with ild-based normalisation prior to mid/side decision
US10224045B2 (en) 2017-05-11 2019-03-05 Qualcomm Incorporated Stereo parameters for stereo decoding
CN112352277B (zh) * 2018-07-03 2024-05-31 松下电器(美国)知识产权公司 编码装置及编码方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796842A (en) * 1996-06-07 1998-08-18 That Corporation BTSC encoder
US8908872B2 (en) * 1996-06-07 2014-12-09 That Corporation BTSC encoder
BR0304231A (pt) 2002-04-10 2004-07-27 Koninkl Philips Electronics Nv Métodos para codificação de um sinal de canais múltiplos, método e disposição para decodificação de informação de sinal de canais múltiplos, sinal de dados incluindo informação de sinal de canais múltiplos, meio legìvel por computador, e, dispositivo para comunicação de um sinal de canais múltiplos
KR100923297B1 (ko) * 2002-12-14 2009-10-23 삼성전자주식회사 스테레오 오디오 부호화 방법, 그 장치, 복호화 방법 및그 장치
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
BRPI0908630B1 (pt) 2008-05-23 2020-09-15 Koninklijke Philips N.V. Aparelho de 'upmix' estéreo paramétrico, decodificador estéreo paramétrico, método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, dispositivo de execução de áudio, aparelho de 'downmix' estéreo paramétrico, codificador estéreo paramétrico, método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base nos parâmetros espaciais, e, produto de programa de computador
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12062378B2 (en) 2020-01-09 2024-08-13 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device, encoding method, and decoding method

Also Published As

Publication number Publication date
EP2702775B1 (en) 2015-06-03
JP2014516425A (ja) 2014-07-10
US8654984B2 (en) 2014-02-18
US20120275604A1 (en) 2012-11-01
KR20140027180A (ko) 2014-03-06
EP2702775A1 (en) 2014-03-05
CN102760439B (zh) 2017-07-04
WO2012146658A1 (en) 2012-11-01
KR101926209B1 (ko) 2018-12-06
CN102760439A (zh) 2012-10-31

Similar Documents

Publication Publication Date Title
JP6092187B2 (ja) ステレオオーディオ信号の処理
JP4589366B2 (ja) 忠実度最適化可変フレーム長符号化
RU2625444C2 (ru) Система обработки аудио
JP4809370B2 (ja) マルチチャネル音声符号化における適応ビット割り当て
JP5455647B2 (ja) オーディオデコーダ
JP5292498B2 (ja) 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形
WO2009084226A1 (ja) ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法
WO2009081567A1 (ja) ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
TW201126509A (en) Multi channel audio processing
JP7311601B2 (ja) 直接成分補償を用いたDirACベースの空間音声符号化に関する符号化、復号化、シーン処理および他の手順を行う装置、方法およびコンピュータプログラム
KR100763919B1 (ko) 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치
WO2009157213A1 (ja) 音響信号復号装置および音響信号復号装置におけるバランス調整方法
US11696075B2 (en) Optimized audio forwarding
KR20200090856A (ko) 오디오 인코딩 및 디코딩 방법 및 관련 제품
KR20230153402A (ko) 다운믹스 신호들의 적응형 이득 제어를 갖는 오디오 코덱
US20100002888A1 (en) Method and device for low-delay joint-stereo coding
JP4693185B2 (ja) 符号化装置、プログラム、および記録媒体
JP7420829B2 (ja) 予測コーディングにおける低コスト誤り回復のための方法および装置
JP2006270649A (ja) 音声・音響信号処理装置およびその方法
WO2021136343A1 (zh) 音频信号的编解码方法和编解码装置
US20220124201A1 (en) Multipoint control method, apparatus and program
JP2009151183A (ja) マルチチャネル音声音響信号符号化装置および方法、並びにマルチチャネル音声音響信号復号装置および方法
WO2013121793A1 (ja) 多チャネル音響システム、伝送装置、受信装置、伝送用プログラム、および受信用プログラム
Hold et al. Perceptually-Motivated Spatial Audio Codec for Higher-Order Ambisonics Compression
CN113678199A (zh) 空间音频参数的重要性的确定及相关联的编码

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6092187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250