JP2024059711A - チャネル間位相差パラメータ符号化方法および装置 - Google Patents
チャネル間位相差パラメータ符号化方法および装置 Download PDFInfo
- Publication number
- JP2024059711A JP2024059711A JP2024020494A JP2024020494A JP2024059711A JP 2024059711 A JP2024059711 A JP 2024059711A JP 2024020494 A JP2024020494 A JP 2024020494A JP 2024020494 A JP2024020494 A JP 2024020494A JP 2024059711 A JP2024059711 A JP 2024059711A
- Authority
- JP
- Japan
- Prior art keywords
- current frame
- ipd
- ipd parameter
- parameters
- coding scheme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000008447 perception Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
- Manipulation Of Pulses (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
【課題】IPDパラメータ符号化方法および装置を提供する。【解決手段】本出願は、マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得するステップ、参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するステップであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、ステップ、および現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップを含むIPDパラメータ符号化方法を開示する。本出願で提供される技術的解決策は、マルチチャネル信号の符号化品質を改善できる。【選択図】図5
Description
本出願は、2017年6月30日に中国特許庁に提出され、「チャネル間位相差パラメータ符号化方法および装置」と題された中国特許出願第201710524352.0号の優先権を主張し、その特許出願全体は参照として本明細書に組み込まれる。
本発明は、通信技術の分野に関し、特に、チャネル間位相差パラメータ符号化方法および装置に関する。
生活の質が向上するにつれて、高品質のオーディオに対する要件が常に高まっている。モノラルオーディオと比較して、ステレオオーディオは各音源の方向感覚と分布感覚を示し、オーディオ情報の明瞭さと分かりやすさを向上させ、オーディオ再生の存在感を高めることができる。したがって、ステレオオーディオは人々に非常に好まれている。
パラメトリックステレオ(Parametric Stereo、PS)符号化テクノロジは、一般的なステレオ符号化テクノロジである。PS符号化技術では、空間知覚特性に基づいて、ステレオ信号(言い換えれば、マルチチャネル信号)に対して符号化および復号化処理が実行される。具体的には、マルチチャネル信号の符号化および復号化は、モノラルオーディオ信号の符号化および復号化、および空間知覚パラメータの符号化および復号化に変換される。PS符号化の空間知覚パラメータは、チャネル間相関(Inter-channel Coherence、IC)、チャネル間レベル差(Inter-channel Level Difference、ILD)、チャネル間時間差(Inter-channel Time Difference、ITD)、チャネル間位相差(Inter-channel Phase Difference、IPD)などを含む。ITDパラメータおよびIPDパラメータは、音源の水平方向を示す空間知覚パラメータである。ILDパラメータ、ITDパラメータ、およびIPDパラメータは、音源の位置に対する人間の耳の知覚を決定し、音場の位置を効果的に決定でき、ステレオ信号の復元に重要である。したがって、IPDパラメータなどのパラメータの決定は、ステレオ信号の復元にとって重要である。
従来技術1では、ステレオ信号の各フレームのIPDパラメータを計算する際、具体的には、時間領域信号が周波数領域信号に変換され、周波数領域信号が複数のサブバンドに分割され、サブバンドのIPDパラメータが1つずつ計算され、次に、すべてのサブバンドのIPDパラメータが量子化されてステレオ信号の符号化に使用される。従来技術1におけるIPDパラメータの計算は、サブバンド上で1つずつ実行される必要があることが分かる。その結果、複数のリソースが占有され、符号化効率が低い。
従来技術2では、ステレオ信号の各フレームのIPDパラメータを計算する際、具体的には、時間領域信号が周波数領域信号に変換され、周波数領域信号に基づいて1フレームのステレオ信号のIPDパラメータが計算される。フレームを含むステレオ信号のIPDパラメータは、グループチャネル間位相差(つまり、Group IPD)パラメータであり、次に、Group IPDパラメータは、量子化されてステレオ信号の符号化に使用される。従来技術では、1つのIPDパラメータ(すなわち、Group IPDパラメータ)のみが計算され、次に、1つのIPDパラメータのみが量子化できることが分かる。占有されるリソースは少なくなるが、符号化の位相情報の精度は低く、符号化の品質は低くなる。
本出願は、チャネル間位相差パラメータ符号化方法および装置を提供して、IPDパラメータ符号化スキームの選択の多様性を高め、位相情報をより良く維持し、オーディオ符号化品質を改善する。
本発明の第1の態様によれば、チャネル間位相差パラメータ符号化方法が提供され、方法は、
マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得するステップと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するステップであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、ステップと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップとを含む。
マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得するステップと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するステップであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、ステップと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップとを含む。
IPDパラメータが符号化されるとき、参照パラメータが取得され、現在のフレームに対応する現在のフレームのIPDパラメータ符号化スキームが参照パラメータに基づいて決定され、決定されたIPDパラメータ符号化スキームを使用することにより、現在のフレームのIPDパラメータが処理され、その結果、マルチチャネル信号の符号化品質を改善するために、現在のフレームのIPDパラメータを適応的に処理できるだけでなく、現在のフレームのIPDパラメータの処理も現在のフレームと一致することが分かる。
第1の態様に関して、第1の態様の第1の実施では、参照パラメータは、現在のフレームの信号特性パラメータおよび現在のフレームの前のA個のフレームの信号特性パラメータのうちの少なくとも1つを含み、Aは1以上の整数である。
現在のフレームの信号特性パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームのサブバンドIPDパラメータの分散、現在のフレームの信号タイプ、および現在のフレームのチャネル間時間差ITDパラメータのうちの少なくとも1つを含む。
現在のフレームの前のA個のフレームの信号特性パラメータは、前のA個のフレームのそれぞれの左チャネルと右チャネルとの間の相関を示すパラメータ、前のA個のフレームのそれぞれのサブバンドIPDパラメータの分散、前のA個のフレームのそれぞれのITDパラメータ、前のA個のフレームのそれぞれのIPDパラメータ符号化スキーム、および前のA個のフレームのそれぞれの信号タイプのうちの少なくとも1つを含む。
信号タイプは、音声タイプまたは音楽タイプを含む。
Aの値は、1、2、3、4、5などであり得る。
場合によっては、現在のフレームのIPDパラメータ符号化スキームを決定するときに、現在のフレームの信号特性パラメータだけでなく、現在のフレームの前のA個のフレームの信号特性パラメータも使用されるため、現在のフレームの決定されたIPDパラメータ符号化スキームは、現在のフレームと一致するだけでなく、現在のフレームの前のA個のフレームとも一致し、符号化スキームの連続的な連続性を確保し、符号化品質をさらに改善することが分かる。
第1の態様の第1の実施に関して、第1の態様の第2の実施において、参照パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを含む。
現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値以上である場合、現在のフレームのIPDパラメータ符号化スキームは、少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームである。
第1の態様の第2の実施に関して、第1の態様の第3の実施では、第1の閾値は0.75である。
第1の態様の第1の実施から第3の実施のいずれか1つに関して、第1の態様の第4の実施では、参照パラメータは、前のA個のフレームのそれぞれのIPDパラメータ符号化スキームと、前のA個のフレームのそれぞれの信号タイプとを含む。
前のA個のフレームのそれぞれのIPDパラメータ符号化スキームが少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームであり、前のA個のフレームのそれぞれの信号タイプが音楽タイプである場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームであり、Aの値は1でもよい。
第1の態様の第1の実施に関して、第1の態様の第5の実施では、参照パラメータは、現在のフレームのITDパラメータと、現在のフレームのサブバンドIPDパラメータの分散と、前のA個のフレームのそれぞれの信号タイプとを含む。
現在のフレームのITDパラメータの値が第3の閾値より大きく、現在のフレームのサブバンドIPDパラメータの分散が第4の閾値より小さく、現在のフレームの前のA個のフレームのそれぞれの信号タイプが音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームである。
第1の態様の第2の実施から第5の実施のいずれか1つに関して、第1の態様の第6の実施では、第1の符号化スキームは、
グループチャネル間位相差Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
グループチャネル間位相差Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
場合によっては、現在のフレームのIPDパラメータを復号器に送信しても、復号化効果は向上しない。したがって、第1の符号化スキームは、IPDパラメータの符号化をスキップし、IPDパラメータの値を0に設定し、またはGroup IDパラメータ符号化スキームとすることができる。第1の符号化スキームがIPDパラメータの符号化をスキップしている場合、復号化効果を改善できるパラメータを符号化するためにすべての符号化ビットを使用することができる。第1の符号化スキームがIPDパラメータの値を0に設定するまたはGroup IDパラメータ符号化スキームである場合、値が0のIPDパラメータまたはGroup IDパラメータは非常に少ないビットを占有するため、符号化効果を改善するために、復号化効果を改善できるパラメータを符号化するために、代替的に符号化ビットを可能な限り多く使用してもよい。
第1の態様の第6の実施に関して、第1の態様の第7の実施では、第1の符号化スキームがGroup IPDパラメータ符号化スキームである場合、現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するステップは、
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドIPDパラメータを抽出するステップと、
抽出されたサブバンドIPDパラメータに基づいて、現在のフレームのGroup IPDパラメータを決定するステップと、
現在のフレームのGroup IPDパラメータを符号化するステップとを含む。
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドIPDパラメータを抽出するステップと、
抽出されたサブバンドIPDパラメータに基づいて、現在のフレームのGroup IPDパラメータを決定するステップと、
現在のフレームのGroup IPDパラメータを符号化するステップとを含む。
第1の態様の第2の実施から第7の実施のいずれか1つに関して、第1の態様の第8の実施では、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームでない場合、
現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームである。
現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームである。
第2の符号化スキームには、サブバンドセットのIPDパラメータ符号化スキーム、またはサブバンドIPDパラメータ符号化スキームが含まれ、サブバンドIPDパラメータ符号化スキームは、現在のフレームのサブバンドの一部またはすべてのサブバンドIPDパラメータを符号化している。
第1の態様の第8の実施に関して、第1の態様の第9の実施では、第2の符号化スキームはサブバンドIPDパラメータ符号化スキームである。
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップは、
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを計算するステップと、
サブバンドのすべてまたは一部のものであり、計算によって取得されたIPDパラメータを符号化するステップとを含む。
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを計算するステップと、
サブバンドのすべてまたは一部のものであり、計算によって取得されたIPDパラメータを符号化するステップとを含む。
第2の符号化スキームが現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドの一部のIPDパラメータを符号化している場合、比較的低い周波数にあり、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の一部のサブバンドのサブバンドIPDパラメータのみが符号化されてもよい。一実施では、最高周波数のサブバンドおよび2番目に高い周波数のサブバンドとは異なる残りのサブバンドのIPDパラメータが符号化され得る。最高周波数のサブバンドおよび2番目に高い周波数のサブバンドとは異なるサブバンドIPDパラメータは符号化効果を大幅に改善しないので、符号化の品質をさらに向上させるために、2つのサブバンドのサブバンドIPDパラメータの符号化をスキップすると、符号化効果を改善できるパラメータに符号化ビットを確実に使用することができる。
第1の態様または第1の態様の第1の実施から第9の実施のいずれか1つに関して、第1の態様の第10の実施では、方法は
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて符号化を実行するステップをさらに含む。
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて符号化を実行するステップをさらに含む。
例えば、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであるか第2の符号化スキームであるかを示すために、符号化スキームフラグビットが設定され得、フラグビットが1ビットを占有する。このようにして、復号器は、対応する復号化方式を使用して復号化を実行するために、符号化スキームフラグビットに基づいて現在のフレームのIPDパラメータ符号化スキームを決定することができる。
第1の態様または第1の態様の第1の実施から第10の実施のいずれか1つに関して、第1の態様の第11の実施では、現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するステップの前に、方法は
現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定するステップと、
現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があると決定された場合、現在のフレームの決定されたIPDパラメータ符号化スキームを調整するステップとをさらに含む。
現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定するステップと、
現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があると決定された場合、現在のフレームの決定されたIPDパラメータ符号化スキームを調整するステップとをさらに含む。
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップは、
現在のフレームの調整されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップを含む。
現在のフレームの調整されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップを含む。
第1の態様の第11の実施に関して、第1の態様の第12の実施では、現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定するステップは、現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームに基づいて実行される。
現在のフレームのIPDパラメータ符号化スキームが、現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームに基づいて決定されている場合、符号化効果の突然の変化を避けるために、現在のフレームのIPDパラメータ符号化スキームと現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームとの間のスムーズな移行を保証することである。
第1の態様の第1の実施から第12の実施のいずれか1つに関して、第1の態様の第13の実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用して取得される。
ここで
ここで
El(b)はオーディオ左チャネルのエネルギー合計を示し、Er(b)はオーディオ右チャネルのエネルギー合計を示し、Lr(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の実部を示し、Rr(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の実部を示し、Li(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の虚部を示し、Ri(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の虚部を示し、Lはサブバンドスペクトル係数の数量を示し、Nはサブバンドの数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、L(k)はオーディオ左チャネル周波数領域信号のものであり、かつIPDパラメータの計算に使用されるk番目の周波数値を示し、R(k)はオーディオ右チャネル周波数領域信号のものであり、かつIPDパラメータの計算に使用されるk番目の周波数値を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。
第1の態様の第1の実施から第12の実施のいずれか1つに関して、第1の態様の第14の実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用して取得される。
ここで
ここで
Lはサブバンドスペクトル係数の数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。
第1の態様の第1の実施から第12の実施のいずれか1つに関して、第1の態様の第15の実施では、現在のフレームの左チャネルと右チャネルとの相関を示すパラメータは、次の計算式を使用して取得される。
ここで
Lはサブバンドスペクトル係数の数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。R*(k)は、R(k)の共役を示す。具体的には、R*(k)は、オーディオ右チャネル周波数領域信号のk番目の周波数値の共役を示す。
本発明の第2の態様によれば、チャネル間位相差パラメータ符号化装置が提供され、装置は、
参照パラメータを取得するように構成された取得ユニットであって、参照パラメータは、マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用される、取得ユニットと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニットであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、決定ユニットと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するように構成された処理ユニットとを含む。
参照パラメータを取得するように構成された取得ユニットであって、参照パラメータは、マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用される、取得ユニットと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニットであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、決定ユニットと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するように構成された処理ユニットとを含む。
IPDパラメータが符号化されるとき、参照パラメータが取得され、現在のフレームに対応する現在のフレームのIPDパラメータ符号化スキームが参照パラメータに基づいて決定され、決定されたIPDパラメータ符号化スキームを使用することにより、現在のフレームのIPDパラメータが処理され、その結果、マルチチャネル信号の符号化品質を改善するために、現在のフレームのIPDパラメータを適応的に処理できるだけでなく、現在のフレームのIPDパラメータの処理も現在のフレームと一致することが分かる。
第2の態様に関して、第2の態様の第1の実施では、参照パラメータは、現在のフレームの信号特性パラメータおよび現在のフレームの前のA個のフレームの信号特性パラメータのうちの少なくとも1つを含み、Aは1以上の整数である。
現在のフレームの信号特性パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームのサブバンドIPDパラメータの分散、現在のフレームの信号タイプ、および現在のフレームのチャネル間時間差ITDパラメータのうちの少なくとも1つを含む。
現在のフレームの前のA個のフレームの信号特性パラメータは、前のA個のフレームのそれぞれの左チャネルと右チャネルとの間の相関を示すパラメータ、前のA個のフレームのそれぞれのサブバンドIPDパラメータの分散、前のA個のフレームのそれぞれのITDパラメータ、前のA個のフレームのそれぞれのIPDパラメータ符号化スキーム、および前のA個のフレームのそれぞれの信号タイプのうちの少なくとも1つを含む。
信号タイプは、音声タイプまたは音楽タイプを含む。
場合によっては、現在のフレームのIPDパラメータ符号化スキームを決定するときに、現在のフレームの信号特性パラメータだけでなく、現在のフレームの前のA個のフレームの信号特性パラメータも使用されるため、現在のフレームの決定されたIPDパラメータ符号化スキームは、現在のフレームと一致するだけでなく、現在のフレームの前のA個のフレームとも一致し、符号化スキームの連続的な連続性を確保し、符号化品質をさらに改善することが分かる。
第2の態様の第1の実施に関して、第2の態様の第2の実施では、参照パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを含む。
現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値以上である場合、現在のフレームのIPDパラメータ符号化スキームは、少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームである。
第2の態様の第2の実施に関して、第2の態様の第3の実施では、第1の閾値は0.75である。
第2の態様の第1の実施に関して、第2の態様の第4の実施では、参照パラメータは、前のA個のフレームのそれぞれのIPDパラメータ符号化スキームと、前のA個のフレームのそれぞれの信号タイプとを含む。
前のA個のフレームのそれぞれのIPDパラメータ符号化スキームが少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームであり、前のA個のフレームのそれぞれの信号タイプが音楽タイプである場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームであり、Aの値は1でもよい。
第2の態様の第2の実施から第4の実施のいずれか1つに関して、第2の態様の第5の実施では、参照パラメータは、現在のフレームのITDパラメータと、現在のフレームのサブバンドIPDパラメータの分散と、前のA個のフレームのそれぞれの信号タイプとを含む。
現在のフレームのITDパラメータの値が第3の閾値より大きく、現在のフレームのサブバンドIPDパラメータの分散が第4の閾値より小さく、現在のフレームの前のA個のフレームのそれぞれの信号タイプが音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームである。
第2の態様の第2の実施から第5の実施のいずれか1つに関して、第2の態様の第6の実施では、第1の符号化スキームは、
グループチャネル間位相差Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
グループチャネル間位相差Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
場合によっては、現在のフレームのIPDパラメータを復号器に送信しても、復号化効果は向上しない。したがって、第1の符号化スキームは、IPDパラメータの符号化をスキップし、IPDパラメータの値を0に設定し、またはGroup IDパラメータ符号化スキームとすることができる。第1の符号化スキームがIPDパラメータの符号化をスキップしている場合、復号化効果を改善できるパラメータを符号化するためにすべての符号化ビットを使用することができる。第1の符号化スキームがIPDパラメータの値を0に設定するまたはGroup IDパラメータ符号化スキームである場合、値が0のIPDパラメータまたはGroup IDパラメータは非常に少ないビットを占有するため、符号化効果を改善するために、復号化効果を改善できるパラメータを符号化するために、代替的に符号化ビットを可能な限り多く使用してもよい。
第2の態様の第2の実施から第5の実施のいずれか1つに関して、第2の態様の第7の実施では、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームでない場合、
現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームである。
現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームである。
第2の符号化スキームには、サブバンドセットのIPDパラメータ符号化スキーム、またはサブバンドIPDパラメータ符号化スキームが含まれ、サブバンドIPDパラメータ符号化スキームは、現在のフレームのサブバンドの一部またはすべてのサブバンドIPDパラメータを符号化している。
第2の態様の第7の実施に関して、第2の態様の第8の実施では、第2の符号化スキームはサブバンドIPDパラメータ符号化スキームである。
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップは、
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを計算するステップと、
サブバンドのすべてまたは一部のものであり、計算によって取得されたIPDパラメータを符号化するステップとを含む。
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを計算するステップと、
サブバンドのすべてまたは一部のものであり、計算によって取得されたIPDパラメータを符号化するステップとを含む。
第2の符号化スキームが現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドの一部のIPDパラメータを符号化している場合、比較的低い周波数にあり、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の一部のサブバンドのサブバンドIPDパラメータのみが符号化されてもよい。一実施では、最高周波数のサブバンドおよび2番目に高い周波数のサブバンドとは異なる残りのサブバンドのIPDパラメータが符号化され得る。最高周波数のサブバンドおよび2番目に高い周波数のサブバンドとは異なるサブバンドIPDパラメータは符号化効果を大幅に改善しないので、符号化の品質をさらに向上させるために、2つのサブバンドのサブバンドIPDパラメータの符号化をスキップすると、符号化効果を改善できるパラメータに符号化ビットを確実に使用することができる。
第2の態様または第2の態様の第1の実施から第8の実施のいずれか1つに関して、第2の態様の第9の実施では、装置は
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて符号化を実行するように構成された符号化ユニットをさらに含む。
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて符号化を実行するように構成された符号化ユニットをさらに含む。
例えば、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであるか第2の符号化スキームであるかを示すために、符号化スキームフラグビットが設定され得、フラグビットが1ビットを占有する。このようにして、復号器は、対応する復号化方式を使用して復号化を実行するために、符号化スキームフラグビットに基づいて現在のフレームのIPDパラメータ符号化スキームを決定することができる。
第2の態様または第2の態様の第1の実施から第9の実施のいずれか1つに関して、第2の態様の第10の実施では、決定ユニットは、現在のフレームのものであり、かつ決定ユニットによって決定されたIPDパラメータ符号化スキームが調整される必要があるかどうかを決定するようにさらに構成される。
装置は、
決定ユニットが、現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があると決定したときに、現在のフレームの決定されたIPDパラメータ符号化スキームを調整するように構成された調整ユニットと、
現在のフレームの調整されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するようにさらに構成された処理ユニットとをさらに含む。
決定ユニットが、現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があると決定したときに、現在のフレームの決定されたIPDパラメータ符号化スキームを調整するように構成された調整ユニットと、
現在のフレームの調整されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するようにさらに構成された処理ユニットとをさらに含む。
第2の態様の第10の実施に関して、第2の態様の第11の実施では、現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定するステップは、現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームに基づいて実行される。
現在のフレームのIPDパラメータ符号化スキームが、現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームに基づいて決定されている場合、符号化効果の突然の変化を避けるために、現在のフレームのIPDパラメータ符号化スキームと現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームとの間のスムーズな移行を保証することである。
第2の態様または第2の態様の第1の実施から第11の実施のいずれか1つに関して、第2の態様の第12の実施では、取得ユニットは、以下の計算式を使用して、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを取得するように具体的に構成される。
ここで
El(b)はオーディオ左チャネルのエネルギー合計を示し、Er(b)はオーディオ右チャネルのエネルギー合計を示し、Lr(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の実部を示し、Rr(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の実部を示し、Li(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の虚部を示し、Ri(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の虚部を示し、Lはサブバンドスペクトル係数の数量を示し、Nはサブバンドの数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、L(k)はオーディオ左チャネル周波数領域信号のものであり、かつIPDパラメータの計算に使用されるk番目の周波数値を示し、R(k)はオーディオ右チャネル周波数領域信号のものであり、かつIPDパラメータの計算に使用されるk番目の周波数値を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。
第1の態様の第1の実施から第11の実施のいずれか1つに関して、第1の態様の第13の実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用して取得される。
ここで
Lはサブバンドスペクトル係数の数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。
第1の態様の第1の実施から第11の実施のいずれか1つに関して、第1の態様の第14の実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用して取得される。
ここで
Lはサブバンドスペクトル係数の数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。R*(k)は、R(k)の共役を示す。具体的には、R*(k)は、オーディオ右チャネル周波数領域信号のk番目の周波数値の共役を示す。
本発明の第3の態様によれば、端末が提供され、端末はメモリおよびプロセッサを含む。
メモリは、実行可能なコードのグループを格納するように構成される。
プロセッサは、第1の態様または第1の態様の第1の実施から第13の実施のいずれか1つを実行するために、メモリに格納された実行可能コードを実行するように構成される。
本発明の第4の態様は、記憶媒体を提供する。記憶媒体は、実行可能コードを格納する。実行可能コードが実行されると、第1の態様または第1の態様の第1の実施から第13の実施のいずれか1つが実行され得る。
本発明の第5の態様によれば、コンピュータプログラムが提供される。コンピュータプログラムは、第1の態様または第1の態様の第1の実施から第13の実施のいずれか1つを実行することができる。
本発明の実施形態においてIPDパラメータが符号化されるとき、参照パラメータが取得され、現在のフレームに対応する現在のフレームのIPDパラメータ符号化スキームが参照パラメータに基づいて決定され、決定されたIPDパラメータ符号化スキームを使用することにより、現在のフレームのIPDパラメータが処理され、その結果、マルチチャネル信号の符号化品質を改善するために、現在のフレームのIPDパラメータを適応的に処理できるだけでなく、現在のフレームのIPDパラメータの処理も現在のフレームと一致する。
本発明の実施形態における技術的解決策をより明確に説明するために、以下において、実施形態を説明するために必要な添付図面を簡単に説明する。明らかに、以下の説明における添付図面は、本発明の一部の実施形態を示しているにすぎず、当業者は創造的な労力を費やすことなく、これらの添付図面から他の図面を得ることができる。
以下に、本発明の実施形態における技術的解決策を、本発明の実施形態における添付図面を参照しながら、明確かつ完全に説明する。明らかに、記載した実施形態は、本発明の実施形態の一部にすぎず、すべてではない。本発明の実施形態に基づいて、創造的な労力を費やすことなく当業者によって得られた他のすべての実施形態は、本発明の保護範囲内に入るものとする。
図1は、PS符号化の概略原理図である。
PS符号化では、符号器はマルチチャネル(例えば、x1チャネルおよびx2チャネル)からのステレオ信号入力をモノラルオーディオ信号にダウンミックス(downmix)し、空間知覚パラメータ分析によりステレオ信号の空間知覚パラメータを抽出し、モノラルオーディオ信号の符号化によりモノラルオーディオビットストリームを取得し、空間知覚パラメータの符号化により空間知覚パラメータビットストリームを取得する。さらに、符号器は、ステレオ信号符号化用のビットストリームを取得するために、モノラルオーディオビットストリームおよび空間知覚パラメータビットストリームでビットストリーム多重化を実行する。
図2は、PS復号化の概略原理図である。
復号器は、モノラルオーディオビットストリームおよび空間知覚パラメータビットストリームを取得するためにステレオ信号符号化用のビットストリームでビットストリーム逆多重化を実行し、モノラルオーディオビットストリームでモノラルオーディオ信号の復号化を実行し、空間知覚パラメータビットストリームで空間知覚パラメータの復号化を実行する。さらに、モノラルオーディオ信号を復号化した後、復号器は、空間知覚パラメータを使用して、再構築されたステレオ信号を合成する。
特定の実施では、前述のPS符号化およびPS復号化の空間知覚パラメータは、IC、ILD、ITD、IPDなどのパラメータを含む。ICは、チャネル間相関または相関を記述する。このパラメータは、音場の範囲の知覚を決定し、オーディオ信号の空間感覚と音の安定性とを向上させることができる。ILDパラメータは、ステレオ源の水平方向の角度を区別するために使用され、チャネル間の強度差を表す。このパラメータは、スペクトル全体の周波数成分に影響する。ITDパラメータおよびIPDパラメータは、音源の水平方向を示す空間知覚パラメータである。ILDパラメータ、ITDパラメータ、およびIPDパラメータは、音源の位置に対する人間の耳の知覚を決定し、音場の位置を効果的に決定でき、ステレオ信号の復元に重要である。したがって、IPDパラメータなどのパラメータの決定は、ステレオ信号の復元にとって重要である。
本発明の解決策の適用シナリオが図3に示されている。収集されたマルチチャネル信号を符号化(IPDパラメータの符号化を含む)した後、端末301は符号化により取得したコードストリームを無線アクセスネットワーク(RAN:Radio Access Network)302に送信し、例えば、コードストリームをRAN302内の基地局3021に直接送信してもよい。基地局3021を通過した後、コードストリームはパケットデータネットワークゲートウェイ(Packet Data Network Gateway、PGW)3022に送信される。PGW3022を通過した後、コードストリームはコアネットワーク303に送信され、具体的には、コードストリームはコアネットワーク303内のセッション境界コントローラ(SBC:Session Border Controller)3031を通過し得る。コアネットワーク303を通過するコードストリームはRAN304に入る。RAN304は、PGW3042および基地局3041を含む。コードストリームがPGW3042を通過して基地局3041に到着した後、基地局3041はコードストリームを端末305に送信し、端末305はコードストリームを復号し、復号化により得られたマルチチャネル信号を再生する。
上記の説明において、RANは2つのネットワーク要素(基地局およびPGW)の例を含むにすぎないことに留意すべきである。実際の実施中、RANは複数の他のネットワーク要素をさらに含む。説明を簡単にするために、本発明の実施形態では別のネットワーク要素は省略されている。同様に、コアネットワークもSBCの例を含むにすぎない。説明を簡単にするために、本発明の実施形態では別のネットワーク要素は省略されている。前述のネットワーク内のネットワーク要素は単なる例であり、ネットワーク要素の名前は異なるネットワークで異なる場合があることが理解され得る。例えば、PGWは、LTEネットワークでは進化型パケットデータゲートウェイ(ePDG:Evolved Packet Data Gateway)と呼ばれる。同様に、前述のネットワーク要素間の接続方式も、ネットワークの進化とともに変化する可能性がある。したがって、本発明の実施形態では、本発明の適用シナリオは前述の例に限定されない。
端末301および端末305は、セルラーネットワークアクセス機能を有する端末であり、ウェアラブルデバイス、仮想現実(VR:Virtual Reality)デバイス、拡張現実(AR:Augmented Reality)デバイス、携帯電話、タブレットコンピュータ(Pad)、ノートブックコンピュータ(NB:Notebook Computer)、パーソナルコンピュータ(PC:Personal Computer)などであってもよい。
本発明の解決策の別の適用シナリオが図4に示されている。収集されたマルチチャネル信号を符号化(IPDパラメータの符号化を含む)した後、端末401は、符号化により得られたコードストリームをインターネット402を介して端末403に送信する。端末403は、コードストリームを復号化し、復号化により得られたマルチチャネル信号を再生する。
端末401および端末403は、インターネットアクセス機能を有する端末であり、ウェアラブルデバイス、VRデバイス、ARデバイス、携帯電話、Pad、NB、またはPCなどであってもよい。
図5は、本発明の一実施形態によるIPDパラメータ符号化方法の概略フローチャートである。この方法は、次の手順を含む。
S501.マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得する。
特定の実施中に、本発明のこの実施形態で提供されるIPDパラメータ符号化方法は、マルチチャネル信号を符号化できる符号器によって実行されてもよい。本発明のこの実施形態で提供されるIPDパラメータ符号化方法を使用することにより現在のフレームのIPDパラメータを符号化した後、符号器は符号化されたIPDパラメータを送信する。復号器は、ステレオ合成処理のために、復号化によって取得されたIPDパラメータを使用する。以下では、本発明のこの実施形態で提供されるIPDパラメータ符号化方法を詳細に説明する。本発明のこの実施形態における符号器および復号器は、機能に関して説明されているにすぎず、符号器および復号器の実際の形態は、前述の端末であってもよいことに留意されたい。呼処理において、端末は符号器および復号器の両方の機能を有し得ることが理解され得る。説明を簡単にするために、マルチチャネル信号の現在のフレームが後で説明されるときに、現在のフレームが直接使用される。本発明のこの実施形態におけるマルチチャネル信号は、具体的には、二重チャネル信号、3チャネル信号、4チャネル信号などであり得る。マルチチャネル信号に対応するチャネルの特定の数量は、本発明のこの実施形態では限定されない。
一部の実行可能な実施では、現在のフレームのIPDパラメータを符号化するとき、符号器は最初に現在のフレームのIPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得し、次に参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定する。言い換えると、現在のフレームのIPDパラメータ符号化スキームを決定するために、参照パラメータが使用される。あるいは、参照パラメータを使用して、現在のフレームの別のパラメータ符号化スキームを決定してもよいことが理解され得る。本発明のこの実施形態では、参照パラメータは、IPDパラメータ符号化スキームを決定するために使用されることに限定されない。特定の実施中、参照パラメータは、現在のフレームの信号特性パラメータおよび現在のフレームの前のA個のフレームの信号特性パラメータのうちの少なくとも1つを含んでもよい。具体的には、参照パラメータは、現在のフレームの信号特性パラメータ、現在のフレームの前のA個のフレームの信号特性パラメータ、現在のフレームの信号特性パラメータおよび現在のフレームの前のA個のフレームの信号特性パラメータなどを含んでもよく、実際の適用シナリオに基づいて具体的に決定することができる。これは本明細書では限定されない。ここで、Aは1以上の整数である。具体的には、現在のフレームの前のA個のフレームは、現在のフレームの前の1フレーム、2フレーム、3フレームなどであってもよい。これは本明細書では限定されない。現在のフレームの前のフレームと現在のフレームとは、時系列で連続している。現在のフレームの前の2つのフレームは時系列で連続しており、現在のフレームの前のフレームを含む。現在のフレームの前の3つのフレームは時系列で連続しており、現在のフレームの前の2つのフレームを含む。
特定の実施中、現在のフレームの信号特性パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームのサブバンドIPDパラメータの分散、現在のフレームの信号タイプ、および現在のフレームのITDパラメータなどのパラメータのうちの1つ以上を含み得る。現在のフレームの左チャネルと右チャネルのとの間の相関を示すパラメータ、および現在のフレームのサブバンドIPDパラメータの分散は、マルチチャネル信号の左チャネル周波数領域信号および右チャネル周波数領域信号に基づく計算により取得され得る。現在のフレームのITDパラメータは、現在のフレームのマルチチャネル信号のITDパラメータを抽出する方式に基づいて決定され得る。現在のフレームのITDパラメータを抽出する方式は、標準プロトコルで提供される抽出方式または当業者に既知の抽出方式を含み得る。これは本明細書では限定されない。
現在のフレームの前のA個のフレームの信号特性パラメータは、現在のフレームの前のA個のフレームのそれぞれの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームの前のA個のフレームのそれぞれのサブバンドIPDパラメータの分散、現在のフレームの前のA個のフレームのそれぞれのITDパラメータ、現在のフレームの前のA個のフレームのそれぞれのIPDパラメータ符号化スキーム、および現在のフレームの前のA個のフレームのそれぞれの信号タイプなどのパラメータのうちの1つ以上を含む。特定のパラメータの選択は、実際の適用シナリオに基づいて決定され得る。これは本明細書では限定されない。現在のフレームの前のA個のフレームのそれぞれのIPDパラメータ符号化スキームは、キャッシュまたはメモリに保存されてもよい。信号タイプは、音声タイプまたは音楽タイプを含んでもよい。現在のフレームの前のA個のフレームの信号特性パラメータは、キャッシュに保存されてもよい。現在のフレームの信号特性パラメータが取得された後、後続のフレームのIPDパラメータ符号化スキームを決定するために、現在のフレームの信号特性パラメータもキャッシュに保存されることが理解され得る。
一部の実行可能な実施では、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号を取得するために、符号器は、現在のフレームのマルチチャネル信号の左チャネルおよび右チャネル時間領域信号で時間周波数変換を実行してもよい。具体的には、前述の時間周波数変換は、高速フーリエ変換(Fast Fourier Transformation、FFT)または修正離散コサイン変換(Modified Discrete Cosine Transform、MDCT)などの実施を使用して実施できる。これは本明細書では限定されない。現在のフレームのマルチチャネル信号の左チャネルおよび右チャネル時間領域信号で実行される時間周波数変換は、フレームの形で、またはサブフレームの形で実行され得る。通常、1つのフレームは4つのサブフレーム、2つのサブフレーム、または8つのサブフレームを含む。特定の状況に基づいて、特定の数量のサブフレームが決定され得る。
例えば、実施では、符号器が現在のフレームのマルチチャネル信号の左チャネルおよび右チャネル時間領域信号をFFTにより左チャネル周波数領域信号および右チャネル周波数領域信号に変換する場合、次の変換数式は特に使用され得る。
ここで、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、Mは時間領域信号を周波数領域信号に変換するための時間周波数変換長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、L(k)はオーディオ左チャネル周波数領域信号のものであり、かつIPDパラメータの計算に使用されるk番目の周波数値を示し、R(k)はオーディオ右チャネル周波数領域信号のものであり、かつIPDパラメータの計算に使用されるk番目の周波数値を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す。
実数列x(n)(xL(n)およびxR(n)を含む)のフーリエ変換係数X(k)は複素数であり、実数列x(n)の実部は偶対称性を有し、虚部は奇対称性を有する。具体的には、X(k)は共役対称性を有する。X(0)およびX(N/2)は両方とも実数であり、次の関係式を満たす。
x(k)=X*(N-k)、ここで1≦k≦L/2-1である。
x(k)=X*(N-k)、ここで1≦k≦L/2-1である。
この共役対称性を使用して離散フーリエ変換を実行するとき、符号器はX(k)、L/2+1≦k≦L-1、およびX(0)およびX(L/2)の虚部を計算して保管する必要はなく、符号器のコンピューティングリソースおよび保管リソースの占有を減らすために、X(0)からX(L/2)を計算するだけでよい。
現在のフレームの左チャネルおよび右チャネル時間領域信号をフレームまたはサブフレームの形式で左チャネル周波数領域信号および右チャネル周波数領域信号に変換した後、符号器は、左チャネル周波数領域信号および右チャネル周波数領域信号に基づいて、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを計算することができる。
実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用した計算により取得できる。
ここで、
El(b)はオーディオ左チャネルのエネルギー合計を示し、Er(b)はオーディオ右チャネルのエネルギー合計を示し、Lr(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の実部を示し、Rr(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の実部を示し、Li(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の虚部を示し、Ri(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の虚部を示し、Lはサブバンドスペクトル係数の数量を示し、Nはサブバンドの数量を示す。
別の実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用した計算により取得できる。
別の実施では、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータは、次の計算式を使用した計算により取得できる。
ここで、R*(k)は、R(k)の共役を示す。具体的には、R*(k)は、オーディオ右チャネル周波数領域信号のk番目の周波数値の共役を示す。
一部の実行可能な実施では、現在のフレームの左チャネルおよび右チャネル時間領域信号を左チャネル周波数領域信号および右チャネル周波数領域信号に変換した後、符号器は、左チャネル周波数領域信号および右チャネル周波数領域信号に基づいて、現在のフレームのサブバンドIPDパラメータの分散をさらに計算することができる。具体的には、符号器は、最初に、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号を少なくとも2つのサブバンド(言い換えれば、複数のサブバンド)に分割してもよい。左チャネル周波数領域信号および右チャネル周波数領域信号は、Nsubbandのサブバンドに分割されると想定され、ここでNsubbandは2より大きい整数である。次に、符号器は、分割によって取得されたNsubbandサブバンドの周波数領域信号に基づいてすべてのサブバンドのIPDパラメータを計算し、計算によって取得されたNsubbandサブバンドのIPDパラメータに基づいて現在のフレームのサブバンドIPDパラメータの分散を計算する。
実施では、符号器は次の計算式を使用してサブバンドIPDパラメータを具体的に計算できる。
ここで、bはサブバンドのインデックス値を示し、サブバンドbに含まれる周波数はAb-1≦k≦Ab-1である。
実施では、符号器は次の計算式を使用して、サブバンドIPDパラメータの分散を計算できる。
ここで
本発明の別の実施では、サブバンドIPDパラメータは、以下の計算式を使用する計算により取得することができる。
ここで、atan2は逆タンジェント関数を示す。
実際の適用中、サブバンドIPDパラメータは、別の方式での計算によって代替的に取得され得ることが理解され得る。サブバンドIPDパラメータの特定の計算方式は、本発明のこの実施形態では限定されない。
S502.取得した参照パラメータに基づいて、現在のフレームのIPDパラメータ符号化スキームを決定する。
特定の実施中、符号器は、取得した参照パラメータに基づいて、現在のフレームのIPDパラメータ符号化スキームとして複数の事前定義IPDパラメータ符号化スキームのうちの1つを適応的に選択してもよい。
複数の事前定義IPDパラメータ符号化スキームは、第1の符号化スキームおよび第2の符号化スキームを含んでもよい。第1の符号化スキームは、Group IPDパラメータ符号化スキーム、IPDパラメータの符号化のスキップ、IPDパラメータの値を0に設定などを含む。第2の符号化スキームは、サブバンドセットのIPDパラメータ符号化スキーム、サブバンドIPDパラメータ符号化スキームなどを含む。サブバンドIPDパラメータ符号化スキームは、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを符号化することができる。
一部の実施では、第1の符号化スキームは具体的に、Group IPDパラメータ符号化スキーム、IPDパラメータの符号化のスキップ、およびIPDパラメータの値を0に設定のうちの1つであることが事前に決定され得ることが理解され得る。したがって、符号器は、符号化スキームがGroup IPDパラメータ符号化スキームであること、IPDパラメータの符号化をスキップすること、またはIPDパラメータの値を0に設定することを直接決定でき、3つの符号化スキームから選択する必要はない。同様に、第2の符号化スキームは、具体的にはサブバンドセットのIPDパラメータ符号化スキームおよびサブバンドIPDパラメータ符号化スキームのうちの1つであることがさらに事前決定され得る。したがって、符号器は、符号化スキームがサブバンドセットのIPDパラメータ符号化スキームまたはサブバンドIPDパラメータ符号化スキームであることを直接決定でき、2つの符号化スキームから選択する必要はない。
一部の他の実施形態では、符号器は最初に第1の符号化スキームまたは第2の符号化スキームを決定してもよい。第1の符号化スキームを決定するとき、符号器は前述の3つの符号化スキームのうちの1つを選択する。同様に、第2の符号化スキームを決定するとき、符号器は前述の2つの第2の符号化スキームのうちの1つを選択する。
一部の実施形態では、現在のフレームのIPDパラメータ符号化スキームが決定された後、現在のフレームの決定されたIPDパラメータ符号化スキームが符号化され得る。特定の符号化スキームは、事前定義されたパラメータを事前定義値として設定し、異なる値を使用して異なる符号化スキームを示すことであってもよい。例えば、実施において、現在のフレームのIPDパラメータ符号化スキームは、符号化スキームフラグビットを使用することにより示されてもよい。フラグビットは1ビットを占有してもよい。このビットの値が0の場合、これは現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであることを示す。このビットの値が1の場合、これは現在のフレームのIPDパラメータ符号化スキームが第2の符号化スキームであることを示す。もちろん、このビットの値が1の場合、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであることを代替的に示してもよく、このビットの値が0の場合、現在のフレームのIPDパラメータ符号化スキームが第2の符号化スキームであることを代替的に示してもよい。復号器は、対応する復号化方式を決定するために、フラグビットの値に基づいてIPDパラメータ符号化スキームを決定してもよい。
S503.現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理する。
一部の実行可能な実施では、参照パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを含む。この場合、現在のフレームのIPDパラメータ符号化スキームが決定されるとき、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータが、事前定義された第1の閾値と比較され得る。現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値以上である場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームである。反対に、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値よりも小さい場合、現在のフレームのIPDパラメータ符号化スキームは第2の符号化スキームである。事前定義された第1の閾値の値の範囲は、0.6~0.95である。例えば、値は具体的には0.89、0.8、0.75などであり得る。
一部の実行可能な実施では、参照パラメータは、現在のフレームのサブバンドIPDパラメータの分散を含む。この場合、現在のフレームのIPDパラメータ符号化スキームが決定されるとき、現在のフレームのサブバンドIPDパラメータの分散が、事前定義された第2の閾値と比較され得る。現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第2の閾値よりも小さい場合、これは現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであることを示す。逆に、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第2の閾値以上である場合、これは現在のフレームのIPDパラメータ符号化スキームが第2の符号化スキームであることを示す。事前定義された第2の閾値の値の範囲は、0.05~0.5である。例えば、値は具体的には0.45、0.25、0.3などであり得る。
一部の実行可能な実施では、参照パラメータは、現在のフレームの信号タイプを含む。例えば、実施において、現在のフレームの信号タイプが音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは第2の符号化スキームであると決定され得る。現在のフレームの信号タイプが音楽タイプである場合、現在のフレームのIPDパラメータ符号化スキームは第1のIPDパラメータ符号化スキームであると決定され得る。一部の他の実施形態では、現在のフレームの信号タイプが、現在のフレームのIPDパラメータ符号化スキームを決定するための唯一の参照パラメータではないことが理解され得る。IPDパラメータ符号化スキームは、別の参照パラメータを参照してさらに決定され得る。
一部の実行可能な実施では、参照パラメータは、現在のフレームのチャネル間時間差ITDパラメータを含む。現在のフレームのITDパラメータの値が事前定義された閾値よりも大きい場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームであると決定される。それ以外の場合、現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームである。一実施形態では、事前定義された閾値は、1、2、3、4、または5であってもよい。
現在のフレームの信号特性パラメータは、前述のパラメータのうちの1つのみを含み得ることが理解され得る。この場合、パラメータが対応するパラメータ条件を満たしていれば、現在のフレームのIPDパラメータ符号化スキームを決定することができる。もちろん、現在のフレームの信号特性パラメータは、代替的に、前述のパラメータのうちの少なくとも2つを含んでもよい。この場合、少なくとも2つのパラメータがそれぞれ対応するパラメータ条件を満たす場合にのみ、現在のフレームのIPDパラメータ符号化スキームを決定することができる。
一部の実行可能な実施では、参照パラメータは、現在のフレームの前のA個のフレームのそれぞれのIPDパラメータ符号化スキームと、現在のフレームの前のA個のフレームのそれぞれの信号タイプとを含む。この場合、現在のフレームの前のA個のフレームのそれぞれのIPDパラメータ符号化スキームが事前定義されたIPDパラメータ符号化スキームであるかどうか、および現在のフレームの前のA個のフレームのそれぞれの信号タイプが事前定義された信号タイプであるかどうかが決定され得る。現在のフレームの前のA個のフレームのそれぞれのIPDパラメータ符号化スキームが第1の符号化スキームであり、現在のフレームのA個のフレームのそれぞれの信号タイプが音楽タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームとして決定され得る。
例えば、A=1の場合、現在のフレームの前のA個のフレームは、現在のフレームの1フレーム前である。現在のフレームの前のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであり、現在のフレームの前のフレームの信号タイプが音楽タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームとして決定され得る。そうでない場合、現在のフレームのIPDパラメータ符号化スキームは、例えば第2の符号化スキームなど、第1の符号化スキームではないと決定される。
A=2の場合、現在のフレームの前のA個のフレームは、現在のフレームの2フレーム前である。現在のフレームの2フレーム前のIPDパラメータ符号化スキームが両方とも第1の符号化スキームであり、現在のフレームの2フレーム前の信号タイプが音楽タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームとして決定され得る。そうでない場合、現在のフレームのIPDパラメータ符号化スキームは、例えば第2の符号化スキームなど、第1の符号化スキームではないと決定される。
一部の実行可能な実施では、参照パラメータは、現在のフレームのITDパラメータ、現在のフレームのサブバンドIPDパラメータの分散、および現在のフレームの前のA個のフレームのそれぞれの信号タイプを含む。この場合、現在のフレームのITDパラメータの絶対値が事前定義された第3の閾値と比較され、現在のフレームのサブバンドIPDパラメータの分散が事前定義された第4の閾値と比較され、現在のフレームの前のA個のフレームのそれぞれの信号タイプは音声タイプであると決定される。事前定義された第3の閾値の値の範囲は0~4であり得る。例えば、第3の閾値の値は、4、2、0などであり得る。事前定義された第4の閾値の値の範囲は、0.05~0.4であり得る。第4の閾値の値は、0.4、0.35、0.25、0.05などであり得る。現在のフレームのITDパラメータの絶対値が第3の閾値よりも大きく、現在のフレームのサブバンドIPDパラメータの分散が第4の閾値よりも小さく、現在のフレームの前のA個のフレームのそれぞれの信号タイプが現在のフレームは音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームとして決定されてもよい。そうでない場合、現在のフレームのIPDパラメータ符号化スキームは、例えば第2の符号化スキームなど、第1の符号化スキームではないと決定される。
現在のフレームの前のA個のフレームが現在のフレームの前のフレームである場合、現在のフレームのITDパラメータの絶対値が第3の閾値よりも大きく、現在のフレームのサブバンドIPDパラメータの分散が第4の閾値よりも小さく、現在のフレームの前のフレームの信号タイプが音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームとして決定されてもよい。現在のフレームの前のA個のフレームが現在のフレームの前の2つのフレームである場合、現在のフレームのITDパラメータの絶対値が第3の閾値よりも大きく、現在のフレームのサブバンドIPDパラメータの分散が第4の閾値よりも小さく、現在のフレームの前の2つのフレームのそれぞれの信号タイプが音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームとして決定されてもよい。
一部の実現可能な実施では、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであることを決定した後、符号器は、第1の符号化スキームに基づいて現在のフレームのIPDパラメータを処理し得る。例えば、第1の符号化スキームがIPDパラメータの符号化をスキップしている場合、操作は実行されず、具体的には現在のフレームのIPDパラメータの符号化に対応するプロセスが終了する。第1の符号化スキームがGroup IPDパラメータ符号化スキームである場合、現在のフレームのGroup IPDパラメータが符号化され得る。現在のフレームのGroup IPDパラメータは、現在のフレームのIPDパラメータとして使用される。第1の符号化スキームがIPDパラメータの値を0に設定している場合、現在のフレームのIPDパラメータの値は0に設定され得、その後、値が0のIPDパラメータが処理される。例えば、処理中にIPDパラメータの値が入力として必要な場合、現在のフレームのIPDパラメータの値が0に設定された後、処理の入力として0が使用され得る。
一部の実施形態では、参照パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを含み、現在のフレームの前のフレームのIPDパラメータ符号化スキームおよび前のフレームの信号タイプをさらに含み得る。現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値以上である場合、現在のフレームのIPDパラメータ符号化スキームは、第1の符号化スキームと決定され得る。現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値より小さく、現在のフレームの前のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであり、前のフレームの信号タイプが音楽信号タイプである場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームであると決定され得る。あるいは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が第1の閾値より小さく、現在のフレームの前のフレームのIPDパラメータ符号化スキームが第2の符号化スキームであるか、現在のフレームの前のフレームの信号タイプが音声タイプである場合、現在のフレームのIPDパラメータ符号化スキームは第2の符号化スキームであると決定される。
さらに、オプションの実施では、前述の実施を使用して現在のフレームのIPDパラメータ符号化スキームが決定された後、現在のフレームのIPDパラメータ符号化スキームを調整するかどうかは、現在のフレームの前のフレームのIPDパラメータ符号化スキームに基づいてさらに決定され得る。例えば、現在のフレームのIPDパラメータ符号化スキームを調整するかどうかは、現在のフレームの前のフレーム、2つのフレーム、3つのフレーム、4つのフレーム、または5つのフレームのIPDパラメータ符号化スキームに基づいて決定され得る。可能な実施では、現在のフレームのIPDパラメータ符号化スキームが現在のフレームのIPDパラメータ符号化スキームと同じ場合、現在のフレームのIPDパラメータ符号化スキームを調整する必要はない。現在のフレームのIPDパラメータ符号化スキームが現在のフレームのIPDパラメータ符号化スキームと異なる場合、現在のフレームのIPDパラメータ符号化スキームを調整することを検討してもよい。例えば、現在のフレームの前のフレームを含む、現在のフレームの前の2つのフレーム、3つのフレーム、4つのフレーム、または5つのフレームは、同じIPDパラメータ符号化スキームを使用する。さらに、現在のフレームの前の2つのフレーム、3つのフレーム、4つのフレーム、または5つのフレームで使用されているIPDパラメータ符号化スキームが、現在のフレームのIPDパラメータ符号化スキームと異なる場合、現在のフレームのIPDパラメータ符号化スキームは調整される場合がある。具体的には、現在のフレームのIPDパラメータ符号化スキームは、現在のフレームのIPDパラメータ符号化スキームと同じになるように調整される。現在のフレームのIPDパラメータ符号化スキームを調整すると、現在のフレームの符号化スキームが前のフレームの符号化スキームとある程度一致することが保証され得るため、符号化されたコードストリームは復号化中の前のフレームと現在のフレームとのスムーズな移行を保証し、聴覚が向上する。
具体的には、一部の実施形態では、符号化スキームが第2の符号化スキームである場合、符号器は、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の少なくとも一部のサブバンドのIPDパラメータを抽出し得る。現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の少なくとも一部のサブバンドは、具体的に、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の分割により得られたNsubbandサブバンドのすべてまたは一部を含み得る。これは本明細書では限定されない。特定の実施中、ユーザは、マルチチャネル信号符号化の符号化レートや符号化品質などの符号化要件に基づいて、現在のフレームのものであり、現在のフレームのGroup IPDパラメータを符号化するために使用される左チャネル周波数領域信号および右チャネル周波数領域信号の周波数領域範囲が、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の全周波数領域範囲、具体的には現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のすべてのサブバンドの周波数領域信号を含む、または現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の特定の周波数領域範囲、具体的には現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の一部のフレームの周波数領域信号を含むと決定してもよい。現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のフレームの一部の周波数領域信号は、左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドの一部の周波数領域信号に含まれる。
一部の実行可能な実施では、符号器は、最初に現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを抽出せず、現在のフレームのIPDパラメータ符号化スキームを決定することがある。第1の符号化スキームが現在のフレームのIPDパラメータの符号化をスキップしている場合、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータは直接抽出されない場合がある。一部の他の実施では、代替的に現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のそれぞれのIPDパラメータが最初に抽出され、次に現在のフレームのIPDパラメータ符号化スキームが決定される。
一部の実行可能な実施では、現在のフレームのものであり、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のGroup IPDパラメータを符号化するために使用される左チャネル周波数領域信号および右チャネル周波数領域信号の周波数領域範囲が現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の全周波数領域範囲であると符号器が決定する場合、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のすべてのサブバンド(具体的には、現在のフレームのNsubbandサブバンド)のそれぞれのIPDパラメータが抽出され得、抽出されたすべてのサブバンドのIPDパラメータの平均値が計算され得、次にサブバンドのすべてのIPDパラメータの取得された平均値が、現在のフレームのGroup IPDパラメータとして使用される。実施では、現在のフレームのGroup IPDパラメータを計算する式は次のとおりである。
G_IPDは現在のフレームのGroup IPDパラメータを示し、IPD(b)はb番目のサブバンドのIPDパラメータを示す。
オプションで、一部の実行可能な実施では、現在のフレームであり、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のGroup IPDパラメータを符号化するために使用される左チャネル周波数領域信号および右チャネル周波数領域信号の周波数領域範囲が現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の特定の周波数領域範囲、具体的には、例えば[k1、k2]であると符号器が決定する場合、(k1)番目の周波数と(k2)番目の周波数との間の周波数領域信号、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号の一部のサブバンド(具体的には、(k1)番目の周波数と(k2)番目の周波数との間の周波数領域信号のサブバンド)のそれぞれのIPDパラメータが抽出され得、抽出されたすべてのサブバンドのIPDパラメータの平均値が計算され得、次にサブバンドのすべてのIPDパラメータの取得された平均値が、現在のフレームのGroup IPDパラメータとして使用される。
特定の実施中、(k1)番目の周波数と(k2)番目の周波数との間の周波数領域信号のサブバンドのIPDパラメータはそれぞれ、各周波数のIPDパラメータとして事前定義され得る。具体的には、この場合、サブバンドのIPDパラメータの計算を、各周波数のIPDパラメータの計算に置き換えることができる。現在のフレームのGroup IPDパラメータは、各周波数のIPDパラメータを各サブバンドのIPDパラメータとして使用して計算される。事前定義周波数領域範囲[k1、k2]で各周波数のIPDパラメータを1つずつ計算する方式は次のとおりである。
IPD(k)=∠L(k)R*(k),k1≦k≦k2。
IPD(k)=∠L(k)R*(k),k1≦k≦k2。
ここで、∠は複素数の角度を計算することを示す。L(k)は、オーディオ左チャネル周波数領域信号のk番目の周波数値を示し、R*(k)は、オーディオ右チャネル周波数領域信号のk番目の周波数値の共役を示す。
さらに、Group IPDパラメータを取得するために、事前定義範囲(現在のフレームおよび現在のフレームの前のA個のフレームを含むマルチチャネル周波数領域信号のマルチフレーム信号)のIPD(k)に対して統計処理を実行できる。
例えば、特定の周波数領域範囲[k1、k2]が左チャネル周波数領域信号および右チャネル周波数領域信号の6フレームのそれぞれの選択範囲である場合、6つのフレームを持つ左チャネル周波数領域信号および右チャネル周波数領域信号の各フレームの(k2-k1+1)番目の周波数のIPDパラメータの平均値を計算することができ、計算式は次のとおりである。
さらに、現在のフレームを含む6つの連続するフレームのIPDパラメータの平均値が計算され、現在のフレームのGroup IPDパラメータとして使用される。
は現在のフレームのIPDパラメータの平均値を示し、
は現在のフレームの前および隣接するのフレームのIPDパラメータの平均値を示し、
は現在のフレームの前および隣接するフレームの前および隣接するフレームのIPDパラメータの平均値を示し、以下同様である。
一部の実現可能な実施では、第2の符号化スキームは、サブバンドセットのIPDパラメータ符号化スキーム、またはサブバンドIPDパラメータ符号化スキームであってもよい。例えば、現在のフレームのIPDパラメータ符号化スキームがサブバンドIPDパラメータ抽出方式である場合、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のそれぞれのIPDパラメータは抽出され、次にサブバンドのIPDパラメータが任意の量子化方式で量子化される。これは特に限定されない。
図6は、本発明の別の実施形態によるIPDパラメータ符号化方法の手順を説明する。この実施形態は、参照パラメータが、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームの前のフレームのIPDパラメータ符号化スキーム、および現在のフレームの前のフレームの信号タイプを含む例を使用して説明され、第1の閾値の値は0.75、Aの値は1である。図6に示すように、この実施形態は以下のステップを含む。
S601.現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを取得する。
現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータを取得する特定の方式については、前述の説明を参照されたい。詳細はここでは再度説明しない。
S602.現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータの値が0.75以上かどうかを決定する。左チャネルと右チャネルとの間の相関を示すパラメータの値が0.75未満である場合、ステップS603に進み、左チャネルと右チャネルとの間の相関を示すパラメータの値が0.75以上である場合、ステップS607に進む。
S603.現在のフレームの前のフレームのIPDパラメータ符号化スキームを取得する。
現在のフレームの前のフレームのIPDパラメータ符号化スキームは、キャッシュに保存されてもよい。前のフレームのIPDパラメータ符号化スキームは、IPDパラメータの符号化をスキップするか、または左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のサブバンドIPDパラメータを符号化することができる。
S604.現在のフレームの前のフレームのIPDパラメータ符号化スキームがIPDパラメータの符号化をスキップしているかどうかを決定する。現在のフレームの前のフレームのIPDパラメータ符号化スキームがIPDパラメータの符号化をスキップしている場合、ステップS605に進む。現在のフレームの前のフレームのIPDパラメータ符号化スキームがIPDパラメータの符号化をスキップしていない場合、ステップS608に進む。
S605.現在のフレームの前のフレームの信号タイプを取得する。
現在のフレームの前のフレームの信号タイプは、キャッシュに保存されてもよい。前のフレームの信号タイプは、音楽信号タイプでも音声信号タイプでもよい。
S606.現在のフレームの前のフレームの信号タイプが音楽信号タイプであるかどうかを決定する。現在のフレームの前のフレームの信号タイプが音楽信号タイプである場合、ステップS607に進み、現在のフレームの前のフレームの信号タイプが音楽信号タイプではない場合、ステップS608に進む。
S607.具体的には、現在のフレームのIPDパラメータ符号化スキームがIPDパラメータの符号化をスキップしていることを確認して、現在のフレームのIPDパラメータの符号化をスキップする。現在のフレームの処理手順を終了する。
S608.現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のサブバンドIPDパラメータを符号化する。サブバンドは、サブバンドIPDパラメータと1対1で対応している。言い換えると、各サブバンドは、対応するサブバンドIPDパラメータを有する。
サブバンドIPDパラメータを取得する特定のプロセスは上記で説明されており、詳細はここでは再び説明されない。
現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドの一部のサブバンドIPDパラメータが符号化されるとき、サブバンドの特定の部分の符号化されるサブバンドIPDパラメータは、要件に基づいて設定される。例えば、合計でaサブバンドが存在し、aサブバンドの周波数値が0番目のサブバンドから(a-1)番目のサブバンドまで徐々に増加すると仮定する。一実施形態では、0番目のサブバンドから(a-3)番目のサブバンドまでのサブバンドIPDパラメータのみが符号化され得る。言い換えると、それぞれ最高周波数および2番目に高い周波数を持つ2つのサブバンドのサブバンドIPDパラメータは符号化されない。別の実施形態では、第2のサブバンドから(a-1)番目のサブバンドまでのサブバンドIPDパラメータのみが符号化され得る。言い換えると、それぞれ最低周波数および2番目に低い周波数を持つ2つのサブバンドのサブバンドIPDパラメータは符号化されない。もちろん、代替的に、サブバンドの任意の2つのサブバンドIPDパラメータが符号化されない場合がある。一部の実施形態では、符号化されたサブバンドIPDパラメータに対応するサブバンドの数量は、特定の要件に基づいて設定され得ることが理解され得る。例えば、aサブバンドの(a-1)サブバンドのサブバンドIPDパラメータが符号化され得るか、aサブバンドの(a-2)サブバンドのサブバンドIPDパラメータが符号化され得るか、aサブバンドの(a-3)サブバンドのサブバンドIPDパラメータが符号化され得るか、aサブバンドの(a-4)サブバンドのサブバンドIPDパラメータが符号化され得る。
図6の取得ステップS601、S603、およびS605の実行シーケンスは限定されないことが理解され得る。取得ステップS601、S603、およびS605のいずれか1つが最初に実行されてもよく、または取得ステップS601、S603、およびS605が同時に実行されてもよい。同様に、決定ステップS602、S604、およびS606の実行シーケンスも限定されない。決定ステップS602、S604、およびS606のうちのいずれか1つが最初に実行されてもよく、または決定ステップS602、S604、およびS606が同時に実行されてもよい。
図7は、本発明の別の実施形態によるIPDパラメータ符号化方法の手順を説明する。この実施形態は、以下のステップを含む。
S701.マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得する。
特定の参照パラメータおよび参照パラメータを取得する特定のパラメータについては、前述の実施形態の説明を参照されたい。詳細はここでは再度説明しない。
S702.取得したパラメータに基づいて、現在のフレームのIPDパラメータ符号化スキームを決定する。
現在のフレームのIPDパラメータ符号化スキームについては、前述の実施形態の説明を参照されたい。詳細はここでは再度説明しない。
S703.現在のフレームのIPDパラメータ符号化スキームが、現在のフレームの前のフレームのIPDパラメータ符号化スキームと同じかどうかを決定する。現在のフレームのIPDパラメータ符号化スキームが、現在のフレームの前のフレームのIPDパラメータ符号化スキームと同じである場合、ステップS704に進む。現在のフレームのIPDパラメータ符号化スキームが、現在のフレームの前のフレームのIPDパラメータ符号化スキームと異なる場合、ステップS705に進む。
S704.カウンタの事前定義値を0に設定し、ステップS707に進む。
言い換えると、現在のフレームのIPDパラメータ符号化スキームを調整する必要はない。
S705.カウンタの事前定義値が5未満であるかどうかを決定する。カウンタの事前定義値が5未満である場合、ステップS706に進む。カウンタの事前定義値が5以上である場合、ステップS707に進む。
S706.現在のフレームのIPDパラメータ符号化スキームを調整し、カウンタの事前定義値を1増やし、ステップS708に進む。
現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームである場合、現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームに調整される。例えば、現在のフレームのIPDパラメータ符号化スキームがIPDパラメータの符号化をスキップしている場合、現在のフレームのIPDパラメータ符号化スキームは、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のサブバンドIPDパラメータの符号化に調整される。代替的に、現在のフレームのIPDパラメータ符号化スキームが第2の符号化スキームである場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームに調整される。例えば、現在のフレームのIPDパラメータ符号化スキームが、現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のサブバンドIPDパラメータの符号化である場合、現在のフレームのIPDパラメータ符号化スキームはIPDパラメータの符号化をスキップするように調整される。
S707.現在のフレームの決定されたIPDパラメータ符号化スキームを使用して、現在のフレームのIPDパラメータを処理する。手順を終了する。
S708.現在のフレームの調整されたIPDパラメータ符号化スキームを使用して、現在のフレームのIPDパラメータを処理する。
本発明の別の実施では、現在のフレームのIPDパラメータ符号化スキームを調整するかどうかを決定する場合、2つのカウンタを使用することができる。具体的な処理方式は次のとおりである。
現在のフレームのIPDパラメータ符号化スキームおよび現在のフレームの前のフレームのIPDパラメータ符号化スキームの両方が第1の符号化スキームである場合、第1のカウンタの値は0に設定される。現在のフレームの前のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであり、現在のフレームのIPDパラメータ符号化スキームが第2の符号化スキームであり、第1のカウンタの値が5未満である場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームに調整され、第1のカウンタの値が1増加される。第1の符号化スキームは、IPDパラメータの符号化のスキップであってもよく、第2の符号化スキームは、左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のサブバンドIPDパラメータの符号化であってもよい。
現在のフレームのIPDパラメータ符号化スキームおよび現在のフレームの前のフレームのIPDパラメータ符号化スキームの両方が第2の符号化スキームである場合、第2のカウンタの値は0に設定される。現在のフレームの前のフレームのIPDパラメータ符号化スキームが第2の符号化スキームであり、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであり、第2のカウンタの値が5未満である場合、現在のフレームのIPDパラメータ符号化スキームは第2の符号化スキームに調整され、第2のカウンタの値が1増加される。第1の符号化スキームは、IPDパラメータの符号化のスキップであってもよく、第2の符号化スキームは、左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のサブバンドIPDパラメータの符号化であってもよい。
現在のフレームのIPDパラメータ符号化スキームが調整される場合、現在のフレームの調整されたIPDパラメータ符号化スキームがキャッシュされることが理解され得る。言い換えると、現在のフレームの後のフレームのIPDパラメータ符号化スキームが決定されるとき、現在のフレームの調整されたIPDパラメータ符号化スキームを参照する。
図8は、本発明の一実施形態によるIPDパラメータ符号化装置800の一実施形態の概略構造図である。IPDパラメータ符号化装置800は、
参照パラメータを取得するように構成された取得ユニット801を含み、参照パラメータは、マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用され、そして
特定の参照パラメータおよび参照パラメータの特定の取得パラメータについては、前述の実施形態の説明を参照することができ、詳細は本明細書では再度説明されず、そして装置は、
取得ユニット801によって取得された参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニット802を含み、ここで、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つであり、そして
現在のフレームのIPDパラメータ符号化スキームの決定については、方法の実施形態部分の説明を具体的に参照することができ、少なくとも2つの事前定義IPDパラメータ符号化スキームの特定の符号化スキームについても、方法の実施形態部分の説明を参照することができ、詳細は本明細書で再び説明されず、そして装置は、
現在のフレームのものであり、決定ユニット802によって決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するように構成された処理ユニット803を含む。
参照パラメータを取得するように構成された取得ユニット801を含み、参照パラメータは、マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用され、そして
特定の参照パラメータおよび参照パラメータの特定の取得パラメータについては、前述の実施形態の説明を参照することができ、詳細は本明細書では再度説明されず、そして装置は、
取得ユニット801によって取得された参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニット802を含み、ここで、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つであり、そして
現在のフレームのIPDパラメータ符号化スキームの決定については、方法の実施形態部分の説明を具体的に参照することができ、少なくとも2つの事前定義IPDパラメータ符号化スキームの特定の符号化スキームについても、方法の実施形態部分の説明を参照することができ、詳細は本明細書で再び説明されず、そして装置は、
現在のフレームのものであり、決定ユニット802によって決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するように構成された処理ユニット803を含む。
特定の処理プロセスについては、方法の実施形態部分の説明を参照されたい。詳細はここでは再度説明しない。
本発明の別の実施形態では、決定ユニット802は、現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定するようにさらに構成され得る。この場合、図8に示すように、IPDパラメータ符号化装置800は、決定ユニット802が現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があると決定する場合、現在のフレームの決定されたIPDパラメータ符号化スキームを調整するように構成される調整ユニット804をさらに含むことができる。それに対応して、処理ユニット803は、現在のフレームの調整されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するように特に構成される。現在のフレームの決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定する方法、および現在のフレームのIPDパラメータ符号化スキームを調整する方法については、方法の実施形態の説明を参照されたい。詳細はここでは再度説明しない。
図8に示すように、本発明の別の実施形態では、IPDパラメータ符号化装置800は、現在のフレームのものであり、決定ユニット802によって決定されたIPDパラメータ符号化スキームを符号化するように構成された符号化ユニット805をさらに含むことができる。例えば、現在のフレームのIPDパラメータ符号化スキームが第1の符号化スキームであるか第2の符号化スキームであるかを示すために、符号化スキームフラグビットが設定され得、フラグビットが1ビットを占有する。このようにして、復号器は、対応する復号化方式を使用して復号化を実行するために、符号化スキームフラグビットに基づいて現在のフレームのIPDパラメータ符号化スキームを決定することができる。一部の実施形態では、符号化ユニット805および処理ユニット803は1つの論理ユニットであり得ることが理解され得る。
図9は、本発明の他の実施形態による端末の構造を説明している。端末は、ウェアラブルデバイス、VRデバイス、ARデバイス、携帯電話、PAD、Notebook、PCなどであってもよい。図9に示されるように、本発明のこの実施形態で提供される端末は、(図9の点線ボックスに示されるような)ネットワークインターフェース910を含む。ネットワークインターフェース910は、データを送受信するように構成される。例えば、端末が符号器として機能する場合、送信されるデータは、端末によって符号化された(コードストリームで伝送される)マルチチャネル信号を含む。IPDパラメータが符号化されると、送信されるデータはIPDパラメータをさらに含む(IPDパラメータもコードストリームで伝送され、マルチチャネル信号の一部として使用され得る)。端末が復号器として機能する場合、受信データはマルチチャネル信号を伝送するコードストリームを含む。符号器がIPDパラメータを符号化すると、受信データはIPDパラメータをさらに含み得る。ネットワークインターフェース910の特定の形態は様々であり得、端末の特定の形態および異なる適用シナリオに基づいて具体的に異なり得る。図9は3つの例を示している。第1の例は、無線周波数トランシーバ(RF Transceiver)901およびモデム(Modem)902を含むセルラーネットワークアクセスモジュールである。セルラーネットワークアクセスモジュールは、2G(2nd Generation)、3G(3rd Generation)、4G(4th Generation)、具体的には長期進化(LTE:Long Term Evolution)ネットワーク、将来の5G(5th Generation)または6G(6th Generation)ネットワークなどのモバイルオペレータによって提供されるモバイル通信ネットワークにアクセスするように構成されている。第2の例は、アクセスポイント(AP:Access Point)にアクセスすることによりネットワークにアクセスするように構成されたワイファイ(WiFi:Wireless Fidelity)モジュール903である。第3の例は、ツイストペアケーブルまたは光ファイバを使用してネットワークにアクセスするように構成されたイーサネット(登録商標)ネットワークアダプタ904である。端末が前述の3つのネットワークインターフェースのすべてを含む必要はなく、端末がネットワークにアクセスできるために、前述の3つのネットワークインターフェース端末の少なくとも1つのみを含んでもよいことに留意されたい。さらに、端末に含まれるネットワークインターフェースは、前述の3つのタイプの1つでなくてもよく、例えば、ブルートゥース(登録商標)インターフェースまたはModemであってもよい。したがって、ネットワークインターフェース910の特定の形態は、本発明のこの実施形態では限定されず、端末がネットワークインターフェース910を介してネットワークにアクセスできるならば、本発明のこの実施形態の実施は影響を受けない。
図9に示されるように、端末は、マルチチャネル信号を収集するように構成されたマイクロフォン905をさらに含むことができる。マイクロフォン905にはアナログ-デジタル変換器が組み込まれていてもよい。したがって、マイクロフォンは、収集されたアナログ信号形式のマルチチャネル信号をデジタル信号形式のマルチチャネル信号に変換してもよい。もちろん、代替的に、マイクロフォン905にアナログ-デジタル変換器を組み込まなくてもよい。この場合、端末は、マイクロフォン905によって収集されたアナログ信号形式のマルチチャネル信号のアナログ-デジタル変換を実行し、デジタル信号形式のマルチチャネル信号を取得するために、アナログ-デジタル変換器をさらに含む必要がある。1つ、2つ、3つ、またはそれ以上のマイクロフォン905があり得る。本発明のこの実施形態では、マイクロフォン905の特定の数量は限定されない。端末は、代替的に外部マイクロフォンを使用してマルチチャネル信号を収集してもよいことが理解され得る。この場合、外部マイクロフォンの挿入を容易にし、端末と外部マイクロフォンとの間のデータ交換を実施するために、端末は外部マイクロフォンの適応インターフェースを含む必要がある。
図9に示されるように、端末は、端末による復号化によって取得されたマルチチャネル信号を再生するように構成されたラウドスピーカ906をさらに含み得る。マルチチャネル信号を含み、端末によって受信されるビットストリームがIPDパラメータを含む場合、この復号化プロセスは、IPDパラメータに基づいて実行され得る。デジタル-アナログ変換器は、ラウドスピーカ906に組み込まれてもよい。言い換えると、端末は、デジタル信号形式のマルチチャネル信号をラウドスピーカ906に送信し得、
ラウドスピーカ906は、デジタル信号形式のマルチチャネル信号をアナログ信号形式のマルチチャネル信号に変換して再生するために、デジタル信号形式のマルチチャネル信号にアナログ-デジタル変換を実行する。もちろん、代替的に、ラウドスピーカ906にデジタル-アナログ変換器を組み込まなくてもよい。この場合、端末は、デジタル信号形式のマルチチャネル信号をアナログ信号形式のマルチチャネル信号に変換するためのアナログ-デジタル変換器を含む必要があり、アナログ形式のマルチチャネル信号を再生のためにラウドスピーカ906に送信する。1つ、2つ、3つ、またはそれ以上のラウドスピーカ906があり得る。本発明のこの実施形態では、ラウドスピーカ906の数量は限定されない。端末は、代替的に、外部スピーカを使用してマルチチャネル信号を再生してもよいことが理解され得る。この場合、外部ラウドスピーカの挿入を容易にし、外部ラウドスピーカとのデータ交換を実施するために、端末は外部ラウドスピーカの適応インターフェースを含む必要がある。
ラウドスピーカ906は、デジタル信号形式のマルチチャネル信号をアナログ信号形式のマルチチャネル信号に変換して再生するために、デジタル信号形式のマルチチャネル信号にアナログ-デジタル変換を実行する。もちろん、代替的に、ラウドスピーカ906にデジタル-アナログ変換器を組み込まなくてもよい。この場合、端末は、デジタル信号形式のマルチチャネル信号をアナログ信号形式のマルチチャネル信号に変換するためのアナログ-デジタル変換器を含む必要があり、アナログ形式のマルチチャネル信号を再生のためにラウドスピーカ906に送信する。1つ、2つ、3つ、またはそれ以上のラウドスピーカ906があり得る。本発明のこの実施形態では、ラウドスピーカ906の数量は限定されない。端末は、代替的に、外部スピーカを使用してマルチチャネル信号を再生してもよいことが理解され得る。この場合、外部ラウドスピーカの挿入を容易にし、外部ラウドスピーカとのデータ交換を実施するために、端末は外部ラウドスピーカの適応インターフェースを含む必要がある。
図9に示されるように、端末は、プロセッサ908およびメモリ909をさらに含む。メモリ909は、プロセッサによって実行可能なコードを格納するように構成され、プロセッサ908は、前述の方法の実施形態で説明した方法を実施するために、メモリ909に格納されたコードを実行するように構成される。
図9に示されるように、端末はバス907をさらに含む。ネットワークインターフェース910、マイクロフォン905、ラウドスピーカ906、プロセッサ908、およびメモリ909などの前述の構成要素間のデータ交換は、バス907を使用することによって実行され得る。図9は、端末の構造の一例を説明しているにすぎないことが理解され得る。構造内の一部の接続関係は単純化されている。実際の適用中、ネットワークインターフェース910、マイクロフォン905、またはラウドスピーカ906などの構成要素は、バス907に直接接続されない場合がある。言い換えると、ネットワークインターフェース910、マイクロフォン905、またはラウドスピーカ906などの構成要素間のデータ交換は、別の構成要素を通過するさらなる必要があるかもしれない。
一部の実施形態では、プロセッサ908およびメモリ909は、データ交換インターフェースをさらに有し得る。プロセッサ908とメモリ909との間のデータ交換は、プロセッサ908とメモリ909との間のデータ交換効率を改善するために、データ交換インターフェースを介して直接実行されてもよく、バス907を通過する必要はない。
一部の実施形態では、プロセッサ908およびメモリ909は、デジタル信号プロセッサ(DSP:Digital Signal Processor)のプロセッサおよびメモリであり得る。言い換えると、プロセッサ908およびメモリ909の両方がDSPにカプセル化されている。この場合、プロセッサ908とメモリ909との間のデータ交換は、DSP内部のデータ交換インターフェースを介して実行され得る。さらに、プロセッサ908およびメモリ909の両方がDSPにカプセル化されているため、プロセッサ908およびメモリ909は、DSPとバス907との間の1つのデータ交換インターフェースを介して別の構成要素とデータを交換できる。
本発明の実施形態は、コンピュータプログラムをさらに提供する。コンピュータプログラムが実行されると、前述の方法の実施形態のいずれか1つの手順が実行され得る。
本発明の一実施形態は、記憶媒体をさらに提供する。記憶媒体は実行可能コードを格納し、実行可能コードが実行されると、前述の方法の実施形態のいずれか1つの手順が実行され得る。
当業者であれば、実施形態の方法の手順のすべてまたは一部を、関連するハードウェアに指示するコンピュータプログラムによって実施できることを理解してもよい。プログラムは、コンピュータ可読記憶媒体に格納されてもよい。プログラムが実行されると、実施形態の方法の手順が含まれる。記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)等を含み得る。
本発明の明細書、特許請求の範囲および添付の図面において、用語「第1の」、「第2の」、「第3の」、「第4の」などは異なる物体を区別することを意図しているが、特定の順序を示しているわけではない。さらに、用語「含む」、「有する」、およびそれらのその他の変形は、非排他的な包含を網羅することを意図している。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、またはデバイスは、リストされたステップまたはユニットに限定されず、任意に、リストされていないステップまたはユニットをさらに含む、または任意に、プロセス、方法、システム、製品、またはデバイスの別の固有のステップまたはユニットをさらに含む。
上記で開示したものは、本発明の例示的な実施形態にすぎず、もちろん本発明の保護範囲を限定するものではない。したがって、本発明の特許請求の範囲に基づいてなされた同等の変形は、本発明の範囲内に含まれるものとする。
800 IPDパラメータ符号化装置
801 取得ユニット
802 決定ユニット
803 処理ユニット
804 調整ユニット
805 符号化ユニット
901 無線周波数トランシーバ
902 モデム
903 ワイファイモジュール
904 イーサネット(登録商標)ネットワークアダプタ
905 マイクロフォン
906 ラウドスピーカ
907 バス
908 プロセッサ
909 メモリ
910 ネットワークインターフェース
801 取得ユニット
802 決定ユニット
803 処理ユニット
804 調整ユニット
805 符号化ユニット
901 無線周波数トランシーバ
902 モデム
903 ワイファイモジュール
904 イーサネット(登録商標)ネットワークアダプタ
905 マイクロフォン
906 ラウドスピーカ
907 バス
908 プロセッサ
909 メモリ
910 ネットワークインターフェース
従来技術2では、ステレオ信号の各フレームのIPDパラメータを計算する際、具体的には、時間領域信号が周波数領域信号に変換され、周波数領域信号に基づいて1フレームのステレオ信号のIPDパラメータが計算される。フレームを含むステレオ信号のIPDパラメータは、グループチャネル間位相差(Group IPD)パラメータであり、次に、Group IPDパラメータは、量子化されてステレオ信号の符号化に使用される。従来技術では、1つのIPDパラメータ(すなわち、Group IPDパラメータ)のみが計算され、次に、1つのIPDパラメータのみが量子化できることが分かる。占有されるリソースは少なくなるが、符号化の位相情報の精度は低く、符号化の品質は低くなる。
本出願は、IPDパラメータ符号化方法および装置を提供して、IPDパラメータ符号化スキームの選択の多様性を高め、位相情報をより良く維持し、オーディオ符号化品質を改善する。
本発明の第1の態様によれば、IPDパラメータ符号化方法が提供され、方法は、
マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得するステップと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するステップであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、ステップと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップとを含む。
マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得するステップと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するステップであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、ステップと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するステップとを含む。
現在のフレームの信号特性パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームのサブバンドIPDパラメータの分散、現在のフレームの信号タイプ、および現在のフレームのITDパラメータのうちの少なくとも1つを含む。
第1の態様の第2の実施から第5の実施のいずれか1つに関して、第1の態様の第6の実施では、第1の符号化スキームは、
Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
本発明の第2の態様によれば、IPDパラメータ符号化装置が提供され、装置は、
参照パラメータを取得するように構成された取得ユニットであって、参照パラメータは、マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される、取得ユニットと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニットであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、決定ユニットと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するように構成された処理ユニットとを含む。
参照パラメータを取得するように構成された取得ユニットであって、参照パラメータは、マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用される、取得ユニットと、
参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニットであって、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、決定ユニットと、
現在のフレームの決定されたIPDパラメータ符号化スキームに基づいて現在のフレームのIPDパラメータを処理するように構成された処理ユニットとを含む。
現在のフレームの信号特性パラメータは、現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、現在のフレームのサブバンドIPDパラメータの分散、現在のフレームの信号タイプ、および現在のフレームのITDパラメータのうちの少なくとも1つを含む。
第2の態様の第2の実施から第5の実施のいずれか1つに関して、第2の態様の第6の実施では、第1の符号化スキームは、
Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む。
以下に、本発明の実施形態における技術的解決策を、本発明の実施形態における添付図面を参照しながら、明確に説明する。明らかに、記載した実施形態は、本発明の実施形態の一部にすぎず、すべてではない。本発明の実施形態に基づいて、創造的な労力を費やすことなく当業者によって得られた他のすべての実施形態は、本発明の保護範囲内に入るものとする。
一部の実行可能な実施では、参照パラメータは、現在のフレームのITDパラメータを含む。現在のフレームのITDパラメータの値が事前定義された閾値よりも大きい場合、現在のフレームのIPDパラメータ符号化スキームは第1の符号化スキームであると決定される。それ以外の場合、現在のフレームのIPDパラメータ符号化スキームは、第2の符号化スキームである。一実施形態では、事前定義された閾値は、1、2、3、4、または5であってもよい。
さらに、オプションの実施では、前述の実施を使用して現在のフレームのIPDパラメータ符号化スキームが決定された後、現在のフレームのIPDパラメータ符号化スキームを調整するかどうかは、現在のフレームの前のA個のフレームのIPDパラメータ符号化スキームに基づいてさらに決定され得る。例えば、現在のフレームのIPDパラメータ符号化スキームを調整するかどうかは、現在のフレームの前のフレーム、2つのフレーム、3つのフレーム、4つのフレーム、または5つのフレームのIPDパラメータ符号化スキームに基づいて決定され得る。可能な実施では、現在のフレームのIPDパラメータ符号化スキームが前のA個のフレームのIPDパラメータ符号化スキームと同じ場合、現在のフレームのIPDパラメータ符号化スキームを調整する必要はない。現在のフレームのIPDパラメータ符号化スキームが前のA個のフレームのIPDパラメータ符号化スキームと異なる場合、現在のフレームのIPDパラメータ符号化スキームを調整することを検討してもよい。例えば、現在のフレームの前のフレームを含む、現在のフレームの前の2つのフレーム、3つのフレーム、4つのフレーム、または5つのフレームは、同じIPDパラメータ符号化スキームを使用する。さらに、現在のフレームの前の2つのフレーム、3つのフレーム、4つのフレーム、または5つのフレームで使用されているIPDパラメータ符号化スキームが、現在のフレームのIPDパラメータ符号化スキームと異なる場合、現在のフレームのIPDパラメータ符号化スキームは調整される場合がある。具体的には、現在のフレームのIPDパラメータ符号化スキームは、前のA個のフレームのIPDパラメータ符号化スキームと同じになるように調整される。現在のフレームのIPDパラメータ符号化スキームを調整すると、現在のフレームの符号化スキームが前のフレームの符号化スキームとある程度一致することが保証され得るため、符号化されたコードストリームは復号化中の前のフレームと現在のフレームとのスムーズな移行を保証し、聴覚が向上する。
特定の参照パラメータおよび参照パラメータを取得する特定の方式については、前述の実施形態の説明を参照されたい。詳細はここでは再度説明しない。
図8は、本発明の一実施形態によるIPDパラメータ符号化装置800の一実施形態の概略構造図である。IPDパラメータ符号化装置800は、
参照パラメータを取得するように構成された取得ユニット801を含み、参照パラメータは、マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用され、そして
特定の参照パラメータおよび参照パラメータの特定の取得パラメータについては、前述の実施形態の説明を参照することができ、詳細は本明細書では再度説明されず、そして装置は、
取得ユニット801によって取得された参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニット802を含み、ここで、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つであり、そして
現在のフレームのIPDパラメータ符号化スキームの決定については、方法の実施形態部分の説明を具体的に参照することができ、少なくとも2つの事前定義IPDパラメータ符号化スキームの特定の符号化スキームについても、方法の実施形態部分の説明を参照することができ、詳細は本明細書で再び説明されず、そして装置は、
現在のフレームのものであり、決定ユニット802によって決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するように構成された処理ユニット803を含む。
参照パラメータを取得するように構成された取得ユニット801を含み、参照パラメータは、マルチチャネル信号の現在のフレームのIPDパラメータ符号化スキームを決定するために使用され、そして
特定の参照パラメータおよび参照パラメータの特定の取得パラメータについては、前述の実施形態の説明を参照することができ、詳細は本明細書では再度説明されず、そして装置は、
取得ユニット801によって取得された参照パラメータに基づいて現在のフレームのIPDパラメータ符号化スキームを決定するように構成された決定ユニット802を含み、ここで、現在のフレームの決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つであり、そして
現在のフレームのIPDパラメータ符号化スキームの決定については、方法の実施形態部分の説明を具体的に参照することができ、少なくとも2つの事前定義IPDパラメータ符号化スキームの特定の符号化スキームについても、方法の実施形態部分の説明を参照することができ、詳細は本明細書で再び説明されず、そして装置は、
現在のフレームのものであり、決定ユニット802によって決定されたIPDパラメータ符号化スキームに基づいて、現在のフレームのIPDパラメータを処理するように構成された処理ユニット803を含む。
Claims (26)
- マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用される参照パラメータを取得するステップと、
前記参照パラメータに基づいて前記現在のフレームの前記IPDパラメータ符号化スキームを決定するステップであって、前記現在のフレームの前記決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、ステップと、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて、前記現在のフレームのIPDパラメータを処理するステップと
を含む、チャネル間位相差パラメータ符号化方法。 - 前記参照パラメータは、前記現在のフレームの信号特性パラメータおよび前記現在のフレームの前のA個のフレームの信号特性パラメータのうちの少なくとも1つを含み、Aは1以上の整数であり、
前記現在のフレームの前記信号特性パラメータは、前記現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、前記現在のフレームのサブバンドIPDパラメータの分散、前記現在のフレームの信号タイプ、および前記現在のフレームの前記チャネル間時間差ITDパラメータのうちの少なくとも1つを含み、
前記現在のフレームの前の前記A個のフレームの前記信号特性パラメータは、前記前のA個のフレームのそれぞれの左チャネルと右チャネルとの間の相関を示すパラメータ、前記前のA個のフレームのそれぞれのサブバンドIPDパラメータの分散、前記前のA個のフレームのそれぞれのITDパラメータ、前記前のA個のフレームのそれぞれのIPDパラメータ符号化スキーム、および前記前のA個のフレームのそれぞれの信号タイプのうちの少なくとも1つを含み、
前記信号タイプは、音声タイプまたは音楽タイプを含む、請求項1に記載の方法。 - 前記参照パラメータは、前記現在のフレームの前記左チャネルと右チャネルとの間の前記相関を示す前記パラメータを含み、
前記現在のフレームの前記左チャネルと右チャネルとの間の前記相関を示す前記パラメータの値が第1の閾値以上である場合、前記現在のフレームの前記IPDパラメータ符号化スキームは、前記少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームである、請求項2に記載の方法。 - 前記第1の閾値は0.75である、請求項3に記載の方法。
- 前記参照パラメータは、前記前のA個のフレームのそれぞれの前記IPDパラメータ符号化スキームと、前記前のA個のフレームのそれぞれの前記信号タイプとを含み、
前記前のA個のフレームのそれぞれの前記IPDパラメータ符号化スキームが前記少なくとも2つのIPDパラメータ符号化スキームの前記第1の符号化スキームであり、前記前のA個のフレームのそれぞれの前記信号タイプが音楽タイプである場合、前記現在のフレームの前記IPDパラメータ符号化スキームは前記第1の符号化スキームである、請求項2から4のいずれか一項に記載の方法。 - Aの値は1である、請求項5に記載の方法。
- 前記第1の符号化スキームは、
グループチャネル間位相差Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む、請求項3から6のいずれか一項に記載の方法。 - 前記現在のフレームの前記IPDパラメータ符号化スキームが前記第1の符号化スキームでない場合、前記現在のフレームの前記IPDパラメータ符号化スキームは第2の符号化スキームであり、
前記第2の符号化スキームは、サブバンドセットのIPDパラメータ符号化スキーム、またはサブバンドIPDパラメータ符号化スキームを含み、前記サブバンドIPDパラメータ符号化スキームは、前記現在のフレームのサブバンドの一部またはすべてのサブバンドIPDパラメータを符号化する、請求項3から7のいずれか一項に記載の方法。 - 前記第2の符号化スキームは、前記サブバンドIPDパラメータ符号化スキームであり、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて、前記現在のフレームのIPDパラメータを処理する前記ステップは、
前記現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを計算するステップと、
前記サブバンドのすべてまたは一部のものであり、計算によって取得された前記IPDパラメータを符号化するステップとを含む、請求項8に記載の方法。 - 前記方法は、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて符号化を実行するステップをさらに含む、請求項1から9のいずれか一項に記載の方法。 - 前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて前記現在のフレームのIPDパラメータを処理する前記ステップの前に、前記方法は、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定するステップと、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームを調整する必要があると決定された場合、前記決定された前記現在のフレームのIPDパラメータ符号化スキームを調整するステップとをさらに含み、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて前記現在のフレームのIPDパラメータを処理する前記ステップは、
前記現在のフレームの前記調整されたIPDパラメータ符号化スキームに基づいて、前記現在のフレームの前記IPDパラメータを処理するステップを含む、請求項1から10のいずれか一項に記載の方法。 - 前記現在のフレームの前記決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかを決定する前記ステップは、前記現在のフレームの前の前記A個のフレームのIPDパラメータ符号化スキームに基づいて実行される、請求項11に記載の方法。
- 前記現在のフレームの前記左チャネルと右チャネルとの間の前記相関を示す前記パラメータは、以下の計算式、
ここで、
を使用することによって取得され、ここで
El(b)はオーディオ左チャネルのエネルギー合計を示し、Er(b)はオーディオ右チャネルのエネルギー合計を示し、Lr(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の実部を示し、Rr(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の実部を示し、Li(k)は前記オーディオ左チャネル周波数領域信号の前記k番目の周波数値の虚部を示し、Ri(k)は前記オーディオ右チャネル周波数領域信号の前記k番目の周波数値の虚部を示し、Lはサブバンドスペクトル係数の数量を示し、Nはサブバンドの数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、L(k)は前記オーディオ左チャネル周波数領域信号のものであり、かつ前記IPDパラメータの計算に使用されるk番目の周波数値を示し、R(k)は前記オーディオ右チャネル周波数領域信号のものであり、かつ前記IPDパラメータの計算に使用されるk番目の周波数値を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す、請求項2から12のいずれか一項に記載の方法。 - 参照パラメータを取得するように構成された取得ユニットであって、前記参照パラメータは、マルチチャネル信号の現在のフレームのチャネル間位相差IPDパラメータ符号化スキームを決定するために使用される、取得ユニットと、
前記参照パラメータに基づいて前記現在のフレームの前記IPDパラメータ符号化スキームを決定するように構成された決定ユニットであって、前記現在のフレームの前記決定されたIPDパラメータ符号化スキームは、少なくとも2つの事前定義IPDパラメータ符号化スキームのうちの1つである、決定ユニットと、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて前記現在のフレームのIPDパラメータを処理するように構成された処理ユニットと
を含む、チャネル間位相差パラメータ符号化装置。 - 前記参照パラメータは、前記現在のフレームの信号特性パラメータおよび前記現在のフレームの前のA個のフレームの信号特性パラメータのうちの少なくとも1つを含み、Aは1以上の整数であり、
前記現在のフレームの前記信号特性パラメータは、前記現在のフレームの左チャネルと右チャネルとの間の相関を示すパラメータ、前記現在のフレームのサブバンドIPDパラメータの分散、前記現在のフレームの信号タイプ、および前記現在のフレームの前記チャネル間時間差ITDパラメータのうちの少なくとも1つを含み、
前記現在のフレームの前の前記A個のフレームの前記信号特性パラメータは、前記前のA個のフレームのそれぞれの左チャネルと右チャネルとの間の相関を示すパラメータ、前記前のA個のフレームのそれぞれのサブバンドIPDパラメータの分散、前記前のA個のフレームのそれぞれのITDパラメータ、前記前のA個のフレームのそれぞれのIPDパラメータ符号化スキーム、および前記前のA個のフレームのそれぞれの信号タイプのうちの少なくとも1つを含み、
前記信号タイプは、音声タイプまたは音楽タイプを含む、請求項14に記載の装置。 - 前記参照パラメータは、前記現在のフレームの前記左チャネルと右チャネルとの間の前記相関を示す前記パラメータを含み、
前記現在のフレームの前記左チャネルと右チャネルとの間の前記相関を示す前記パラメータの値が第1の閾値以上である場合、前記現在のフレームの前記IPDパラメータ符号化スキームは、前記少なくとも2つのIPDパラメータ符号化スキームの第1の符号化スキームである、請求項15に記載の装置。 - 前記第1の閾値は0.75である、請求項16に記載の装置。
- 前記参照パラメータは、前記前のA個のフレームのそれぞれの前記IPDパラメータ符号化スキームと、前記前のA個のフレームのそれぞれの前記信号タイプとを含み、
前記前のA個のフレームのそれぞれの前記IPDパラメータ符号化スキームが前記少なくとも2つのIPDパラメータ符号化スキームの前記第1の符号化スキームであり、前記前のA個のフレームのそれぞれの前記信号タイプが音楽タイプである場合、前記現在のフレームの前記IPDパラメータ符号化スキームは前記第1の符号化スキームである、請求項15から17のいずれか一項に記載の装置。 - Aの値は1である、請求項18に記載の装置。
- 前記第1の符号化スキームは、
グループチャネル間位相差Group IPDパラメータ符号化スキーム、
IPDパラメータの符号化のスキップ、または
IPDパラメータの値を0に設定する、のいずれか1つの方式を含む、請求項16から19のいずれか一項に記載の装置。 - 前記現在のフレームの前記IPDパラメータ符号化スキームが前記第1の符号化スキームでない場合、
前記現在のフレームの前記IPDパラメータ符号化スキームは第2の符号化スキームであり、
前記第2の符号化スキームは、サブバンドセットのIPDパラメータ符号化スキーム、またはサブバンドIPDパラメータ符号化スキームを含み、前記サブバンドIPDパラメータ符号化スキームは、前記現在のフレームのサブバンドの一部またはすべてのサブバンドIPDパラメータを符号化する、請求項16から20のいずれか一項に記載の装置。 - 前記第2の符号化スキームは、前記サブバンドIPDパラメータ符号化スキームであり、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて、前記現在のフレームのIPDパラメータの前記処理は、
前記現在のフレームの左チャネル周波数領域信号および右チャネル周波数領域信号のサブバンドのすべてまたは一部のIPDパラメータを計算するステップと、
前記サブバンドのすべてまたは一部のものであり、計算によって取得された前記IPDパラメータを符号化するステップとを含む、請求項21に記載の装置。 - 前記方法は、
前記現在のフレームの前記決定されたIPDパラメータ符号化スキームに基づいて符号化を実行するステップをさらに含む、請求項14から22のいずれか一項に記載の装置。 - 前記決定ユニットは、前記現在のフレームのものであり、かつ前記決定ユニットによって決定された前記IPDパラメータ符号化スキームを調整する必要があるかどうかを決定するようにさらに構成され、
前記装置は、
前記決定ユニットが、前記現在のフレームの前記決定されたIPDパラメータ符号化スキームを調整する必要があると決定したときに、前記現在のフレームの前記決定されたIPDパラメータ符号化スキームを調整するように構成された調整ユニットと、
前記現在のフレームの前記調整されたIPDパラメータ符号化スキームに基づいて前記現在のフレームの前記IPDパラメータを処理するようにさらに構成された前記処理ユニットとをさらに含む、請求項14から23のいずれか一項に記載の装置。 - 前記現在のフレームの前記決定されたIPDパラメータ符号化スキームを調整する必要があるかどうかの前記決定は、前記現在のフレームの前の前記A個のフレームのIPDパラメータ符号化スキームに基づいて実行される、請求項24に記載の装置。
- 前記取得ユニットは、以下の計算式、
ここで
を使用して、前記現在のフレームの前記左チャネルと右チャネルとの間の前記相関を示す前記パラメータを取得するように特に構成され、ここで、
El(b)はオーディオ左チャネルのエネルギー合計を示し、Er(b)はオーディオ右チャネルのエネルギー合計を示し、Lr(k)はオーディオ左チャネル周波数領域信号のk番目の周波数値の実部を示し、Rr(k)はオーディオ右チャネル周波数領域信号のk番目の周波数値の実部を示し、Li(k)は前記オーディオ左チャネル周波数領域信号の前記k番目の周波数値の虚部を示し、Ri(k)は前記オーディオ右チャネル周波数領域信号の前記k番目の周波数値の虚部を示し、Lはサブバンドスペクトル係数の数量を示し、Nはサブバンドの数量を示し、nは時間領域信号のインデックス値を示し、kは周波数領域信号のインデックス値を示し、Lengthはフレーム長を示し、xL(n)はオーディオ左チャネル時間領域信号を示し、xR(n)はオーディオ右チャネル時間領域信号を示し、L(k)は前記オーディオ左チャネル周波数領域信号のものであり、かつ前記IPDパラメータの計算に使用されるk番目の周波数値を示し、R(k)は前記オーディオ右チャネル周波数領域信号のものであり、かつ前記IPDパラメータの計算に使用されるk番目の周波数値を示し、ここで、xL(n)およびxR(n)は実数のシーケンスを示す、請求項14から25のいずれか一項に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710524352.0 | 2017-06-30 | ||
CN201710524352.0A CN109215668B (zh) | 2017-06-30 | 2017-06-30 | 一种声道间相位差参数的编码方法及装置 |
JP2019572587A JP7080262B2 (ja) | 2017-06-30 | 2018-05-05 | チャネル間位相差パラメータ符号化方法および装置 |
JP2022044026A JP7439152B2 (ja) | 2017-06-30 | 2022-03-18 | チャネル間位相差パラメータ符号化方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022044026A Division JP7439152B2 (ja) | 2017-06-30 | 2022-03-18 | チャネル間位相差パラメータ符号化方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024059711A true JP2024059711A (ja) | 2024-05-01 |
Family
ID=64741065
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019572587A Active JP7080262B2 (ja) | 2017-06-30 | 2018-05-05 | チャネル間位相差パラメータ符号化方法および装置 |
JP2022044026A Active JP7439152B2 (ja) | 2017-06-30 | 2022-03-18 | チャネル間位相差パラメータ符号化方法および装置 |
JP2024020494A Pending JP2024059711A (ja) | 2017-06-30 | 2024-02-14 | チャネル間位相差パラメータ符号化方法および装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019572587A Active JP7080262B2 (ja) | 2017-06-30 | 2018-05-05 | チャネル間位相差パラメータ符号化方法および装置 |
JP2022044026A Active JP7439152B2 (ja) | 2017-06-30 | 2022-03-18 | チャネル間位相差パラメータ符号化方法および装置 |
Country Status (10)
Country | Link |
---|---|
US (3) | US11031021B2 (ja) |
EP (2) | EP3637415B1 (ja) |
JP (3) | JP7080262B2 (ja) |
KR (5) | KR102697288B1 (ja) |
CN (1) | CN109215668B (ja) |
BR (1) | BR112019028256A2 (ja) |
ES (1) | ES2979342T3 (ja) |
RU (1) | RU2769789C2 (ja) |
SG (1) | SG11201913610VA (ja) |
WO (1) | WO2019001142A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215668B (zh) * | 2017-06-30 | 2021-01-05 | 华为技术有限公司 | 一种声道间相位差参数的编码方法及装置 |
US12100403B2 (en) * | 2020-03-09 | 2024-09-24 | Nippon Telegraph And Telephone Corporation | Sound signal downmixing method, sound signal coding method, sound signal downmixing apparatus, sound signal coding apparatus, program and recording medium |
CN115881140A (zh) * | 2021-09-29 | 2023-03-31 | 华为技术有限公司 | 编解码方法、装置、设备、存储介质及计算机程序产品 |
CN114365509B (zh) * | 2021-12-03 | 2024-03-01 | 北京小米移动软件有限公司 | 一种立体声音频信号处理方法及设备/存储介质/装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE527670C2 (sv) * | 2003-12-19 | 2006-05-09 | Ericsson Telefon Ab L M | Naturtrogenhetsoptimerad kodning med variabel ramlängd |
TWI396188B (zh) * | 2005-08-02 | 2013-05-11 | Dolby Lab Licensing Corp | 依聆聽事件之函數控制空間音訊編碼參數的技術 |
EP2144229A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
KR101108060B1 (ko) | 2008-09-25 | 2012-01-25 | 엘지전자 주식회사 | 신호 처리 방법 및 이의 장치 |
EP2169664A3 (en) * | 2008-09-25 | 2010-04-07 | LG Electronics Inc. | A method and an apparatus for processing a signal |
US8666752B2 (en) * | 2009-03-18 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-channel signal |
GB2470059A (en) * | 2009-05-08 | 2010-11-10 | Nokia Corp | Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter |
US9112591B2 (en) * | 2010-04-16 | 2015-08-18 | Samsung Electronics Co., Ltd. | Apparatus for encoding/decoding multichannel signal and method thereof |
CN104246873B (zh) * | 2012-02-17 | 2017-02-01 | 华为技术有限公司 | 用于编码多声道音频信号的参数编码器 |
JP2015517121A (ja) * | 2012-04-05 | 2015-06-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | インターチャネル差分推定方法及び空間オーディオ符号化装置 |
JP6063555B2 (ja) * | 2012-04-05 | 2017-01-18 | 華為技術有限公司Huawei Technologies Co.,Ltd. | マルチチャネルオーディオエンコーダ及びマルチチャネルオーディオ信号を符号化する方法 |
EP2834814B1 (en) * | 2012-04-05 | 2016-03-02 | Huawei Technologies Co., Ltd. | Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder |
US9536540B2 (en) * | 2013-07-19 | 2017-01-03 | Knowles Electronics, Llc | Speech signal separation and synthesis based on auditory scene analysis and speech modeling |
CN104681029B (zh) * | 2013-11-29 | 2018-06-05 | 华为技术有限公司 | 立体声相位参数的编码方法及装置 |
CN107452387B (zh) * | 2016-05-31 | 2019-11-12 | 华为技术有限公司 | 一种声道间相位差参数的提取方法及装置 |
US10217467B2 (en) | 2016-06-20 | 2019-02-26 | Qualcomm Incorporated | Encoding and decoding of interchannel phase differences between audio signals |
CN109215668B (zh) * | 2017-06-30 | 2021-01-05 | 华为技术有限公司 | 一种声道间相位差参数的编码方法及装置 |
-
2017
- 2017-06-30 CN CN201710524352.0A patent/CN109215668B/zh active Active
-
2018
- 2018-05-05 KR KR1020237023244A patent/KR102697288B1/ko active IP Right Grant
- 2018-05-05 EP EP18823145.0A patent/EP3637415B1/en active Active
- 2018-05-05 KR KR1020217028047A patent/KR102425236B1/ko active IP Right Grant
- 2018-05-05 ES ES18823145T patent/ES2979342T3/es active Active
- 2018-05-05 KR KR1020207001994A patent/KR102299916B1/ko active Application Filing
- 2018-05-05 WO PCT/CN2018/085756 patent/WO2019001142A1/zh unknown
- 2018-05-05 KR KR1020227025384A patent/KR102554892B1/ko active IP Right Grant
- 2018-05-05 BR BR112019028256-4A patent/BR112019028256A2/pt unknown
- 2018-05-05 EP EP24156328.7A patent/EP4390920A3/en active Pending
- 2018-05-05 JP JP2019572587A patent/JP7080262B2/ja active Active
- 2018-05-05 RU RU2020103799A patent/RU2769789C2/ru active
- 2018-05-05 KR KR1020247027520A patent/KR20240130819A/ko active Application Filing
- 2018-05-05 SG SG11201913610VA patent/SG11201913610VA/en unknown
-
2019
- 2019-12-20 US US16/723,449 patent/US11031021B2/en active Active
-
2021
- 2021-05-13 US US17/319,353 patent/US11568882B2/en active Active
-
2022
- 2022-03-18 JP JP2022044026A patent/JP7439152B2/ja active Active
- 2022-12-21 US US18/069,573 patent/US12067993B2/en active Active
-
2024
- 2024-02-14 JP JP2024020494A patent/JP2024059711A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7439152B2 (ja) | チャネル間位相差パラメータ符号化方法および装置 | |
JP7159351B2 (ja) | ダウンミックスされた信号の計算方法及び装置 | |
US11915709B2 (en) | Inter-channel phase difference parameter extraction method and apparatus | |
EP4246510A1 (en) | Audio encoding and decoding method and apparatus | |
WO2021208792A1 (zh) | 音频信号编码方法、解码方法、编码设备以及解码设备 | |
US20220335961A1 (en) | Audio signal encoding method and apparatus, and audio signal decoding method and apparatus | |
JP2021525391A (ja) | ダウンミックス信号及び残差信号を計算するための方法及び装置 | |
EP4174851A1 (en) | Audio encoding method, audio decoding method, related apparatus and computer-readable storage medium | |
US20240355342A1 (en) | Inter-channel phase difference parameter encoding method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240315 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240315 |