RU2525431C2 - Стереофоническое кодирование на основе mdct с комплексным предсказанием - Google Patents

Стереофоническое кодирование на основе mdct с комплексным предсказанием Download PDF

Info

Publication number
RU2525431C2
RU2525431C2 RU2012147499/08A RU2012147499A RU2525431C2 RU 2525431 C2 RU2525431 C2 RU 2525431C2 RU 2012147499/08 A RU2012147499/08 A RU 2012147499/08A RU 2012147499 A RU2012147499 A RU 2012147499A RU 2525431 C2 RU2525431 C2 RU 2525431C2
Authority
RU
Russia
Prior art keywords
signal
representation
frequency domain
stage
stereo
Prior art date
Application number
RU2012147499/08A
Other languages
English (en)
Other versions
RU2012147499A (ru
Inventor
Хейко ПУРНХАГЕН
Понтус КАРЛЬССОН
Ларс ВИЛЛЕМОЕС
Original Assignee
Долби Интернешнл Аб
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43952840&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2525431(C2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Долби Интернешнл Аб filed Critical Долби Интернешнл Аб
Publication of RU2012147499A publication Critical patent/RU2012147499A/ru
Application granted granted Critical
Publication of RU2525431C2 publication Critical patent/RU2525431C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L19/00—Details of, or accessories for, apparatus for measuring steady or quasi-steady pressure of a fluent medium insofar as such details or accessories are not special to particular types of pressure gauges
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

Изобретение относится к средствам для стереофонического кодирования и декодирования с использованием комплексного предсказания в частотной области. Технический результат заключается в повышении скорости кодирования в диапазоне высоких скоростей передачи битов. Способ декодирования, предназначенный для получения выходного стереофонического сигнала из входного стереофонического сигнала, закодированного посредством стереофонического кодирования с комплексным предсказанием и включающего первые представления двух входных каналов в частотной области, содержит следующие этапы повышающего микширования: (i) вычисление второго представления первого входного канала в частотной области, и (ii) вычисление выходного канала на основе первого и второго представлений первого входного канала в частотной области, первого представления второго входного канала в частотной области и коэффициента комплексного предсказания. 2 н.з. и 12 з.п. ф-лы, 19 ил., 1 табл.

Description

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Изобретение, раскрытое в данном документе, в общем, относится к стереофоническому кодированию звука и, точнее, к способам стереофонического кодирования с использованием комплексного предсказания в частотной области.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ
Совместное кодирование левого (L) и правого (R) каналов стереофонического сигнала делает возможным более эффективное кодирование по сравнению с независимым кодированием L и R. Общий подход для совместного стереофонического кодирования представляет собой кодирование среднего/бокового (M/S) сигнала. Здесь средний (М) сигнал формируется путем сложения сигналов L и R, например, сигнал М может иметь форму
M=(L+R)/2.
Также путем вычитания двух каналов L и R формируется боковой сигнал (S), например, сигнал S может иметь форму
S=(L-R)/2.
В случае M/S-кодирования вместо сигналов L и R кодируются сигналы M и S.
В стандарте MPEG (Moving Picture Experts Group) AAC (Advanced Audio Coding) (см. документ стандарта ISO/IEC 13818-7) L/R-стереофоническое кодирование и M/S-стереофоническое кодирование могут быть выбраны изменяющимися в зависимости от времени или изменяющимися в зависимости от частоты образом. Так, стереофонический кодер может применять L/R-кодирование для некоторых частотных полос стереофонического сигнала, в то время как для кодирования других частотных полос стереофонического сигнала используется M/S-кодирование (изменение в зависимости от частоты). Кроме того, кодер может переключаться между L/R- и M/S-кодированием с течением времени (изменение в зависимости от времени). В стандарте MPEG AAC стереофоническое кодирование осуществляется в частотной области, конкретнее, в области MDCT (модифицированного дискретного косинусного преобразования). Это позволяет адаптивно выбирать или L/R-, или M/S-кодирование изменяющимся в зависимости от частоты, а также изменяющимся в зависимости от времени образом.
Параметрическое стереофоническое кодирование представляет собой способ эффективного кодирования стереофонического звукового сигнала как монофонического сигнала плюс небольшое количество дополнительной информации для стереофонических параметров. Оно является частью стандарта MPEG-4 Audio (cм. документ стандарта ISO/IEC 14496-3). Монофонический сигнал может быть закодирован с использованием любого кодера звука. Стереофонические параметры могут быть внедрены во вспомогательную часть монофонического битового потока, и, таким образом, достигается полная прямая и обратная совместимость. В декодере, в первую очередь, декодируется монофонический сигнал, после чего при помощи стереофонических параметров реконструируется стереофонический сигнал. Декоррелированная версия декодированного монофонического сигнала, которая имеет нулевую взаимную корреляцию с монофоническим сигналом, генерируется посредством декоррелятора, например, соответствующего фазового фильтра, который может включать одну или несколько линий задержки. По существу, декоррелированный сигнал имеет такое же спектральное и временное распределение энергии, как и монофонический сигнал. Монофонический сигнал совместно с декоррелированным сигналом являются входными в процесс повышающего микширования, который управляется стереофоническими параметрами и который реконструирует стереофонический сигнал. Для получения дополнительной информации см. статью "Low Complexity Parametric Stereo Coding in MPEG-4", H. Purnhagen, Proc. of the 7th Int. Conference on Digital Audio Effects (DAFx'04), Naples, Italy, October 5-8, 2004, pages 163-168.
MPEG Surround (MPS; см. ISO/IEC 23003-1 и статью "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multi-Channel Audio Coding", J. Herre et al., Audio Engineering Convention Paper 7084, 122nd Convention, May 5-8, 2007) позволяет объединять принципы параметрического стереофонического кодирования с остаточным кодированием, замещающим декоррелированный сигнал передаваемым остатком и, таким образом, улучшающим воспринимаемое качество. Остаточное кодирование может выполняться путем понижающего микширования многоканального сигнала и, необязательно, путем извлечения пространственных меток. В ходе процесса понижающего микширования вычисляются, а затем кодируются и передаются остаточные сигналы, представляющие сигнал ошибки. В декодере они могут замещать декоррелированные сигналы. При гибридном подходе они могут замещать декоррелированные сигналы в некоторых полосах частот, предпочтительно, в относительно низкочастотных полосах.
В соответствии с современной системой MPEG унифицированного кодирования речи и звука (USAC), два примера которой показаны на фигуре 1, декодер содержит блок комплекснозначных квадратурных зеркальных фильтров (QMF), расположенный в нисходящем направлении относительно базового декодера. QMF-представление, получаемое на выходе блока фильтров, является комплексным - и, таким образом, передискретизированным в два раза - и может быть организовано как низведенный сигнал (или, эквивалентно, средний сигнал) М и остаточный сигнал D, к которым применяется матрица повышающего микширования с комплексными элементами. Сигналы L и R (в области QMF) получаются как:
Figure 00000001
,
где g - действительнозначный коэффициент усиления, и α - комплекснозначный коэффициент предсказания. Предпочтительно, α выбирается так, чтобы минимизировалась энергия остаточного сигнала D. Коэффициент усиления может быть определен путем нормализации, т.е. так, чтобы обеспечить то, что мощность суммарного сигнала будет равна сумме мощностей левого и правого сигналов. Действительные и мнимые части каждого из сигналов L и R являются взаимно избыточными - в принципе, каждая из них может быть вычислена на основе другой, - но они являются полезными для того, чтобы сделать возможным последующее применение декодера с репликацией спектральной полосы (SBR) без возникновения слышимых артефактов из-за наложения спектров. По похожим причинам, использование передискретизированного представления сигнала также может выбираться с целью предотвращения появления артефактов, связанных с другой обработкой сигнала, адаптивной ко времени или к частоте (не показана), такой как, например, повышающее микширование монофонического сигнала в стереофонический сигнал. Последним этапом обработки в декодере является обратная QMF-фильтрация. Следует отметить, что QMF-представление сигнала с ограниченной полосой допускает использование остаточных способов с ограниченной полосой и способов «остаточного заполнения», которые могут быть интегрированы в декодеры этого типа.
Приведенная выше структура кодирования хорошо подходит для низких скоростей передачи битов, как правило, ниже 80 Кбит/с, но не является оптимальной для более высоких скоростей передачи битов в отношении вычислительной сложности. Точнее, при более высоких скоростях передачи битов инструмент SBR, как правило, не используется (поскольку он не будет повышать эффективность кодирования). Поэтому в декодере без ступени SBR только наличие комплекснозначной матрицы повышающего микширования оправдывает присутствие блока QMF-фильтров, который требует больших вычислительных ресурсов и вносит задержку (при длине кадра 1024 дискретных значений блок анализирующих/синтезирующих QMF-фильтров вносит задержку в 961 дискретных значений). Это ясно указывает на потребность в более эффективной структуре кодирования.
КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Целью настоящего изобретения является создание способов и устройства для стереофонического кодирования, которые являются эффективными в вычислительном отношении также и в диапазоне высоких скоростей передачи битов.
Изобретение достигает указанной цели путем предоставления кодера и декодера, способов кодирования и декодирования и компьютерных программных продуктов, соответственно, предназначенных для кодирования и декодирования, что определено независимыми пунктами формулы изобретения. Зависимые пункты формулы изобретения определяют варианты осуществления изобретения.
В первом аспекте изобретение предоставляет систему декодера, предназначенную для создания стереофонического сигнала путем стереофонического кодирования с комплексным предсказанием, при этом система декодера содержит:
ступень повышающего микширования, адаптированную для генерирования стереофонического сигнала на основе первых представлений низведенного сигнала (М) и остаточного сигнала (D) в частотной области, где каждое из первых представлений в частотной области содержит первые спектральные составляющие, представляющие спектральный состав соответствующего сигнала, выраженного в первом подпространстве многомерного пространства, при этом ступень повышающего микширования содержит:
модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области на основе его первого представления в частотной области, где второе представление в частотной области содержит вторые спектральные составляющие, представляющие спектральный состав сигнала, выраженного во втором подпространстве многомерного пространства, которое содержит часть многомерного пространства, не включенную в первое подпространство;
взвешенный сумматор, предназначенный для вычисления бокового сигнала (S) на основе первого и второго представлений низведенного сигнала в частотной области, первого представления остаточного сигнала в частотной области и коэффициента комплексного предсказания (α), закодированного в сигнале битового потока; и
суммарно-разностную ступень, предназначенную для вычисления стереофонического сигнала на основе первого представления низведенного сигнала в частотной области и бокового сигнала,
где ступень повышающего микширования также может действовать в режиме ретрансляции, в котором указанные низведенный и остаточный сигналы подаются непосредственно на суммарно-разностную ступень.
Во второй особенности изобретение предоставляет систему кодера, предназначенную для кодирования стереофонического сигнала посредством сигнала битового потока путем стереофонического кодирования с комплексным предсказанием, которая содержит:
оцениватель, предназначенный для оценки коэффициента комплексного предсказания;
ступень кодирования, действующую для:
(a) преобразования стереофонического сигнала в представления низведенного сигнала и остаточного сигнала в частотной области во взаимосвязи, определяемой значением коэффициента комплексного предсказания; и
мультиплексор, предназначенный для приема выходных данных ступени кодирования и оценивателя и для их кодирования посредством указанного сигнала битового потока.
В третьей и четвертой особенностях изобретения предоставляются способы кодирования стереофонического сигнала в битовый поток и декодирования битового потока в по меньшей мере один стереофонический сигнал. Технические признаки каждого из способов аналогичны таковым, соответственно, для системы кодера и системы декодера. В пятой и шестой особенностях изобретение также предоставляет компьютерный программный продукт, содержащий команды, предназначенные для исполнения каждого из способов на компьютере.
Изобретение извлекает выгоду из преимуществ унифицированного стереофонического кодирования в системе MPEG USAC. Эти преимущества сохраняются и для более высоких скоростей передачи битов, при которых SBR, как правило, не используется, без значительного увеличения вычислительной сложности, которое могло бы сопровождать подход на основе QMF. Это является возможным, поскольку критически дискретизированное преобразование MDCT, которое является основой кодирования с преобразованием в системе MPEG USAC, как предоставляется изобретением, может использоваться для стереофонического кодирования с комплексным предсказанием, по меньшей мере, в тех случаях, когда полосы пропускания кодированного звукового сигнала для низведенного и остаточного каналов одинаковы, и процесс повышающего микширования не содержит декорреляцию. Это означает, что дополнительное QMF-преобразование больше не требуется. Показательная реализация стереофонического кодирования с комплексным предсказанием в области QMF фактически значительно увеличивала бы количество операций в единицу времени по сравнению с традиционным L/R- или M/S-стереофоническим кодированием. Таким образом, кодирующее устройство согласно изобретению оказывается конкурентоспособным при указанных скоростях передачи битов, обеспечивая высокое качество звука при умеренных вычислительных затратах.
Как понятно специалистам, то, что ступень повышающего микширования также может действовать и в режиме ретрансляции, позволяет декодеру адаптивно декодировать в соответствии с традиционным прямым, или совместным, кодированием и кодированием с комплексным предсказанием, что определяется на стороне кодера. Следовательно, в тех случаях, когда декодер не может положительно повысить уровень качества выше уровня традиционного прямого L/R-стереофонического кодирования, или совместного M/S-стереофонического кодирования, он может, по меньшей мере, гарантировать, что будет поддерживаться тот же уровень. Таким образом, декодер согласно данной особенности изобретения может, с функциональной точки зрения, считаться расширенным по сравнению с известным уровнем техники.
Как преимущество перед стереофоническим сигналом, кодированным с предсказанием на основе QMF, возможна совершенная реконструкция сигнала (не считая ошибок квантования, которые могут быть сделаны сколь угодно малыми).
Таким образом, изобретение предоставляет кодирующее устройство для стереофонического кодирования сигнала с комплексным предсказанием на основе преобразования. Предпочтительно, устройство согласно изобретению не ограничено стереофоническим кодированием с комплексным предсказанием, но также может действовать и в режиме прямого L/R-стереофонического кодирования или совместного M/S-стереофонического кодирования в соответствии с известным уровнем техники так, чтобы можно было выбирать наиболее подходящий способ кодирования для конкретного применения или в отдельном временном интервале.
В качестве основы для комплексного предсказания согласно изобретению используется передискретизированное (например, комплексное) представление сигнала, включающее указанные первую и вторую спектральные составляющие, и поэтому модули, предназначенные для вычисления указанного передискретизированного представления, располагаются в системе кодера и в системе декодера согласно изобретению. Спектральные составляющие относятся к первому и второму подпространствам многомерного пространства, которое может представлять собой множество функций, зависящих от времени, на интервале заданной длины (например, предварительно определяемой длины временного кадра), дискретизированном с конечной частотой дискретизации. Хорошо известно, что функции в таком особом многомерном пространстве могут аппроксимироваться конечной взвешенной суммой базисных функций.
Как будет оценено специалистами, кодер, адаптированный для совместного действия с декодером, оснащается эквивалентными модулями, предназначенными для создания передискретизированного представления, на котором основывается кодирование с предсказанием, так, чтобы сделать возможным достоверное воспроизведение кодированного сигнала. Указанные эквивалентные модули могут быть идентичными, или сходными модулями или модулями, обладающими идентичными или сходными характеристиками передачи. В частности, модули кодера и декодера, соответственно, могут представлять собой сходные или несходные обрабатывающие блоки, исполняющие соответствующие компьютерные программы, которые выполняют эквивалентные наборы математических операций.
В некоторых вариантах осуществления системы декодера или системы кодера первые спектральные составляющие имеют действительные значения, выраженные в первом подпространстве, а вторые спектральные составляющие имеют мнимые значения, выраженные во втором подпространстве. Первые и вторые спектральные составляющие совместно образуют комплексное спектральное представление сигнала. Первое подпространство может представлять собой линейную оболочку первого набора базисных функций, в то время как второе подпространство может представлять собой линейную оболочку набора вторых базисных функций, некоторые из которых линейно независимы от первого набора базисных функций.
В одном из вариантов осуществления изобретения модуль, предназначенный для вычисления комплексного представления, представляет собой преобразование действительного в мнимое, т.е. модуль, предназначенный для вычисления мнимых частей спектра дискретного временного сигнала на основании действительного спектрального представления этого сигнала. Преобразование может быть основано на точных или приближенных математических зависимостях, таких как формулы из гармонического анализа или эвристические зависимости.
В некоторых вариантах осуществления системы декодера или системы кодера первые спектральные составляющие могут быть получены посредством преобразования дискретного сигнала во временной области из временной области в частотную, предпочтительно, посредством преобразования Фурье, такого как дискретное косинусное преобразование (DCT), модифицированное дискретное косинусное преобразование (MDCT), дискретное синусное преобразование (DST), модифицированное дискретное синусное преобразование (MDST), быстрое преобразование Фурье (FFT), алгоритм Фурье на основе простых множителей и т.п. В первых четырех случаях вторые спектральные составляющие могут быть затем получены, соответственно, путем DST, MDST, DCT и MDCT. Как хорошо известно, линейная оболочка косинусов, которые являются периодическими на единичном интервале, образует подпространство, которое не полностью помещается в линейной оболочке синусов, периодических на том же интервале. Предпочтительно, первые спектральные составляющие могут быть получены посредством MDCT, а вторые спектральные составляющие могут быть получены посредством MDST.
В одном из вариантов осуществления изобретения система декодера содержит по меньшей мере один модуль временного ограничения шума (модуль TNS, или TNS-фильтр), который располагается в восходящем направлении относительно ступени повышающего микширования. В сущности, использование TNS повышает воспринимаемое качество звука для сигналов с составляющими переходного типа, и это также применимо к вариантам осуществления системы декодера согласно изобретению, содержащим TNS в качестве характерного признака. В традиционном L/R- или M/S-стереофоническом кодировании TNS-фильтр может применяться как последний этап обработки в частотной области непосредственно перед обратным преобразованием. Тем не менее, в случае стереофонического кодирования с комплексным предсказанием, более преимущественным часто является применение TNS-фильтра на низведенном и остаточном сигналах, т.е. перед матрицей повышающего микширования. Иными словами, TNS применяется к линейным комбинациям левого и правого каналов, что имеет определенные преимущества. Во-первых, может оказаться, что в данной ситуации TNS полезно только для, скажем, низведенного сигнала. Тогда для остаточного сигнала TNS-фильтрация может подавляться, или пропускаться, и, что может означать более экономное использование доступной полосы пропускания, существует необходимость в передаче коэффициентов TNS-фильтра только для низведенного сигнала. Во-вторых, вычисление передискретизированного представления низведенного сигнала (например, данных MDST, получаемых, исходя из данных MDCT, так, чтобы можно было сформировать комплексное представление в частотной области), которое необходимо для кодирования с комплексным предсказанием, может потребовать того, чтобы можно было вычислить представление низведенного сигнала во временной области. В свою очередь, это означает, что низведенный сигнал предпочтительно должен быть доступен как временная последовательность спектров MDCT, полученных единообразно. Если TNS-фильтр применялся в декодере после матрицы повышающего микширования, которая преобразовывает низведенное/остаточное представление в левое/правое представление, будет доступна только последовательность оставшихся после TNS спектров MDCT низведенного сигнала. Это может сделать эффективное вычисление соответствующих спектров MDST весьма затруднительным, особенно если левый и правый каналы использовали TNS-фильтры с отличающимися характеристиками.
Следует подчеркнуть, что доступность временной последовательности спектров MDCT не является абсолютным критерием для получения MDST-представления, подходящего для того, чтобы оно служило основой для кодирования с комплексным предсказанием. В дополнение к экспериментальным свидетельствам, этот факт можно объяснить тем, что TNS, в общем, применимо только к более высоким частотам, таким как частоты выше нескольких килогерц, поэтому остаточный сигнал, фильтрованный посредством TNS, приблизительно соответствует нефильтрованному остаточному сигналу для менее высоких частот. Таким образом, изобретение может быть осуществлено как декодер для стереофонического кодирования с комплексным предсказанием, в котором, как указывается ниже, TNS-фильтры имеют и иное размещение, чем в восходящем направлении относительно ступени повышающего микширования.
В одном из вариантов осуществления изобретения система декодера содержит, по меньшей мере, один дополнительный модуль TNS, расположенный в нисходящем направлении относительно ступени повышающего микширования. Посредством селекторной схемы выбирается или модуль (модули) TNS в восходящем направлении относительно ступени повышающего микширования, или модуль (модули) TNS в нисходящем направлении относительно ступени повышающего микширования. В некоторых обстоятельствах вычисление комплексного представления в частотной области не требует возможности вычисления представления низведенного сигнала во временной области. Кроме того, как изложено ниже, декодер может выборочно действовать в режиме прямого или совместного кодирования, не применяя кодирование с комплексным предсказанием, и тогда может оказаться более подходящим применение традиционного местоположения модулей TNS, т.е. как одного из последних этапов обработки в частотной области.
В одном из вариантов осуществления изобретения система декодера адаптирована для экономии ресурсов обработки и, возможно, энергии путем отключения модуля, предназначенного для вычисления второго представления низведенного сигнала в частотной области, когда последнее не является необходимым. Предполагается, что низведенный сигнал является разделенным на последовательные временные блоки, каждый из которых связан со значением коэффициента комплексного предсказания. Это значение может определяться посредством решения, принимаемого для каждого временного блока кодером во взаимодействии с декодером. Кроме того, в данном варианте осуществления изобретения модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптируется для самостоятельного отключения, если для данного временного блока абсолютное значение мнимой части коэффициента комплексного предсказания равно нулю или не превышает предварительно определенный допуск. Отключение модуля может подразумевать, что для данного временного блока второе представление низведенного сигнала в частотной области не вычисляется. Если отключение не происходит, второе представление в частотной области (например, набор коэффициентов MDCT) может умножаться на нуль или на число, имеющее, в значительной мере, тот же порядок величины, что и машинное эпсилон (единица округления) декодера, или какое-либо другое подходящее пороговое значение.
В дальнейшем развитии предшествующего варианта осуществления изобретения экономия ресурсов обработки достигается на подуровне временного блока, на которые разделяется низведенный сигнал. Например, таким подуровнем в пределах временного блока может быть полоса частот, где декодер определяет значение коэффициента комплексного предсказания для каждой полосы частот в пределах временного блока. Подобным образом, модуль, предназначенный для генерирования второго представления в частотной области, адаптирован для подавления его действия на полосу частот во временном блоке, для которой коэффициент комплексного предсказания равен нулю или имеет абсолютное значение меньше допуска.
В одном из вариантов осуществления изобретения первые спектральные составляющие представляют собой коэффициенты преобразования, расположенные в одном или нескольких временных блоках коэффициентов преобразования, где каждый блок генерируется путем применения преобразования к временному отрезку сигнала во временной области. Кроме того, модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для
• получения одной или нескольких первых промежуточных составляющих из, по меньшей мере, некоторых первых спектральных составляющих;
• формирования комбинации указанной одной или нескольких первых спектральных составляющих в соответствии с, по меньшей мере, частью одной или нескольких импульсных характеристик с целью получения одной или нескольких вторых промежуточных составляющих; и
• получения указанной одной или нескольких вторых спектральных составляющих из указанной одной или нескольких вторых промежуточных составляющих.
Данная процедура выполняет вычисление второго представления в частотной области непосредственно из первого представления в частотной области, как более подробно описано в патенте США №6980933 B2, в особенности в разделах 8-28 и, в частности, в уравнении 41. Как понятно специалистам, вычисление не выполняется через временную область, в отличие, например, от обратного преобразования, за которым следует другое преобразование.
Для примера реализации стереофонического кодирования с комплексным предсказанием согласно изобретению было оценено, что вычислительная сложность возрастает лишь незначительно (значительно меньше, чем возрастание, вызываемое стереофоническим кодированием с комплексным предсказанием в области QMF) по сравнению с традиционным L/R- или M/S-стереофоническим кодированием. Один из вариантов осуществления изобретения этого типа, содержащий точное вычисление вторых спектральных составляющих, вносит задержку, которая, как правило, лишь на несколько процентов длительнее задержки, вносимой реализацией на основе QMF (принимая длину временного блока равной 1024 дискретных значений и сравнивая ее с задержкой гибридного блока анализирующих/синтезирующих QMF-фильтров, которая равна 961 дискретных значений).
Соответственно, по меньшей мере, в некоторых из предыдущих вариантов осуществления изобретения импульсные характеристики адаптированы к преобразованию, посредством которого можно получить первое представление в частотной области, и, точнее, адаптированы в соответствии с его частотными характеристиками.
В некоторых вариантах осуществления изобретения первое представление низведенного сигнала в частотной области получается путем преобразования, которое применяется в связи с одной или несколькими анализирующими оконными функциями (обрезными функциями, например, прямоугольным окном, синусным окном, окном, производным от окна Кайзера-Бесселя, и т.д.), одной из целей которых является временная сегментация без внесения пагубного количества шума или изменения спектра нежелательным образом. Возможно, указанные оконные функции являются частично перекрывающимися. Тогда, предпочтительно, частотные характеристики преобразования зависят от характеристик указанной одной или нескольких анализирующих оконных функций.
Продолжая обращаться к вариантам осуществления изобретения, включающим в качестве характерного признака вычисление второго представления в частотной области в пределах частотной области, можно понизить привлекаемую вычислительную нагрузку путем использовании приближенного второго представления в частотной области. Указанное приближение может быть выполнено путем отказа от требования полноты информации, на которой основывается вычисление. Согласно идеям патента США №6980933 B2, например, для точного вычисления второго представления низведенного сигнала в частотной области в одном блоке требуются данные в частотной области из трех временных блоков, а именно: блока, одновременного с выходным блоком, предшествующего блока и последующего блока. Для целей кодирования с комплексным предсказанием согласно настоящему изобретению пригодные приближения могут быть получены путем пропуска - или замещения на нуль - данных, происходящих из последующего блока (посредством чего действие модуля может стать причинным, т.е. он не будет вносить задержку) и/или из предшествующего блока так, чтобы вычисление второго представления в частотной области основывалось на данных только из одного или двух временных блоков. Следует отметить, что даже если пропуск входных данных может подразумевать изменение масштаба второго представления в частотной области - в том смысле, что, например, оно больше не будет представлять равную мощность, - оно все еще может быть использовано в качестве основы для кодирования с комплексным предсказанием, поскольку оно, как указывалось выше, эквивалентным образом вычисляется на концах кодера и декодера. В действительности, возможное изменение масштаба такого типа будет компенсироваться путем соответствующего изменения значения коэффициента предсказания.
Еще один приближенный способ вычисления части второго представления низведенного сигнала в частотной области, образующей спектральные составляющие, может включать объединение, по меньшей мере, двух составляющих из первого представления в частотной области. Последние составляющие могут быть смежными во времени и/или по частоте. В качестве альтернативы, они могут быть объединены посредством фильтрации с конечной импульсной характеристикой (FIR) с относительно небольшим количеством звеньев. Например, в системе, использующей размер временного блока, равный 1024, указанные КИХ-фильтры могут включать 2, 3, 4 и т.д. звеньев. Описания способов приближенного вычисления такого рода можно найти, например, в заявке на патент США №2005/0197831 A1. Если используется оконная функция, такая как, например, непрямоугольная функция, придающая относительно малые значения окружению каждой из границ временного блока, может оказаться целесообразным основывать вторые спектральные составляющие во временном блоке только на комбинациях первых спектральных составляющих в том же временном блоке, подразумевая, что для краевых составляющих доступно не такое же количество информации. Ошибка приближения, возможно, вносимая при такой практической реализации, в некоторой степени подавляется или скрывается формой оконной функции.
В один из вариантов осуществления декодера, который сконструирован для вывода стереофонического сигнала во временной области, включена возможность переключения между прямым, или совместным, стереофоническим кодированием и кодированием с комплексным предсказанием. Это достигается путем предоставления:
• переключателя, который может выборочно действовать или как ретранслирующая ступень (не модифицирующая сигналы), или как суммарно-разностное преобразование;
• ступени обратного преобразования, предназначенной для выполнения преобразования «частота-время»; и
• селекторной схемы, предназначенной для подачи на ступень обратного преобразования или прямо (или совместно) кодированного сигнала, или сигнала, кодированного с комплексным предсказанием.
Как понятно специалистам, подобная гибкость со стороны декодера предоставляет кодеру свободу выбора между традиционным прямым, или совместным, кодированием и кодированием с комплексным предсказанием. Поэтому в тех случаях, когда уровень качества традиционного L/R-стереофонического кодирования, или совместного M/S-стереофонического кодирования, не может быть повышен, данный вариант осуществления изобретения может, по меньшей мере, гарантировать, что будет поддерживаться тот же уровень. Таким образом, декодер согласно изобретению можно считать расширенным по отношению к текущему уровню техники.
Другая группа вариантов осуществления изобретения системы декодера выполняет вычисление вторых спектральных составляющих во втором представлении в частотной области через временную область. Точнее, применяется преобразование, обратное тому, посредством которого были получены (или могут быть получены) первые спектральные составляющие, и за ним следует другое преобразование, дающее на выходе вторые спектральные составляющие. В частности, за обратным MDCT может следовать MDST. Для того чтобы уменьшить количество преобразований и обратных преобразований, выходной сигнал обратного MDCT в таком варианте осуществления изобретения может подаваться и к MDST, и к терминалам вывода данных системы декодирования (которым, возможно, предшествуют дополнительные этапы обработки).
Для примера реализации кодирования с комплексным предсказанием согласно изобретению было оценено, что вычислительная сложность по сравнению с традиционным L/R- или M/S-стереофоническим кодированием возрастает лишь незначительно (в еще меньшей степени, чем возрастание, вызываемое кодированием с комплексным предсказанием в области QMF).
Как дальнейшее развитие варианта осуществления изобретения, упомянутого в предыдущем абзаце, ступень повышающего микширования может включать дополнительную ступень обратного преобразования, предназначенную для обработки бокового сигнала. Тогда суммарно-разностная ступень снабжается представлением бокового сигнала во временной области, которое генерируется указанной дополнительной ступенью обратного преобразования, и представлением низведенного сигнала во временной области, которое генерируется уже упомянутой ступенью обратного преобразования. Следует повторно отметить, что преимущественной с точки зрения вычислительной сложности является подача последнего сигнала как на суммарно-разностную ступень, так и на указанную другую ступень преобразования, которая упомянута выше.
В одном из вариантов осуществления изобретения декодер, сконструированный для вывода стереофонического сигнала во временной области, обладает возможностью переключения между L/R-стереофоническим кодированием или совместным M/S-стереофоническим кодированием и кодированием с комплексным предсказанием. Это достигается путем предоставления:
• переключателя, способного действовать как ретранслирующая ступень или как суммарно-разностная ступень;
• дополнительной ступени обратного преобразования, предназначенной для вычисления представления бокового сигнала во временной области;
• селекторной схемы, предназначенной для соединения ступеней обратного преобразования с дополнительной суммарно-разностной ступенью, соединенной с точкой в восходящем направлении относительно ступени повышающего микширования и в нисходящем направлении относительно переключателя (предпочтительно, когда переключатель приводится в действие для того, чтобы выполнять функцию полосового фильтра, как может быть в случае декодирования стереофонического сигнала, генерируемого путем кодирования с комплексным предсказанием), или для объединения низведенного сигнала из переключателя с боковым сигналом из взвешенного сумматора (предпочтительно, когда переключатель приводится в действие для выполнения функции суммарно-разностной ступени, как может быть в случае декодирования стереофонического сигнала, кодированного напрямую).
Как понятно специалистам, это предоставляет кодеру свободу выбора между традиционным прямым или совместным кодированием и кодированием с комплексным предсказанием, что позволяет гарантировать то, что уровень качества будет, по меньшей мере, эквивалентен уровню при прямом или совместном стереофоническом кодировании.
В одном из вариантов осуществления изобретения система кодера согласно второму аспекту изобретения может включать оцениватель, предназначенный для оценки коэффициента комплексного предсказания с целью снижения или минимизации мощности сигнала или средней мощности сигнала для остаточного сигнала. Минимизация может происходить во временном интервале, предпочтительно, временном отрезке, или временном блоке, или временном кадре сигнала, который подвергается кодированию. В качестве критерия мгновенной мощности сигнала может быть выбран квадрат амплитуды, а интеграл квадрата амплитуды (формы сигнала) во временном интервале может быть выбран в качестве критерия средней мощности сигнала в этом интервале. Соответственно, коэффициент комплексного предсказания определяется на основе временного блока и полосы частот, т.е. его значение устанавливается таким образом, чтобы он понижал среднюю мощность (т.е. полную энергию) остаточного сигнала в этом временном блоке и полосе частот. В частности, выходной сигнал, на котором в соответствии с математическими зависимостями, известными специалистам, может вычисляться коэффициент комплексного предсказания, может создавать такие модули, предназначенные для оценки параметров параметрического стереофонического кодирования, как IID, ICC и IPD или сходные с ними.
В одном из вариантов осуществления изобретения ступень кодирования в системе кодера также может действовать для выполнения функции ретранслирующей ступени с тем, чтобы позволить выполнять прямое стереофоническое кодирование. Выбирая прямое стереофоническое кодирование в ситуациях, когда ожидается обеспечение более высокого качества, система кодера может гарантировать, что кодированный стереофонический сигнал будет иметь, по меньшей мере, такое же качество, как при прямом кодировании. Подобным образом, в ситуациях, когда бóльшая вычислительная трудоемкость, привносимая кодированием с комплексным предсказанием, не оправдана значительным повышением качества, для системы кодера, таким образом, является легкодоступной возможность экономии вычислительных ресурсов. Принятие решения о выборе между совместным кодированием, прямым кодированием, кодированием с действительным предсказанием и кодированием с комплексным предсказанием в кодере, главным образом, основывается на соображениях оптимизации соотношения скорость/искажения.
В одном из вариантов осуществления изобретения система кодера может включать модуль, предназначенный для вычисления второго представления в частотной области непосредственно (т.е. без применения обратного преобразования во временную область и без использования данных сигнала во временной области) на основе первых спектральных составляющих. Относительно соответствующих вариантов осуществления системы декодера, описанной выше, данный модуль может иметь аналогичную конструкцию, а именно: включать аналогичные операции обработки, но в другом порядке так, чтобы кодер был адаптирован для вывода данных, пригодных в качестве входных на стороне декодера. С целью иллюстрации данного варианта осуществления изобретения предполагается, что стереофонический сигнал, который подвергается кодированию, содержит средний и боковой каналы или был преобразован в такую структуру, и ступень кодирования адаптирована для приема первого представления в частотной области. Ступень кодирования содержит модуль, предназначенный для вычисления второго представления среднего сигнала в частотной области. (Упоминаемые здесь первое и второе представления в частотной области аналогичны определенным выше; в частности, первые представления в частотной области могут представлять собой MDCT-представления, а второе представление в частотной области может представлять собой MDST-представление.) Ступень кодирования также содержит взвешенный сумматор, предназначенный для вычисления остаточного сигнала как линейной комбинации, образованной из бокового сигнала и двух представлений среднего сигнала в частотной области, взвешенных, соответственно, по действительным и мнимым частям коэффициента комплексного предсказания. Средний сигнал, или, соответственно, его первое представление в частотной области, может использоваться непосредственно в качестве низведенного сигнала. Кроме того, в данном варианте осуществления изобретения оцениватель определяет значение коэффициента комплексного предсказания с целью минимизации мощности, или средней мощности, остаточного сигнала. Последняя операция (оптимизации) может выполняться или посредством управления с обратной связью, где оцениватель может принимать остаточный сигнал, полученный посредством текущих значений коэффициента предсказания и предназначенный для дальнейшей регулировки в случае необходимости, или, по способу прямой связи - путем вычислений, выполняемых непосредственно на левом/правом каналах исходного стереофонического сигнала или на среднем/боковом каналах. Предпочтительным является способ прямой связи, по которому коэффициент комплексного предсказания определяется непосредственно (в особенности, неитеративным образом и без обратной связи) на основе первого и второго представлений среднего сигнала в частотной области и первого представления бокового сигнала в частотной области. Следует отметить, что за определением коэффициента комплексного предсказания может следовать принятие решения о том, какое применять кодирование: прямое, совместное, кодирование с действительным или с комплексным предсказанием, где учитывается результирующее качество (предпочтительно, воспринимаемое качество с учетом, например, эффектов «сигнал/маска») для каждой из доступных возможностей; поэтому приведенные выше утверждения не следует толковать как утверждения о том, что в кодере не существует механизма обратной связи.
В одном из вариантов осуществления изобретения система кодера содержит модули, предназначенные для вычисления второго представления среднего (или низведенного) сигнала в частотной области через временную область. Следует понимать, что подробности реализации, относящиеся к этому варианту осуществления изобретения, по меньшей мере, в той мере, в какой рассматривается вычисление второго представления в частотной области, сходны или могут отрабатываться аналогично соответствующим вариантам осуществления декодера. В данном варианте осуществления изобретения ступень кодирования содержит:
• суммарно-разностную ступень, предназначенную для преобразования стереофонического сигнала в форму, включающую средний и боковой каналы;
• ступень преобразования, предназначенную для создания представления бокового канала в частотной области и комплекснозначного (и поэтому передискретизированного) представления среднего канала в частотной области; и
• взвешенный сумматор, предназначенный для вычисления остаточного сигнала, где в качестве весового коэффициента используется коэффициент комплексного предсказания.
Здесь оцениватель может принимать остаточный сигнал и определять, возможно, по способу управления с обратной связью, коэффициент комплексного предсказания с тем, чтобы понижать или минимизировать мощность или среднее значение остаточного сигнала. Тем не менее, предпочтительно, оцениватель принимает стереофонический сигнал, который подвергается кодированию, и определяет на его основе коэффициент предсказания. С точки зрения вычислительной экономии, преимущественным является использование критически дискретизированного представления бокового канала в частотной области, поскольку последнее в данном варианте осуществления изобретения не будет подвергаться умножению на комплексное число. Соответственно, ступень преобразования может включать ступень MDCT и расположенную параллельно ступень MDST, где обе ступени принимают в качестве входного сигнала представление среднего канала во временной области. Таким образом, генерируется передискретизированное представление среднего канала в частотной области и критически дискретизированное представление бокового канала в частотной области.
Следует отметить, что способы и устройство, раскрытые в данном разделе, после соответствующих модификаций в пределах возможностей специалистов, включая типовые эксперименты, могут применяться для кодирования сигналов, содержащих больше двух каналов. Модификации, предназначенные для обеспечения пригодности к указанной многоканальной эксплуатации, могут следовать, например, по пути направлений, описанных в разделах 4 и 5 процитированной выше статьи J. Herre и др.
Характерные признаки из двух или большего количества описанных выше вариантов осуществления изобретения могут комбинироваться в дальнейшие варианты осуществления изобретения, если они не являются дополнительными в явном виде. Тот факт, что два характерных признака изложены в различных пунктах формулы изобретения, не препятствует тому, чтобы они могли выигрышно комбинироваться. Аналогично, дальнейшие варианты осуществления изобретения также могут быть предоставлены без некоторых характерных признаков, которые не являются необходимыми или существенными для намеченной цели. Например, система декодирования согласно изобретению может осуществляться без ступени деквантования в тех случаях, когда кодированный сигнал, подвергаемый обработке, не является квантованным или уже доступен в форме, пригодной для обработки ступенью повышающего микширования.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
Ниже изобретение будет дополнительно проиллюстрировано посредством вариантов осуществления изобретения, описываемых в следующем разделе, с отсылкой к сопроводительным графическим материалам, в которых:
На фиг. 1 изображены две обобщенные блок-схемы, показывающие декодеры на основе QMF согласно известному уровню техники;
На фиг. 2 изображена обобщенная блок-схема системы стереофонического декодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого декодированию, вычисляется в частотной области;
На фиг. 3 изображена обобщенная блок-схема системы стереофонического декодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого декодированию, вычисляется во временной области;
На фиг. 4 изображен альтернативный вариант осуществления системы декодера по фигуре 2, где может быть выбрано положение активной ступени TNS;
На фиг. 5 изображены обобщенные блок-схемы, показывающие системы стереофонического кодера на основе MDCT с комплексным предсказанием в соответствии с вариантами осуществления другой особенности настоящего изобретения;
На фиг. 6 изображена обобщенная блок-схема системы стереофонического кодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого кодированию, вычисляется на основе его представления во временной области;
На фиг. 7 изображен альтернативный вариант осуществления системы кодера по фиг. 6, который может действовать также и в режиме прямого L/R-кодирования;
На фиг. 8 изображена обобщенная блок-схема системы стереофонического кодера на основе MDCT с комплексным предсказанием согласно одному из вариантов осуществления настоящего изобретения, где комплексное представление канала сигнала, подвергаемого декодированию, вычисляется на основе его первого представления в частотной области, система декодера которого может действовать также и в режиме прямого L/R-кодирования;
На фиг. 9 изображен альтернативный вариант осуществления системы кодера по фигуре 7, который также содержит ступень TNS, расположенную в нисходящем направлении относительно ступени кодирования;
На фиг. 10 изображены альтернативные варианты осуществления части, отмеченной на фиг. 2 и 8 как А;
На фиг. 11 изображен альтернативный вариант осуществления системы кодера по фиг. 8, которая также содержит два устройства модификации в частотной области, расположенные, соответственно, в нисходящем и восходящем направлениях относительно ступени кодирования;
На фиг. 12 изображено графическое представление результатов испытательного прослушивания при 96 Кбит/с для шести объектов, показывающее различные возможности компромисса между сложностью и качеством при вычислении, или приближении, спектра MDST, где точки данных, отмеченные "+", относятся к скрытой ссылке, "x" относится к якорю с полосой, ограниченной 3.5 КГц, "*" относится к традиционному стереофоническому кодированию USAC (M/S или L/R), "□" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с заблокированной мнимой частью коэффициента предсказания (т.е. с действительным предсказанием, не требующим MDST), "■" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с использованием для вычисления приближения MDST текущего кадра MDCT, "°" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с использованием для вычисления приближения MDST текущего и предыдущего кадров MDCT, и "●" относится к унифицированному стереофоническому кодированию в области MDCT посредством комплексного предсказания с использованием для вычисления MDST текущего, предыдущего и следующего кадров MDCT;
На фиг. 13 изображены данные по фиг. 12, но представленные в виде дифференциальных оценок в отношении унифицированного стереофонического кодирования в области MDCT посредством комплексного предсказания с использованием для вычисления приближения MDST текущего кадра MDCT;
На фиг. 14 изображены обобщенные блок-схемы, показывающие три варианта осуществления системы декодера в соответствии с вариантами осуществления изобретения;
На фиг. 15 изображена схема последовательности операций, показывающая способ декодирования согласно одному из вариантов осуществления изобретения; и
На фиг. 16 изображена схема последовательности операций, показывающая способ кодирования согласно одному из вариантов осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
I. Системы декодера
На фиг. 2 изображена, в форме обобщенной блок-схемы, система декодирования, предназначенная для декодирования битового потока, включающего, по меньшей мере, одно значение коэффициента комплексного предсказания
Figure 00000002
и MDCT-представление стереофонического сигнала, содержащего низведенный М и остаточный D каналы. Действительная и мнимая части
Figure 00000003
,
Figure 00000004
коэффициента предсказания могут быть квантованными и/или кодированными совместно. Тем не менее, предпочтительно, чтобы действительная и мнимая части квантовались независимо и единообразно, как правило, с величиной шага 0,1 (безразмерное число). В соответствии со стандартом MPEG, разрешающая способность спектральной полосы, используемая для коэффициента комплексного предсказания, необязательно равна разрешающей способности для полос масштабных коэффициентов (sfb; т.е. группы линий MDCT, которая использует такую же величину шага квантования и диапазон квантования). В частности, разрешающая способность полосы частот для коэффициента предсказания может быть обоснованной психоакустически, как, например, шкала Барка. Демультиплексор 201 адаптирован для извлечения указанных MDCT-представлений и коэффициента предсказания (часть, обозначенная на фигуре как «Управляющая информация») из битового потока, который в него подается. На самом деле, в битовом потоке может быть закодировано больше управляющей информации, чем только коэффициент комплексного предсказания, например, команды о том, следует декодировать битовый поток в режиме с предсказанием или без предсказания, информация TNS и т.д. Информация TNS может включать значения параметров TNS, предназначенных для применения (синтезирующими) TNS-фильтрами системы декодера. Если для нескольких TNS-фильтров предполагается использование одинаковых наборов параметров TNS, как, например, для обоих каналов, более экономным является прием этой информации в форме бита, указывающего такую идентичность наборов параметров, а не независимый прием двух наборов параметров. Также может быть включена информация о том, применять TNS перед ступенью или после ступени повышающего микширования, по необходимости на основе, например, психоакустической оценки этих двух доступных возможностей. Кроме того, тогда управляющая информация может указывать индивидуально ограниченные полосы пропускания для низведенного и остаточного сигналов. Для каждого канала полосы частот выше предела полосы пропускания не будут декодироваться, но будут приравниваться нулю. В некоторых случаях, самые высокочастотные полосы обладают настолько малым запасом энергии, что они уже квантованы в нуль. В стандартной практике (ср. с параметром max_sfb в стандарте MPEG) обычно используется одинаковое ограничение полосы пропускания как для низведенного, так и для остаточного сигналов. Однако остаточный сигнал в большей степени, чем низведенный сигнал, содержит свой запас энергии локализованным в полосах менее высоких частот. Поэтому, размещая специально предназначенный верхний предел полосы пропускания на остаточном сигнале, можно понизить скорость передачи битов без значительного снижения качества. Например, это может управляться двумя независимыми параметрами max_sfb, закодированными в битовом потоке: одним - для низведенного сигнала, и одним - для остаточного сигнала.
В данном варианте осуществления изобретения MDCT-представление стереофонического сигнала сегментируется на последовательные временные кадры (или временные блоки), включающие фиксированное количество точек данных (например, 1024 точек), одно из нескольких фиксированных количеств точек данных (например, 128 или 1024 точек) или переменное количество точек. Как известно специалистам в данной области, MDCT является критически дискретизированным. Выходной сигнал системы декодирования, указанный в правой части иллюстрации, представляет собой стереофонический сигнал во временной области, содержащий левый L и правый R каналы. Модули 202 деквантования адаптированы для манипуляций с битовым потоком, входящим в систему декодирования, или, там, где это необходимо, с двумя битовыми потоками, получаемыми после демультиплексирования оригинального битового потока и соответствующими каждому из каналов, низведенному и остаточному. Деквантованные сигналы каналов подаются в узел 203 переключения, действующий или в режиме ретрансляции, или в суммарно-разностном режиме, который относится к соответствующим матрицам преобразования
Figure 00000005
и
Figure 00000006
.
Как будет дополнительно разъясняться в следующем параграфе, система декодера содержит второй узел 205 переключения. Оба узла 203, 205 переключения, как и большинство других переключателей и узлов переключения в данном варианте осуществления изобретения и в вариантах осуществления изобретения, которые будут описаны ниже, действуют частотноизбирательным образом. Это делает возможным декодирование в большом разнообразии режимов декодирования, например, декодирование частотнозависимого L/R- или M/S-декодирования, как известно на текущем уровне техники. Поэтому декодер согласно изобретению можно считать расширенным по отношению к известному уровню техники.
Пока что полагая, что узел 203 переключения находится в режиме ретрансляции, в данном варианте осуществления изобретения деквантованные сигналы проходят через соответствующие TNS-фильтры 204. TNS-фильтры 204 не существенны для действия системы декодирования и могут замещаться ретранслирующими элементами. После этого сигнал подается во второй узел 205 переключения, выполняющий ту же функцию, что и узел 203 переключения, расположенный в восходящем направлении. При условии, что входные сигналы соответствуют описанным выше, и второй узел 205 переключения установлен в режим ретрансляции, выходной сигнал первого представляет собой сигнал низведенного канала и сигнал остаточного канала. Низведенный сигнал, по-прежнему представленный его последовательным во времени спектром MDCT, подается в преобразование 206 действительного в мнимое, адаптированное для вычисления на его основе спектра MDST низведенного сигнала. В данном варианте осуществления изобретения один кадр MDST основан на трех кадрах MDCT: одном предыдущем кадре, одном текущем (или одновременном) кадре и одном последующем кадре. Символически указывается -
Figure 00000007
, - что входная сторона преобразования 206 действительного в мнимое содержит элементы задержки.
MDST-представление низведенного сигнала, полученное из преобразования 206 действительного в мнимое, взвешивается по мнимой части
Figure 00000008
коэффициента предсказания и добавляется к MDCT-представлению низведенного сигнала, взвешенному по действительной части
Figure 00000009
коэффициента предсказания, и к MDCT-представлению остаточного сигнала. Два сложения и умножения выполняются умножителями и сумматорами 210, 211, совместно образующими (функционально) взвешенный сумматор, которые снабжаются значением коэффициента комплексного предсказания α, закодированным в битовом потоке, первоначально принимаемом системой декодера. Коэффициент комплексного предсказания может быть определен один раз для каждого временного кадра. Также он может быть определен чаще, например, один раз для каждой полосы частот в пределах кадра, где полосы частот представляют собой психоакустически оправданное разделение. Также он может определяться менее часто, как будет описываться ниже в связи с системами кодирования согласно изобретению. Преобразование 206 действительного в мнимое синхронизируется со взвешенным сумматором так, чтобы текущий кадр MDST сигнала низведенного канала объединялся с одновременными кадрами MDCT для каждого из сигналов, сигнала низведенного канала и сигнала остаточного канала. Сумма трех этих сигналов представляет собой боковой сигнал
Figure 00000010
. В данном выражении М содержит и MDCT-, и MDST- представления низведенного сигнала, а именно:
Figure 00000011
, в то время как
Figure 00000012
является действительнозначным. Таким образом, получается стереофонический сигнал, содержащий низведенный канал и боковой канал, из которого суммарно-разностное преобразование 207 реконструирует левый и правый каналы следующим образом:
Figure 00000013
.
Эти сигналы представлены в области MDCT. Последним этапом системы декодирования является применение обратного MDCT 209 к каждому из каналов, посредством чего получается представление левого/правого стереофонического сигнала во временной области.
Возможная реализация преобразования 206 действительного в мнимое дополнительно описана в патенте США №6980933 B2 заявителя, как указано выше. По формуле 41 в этом патенте преобразование может быть выражено как фильтр с конечной импульсной характеристикой, например, для четных точек:
Figure 00000014
,
где
Figure 00000015
-
Figure 00000016
-я точка данных MDST,
Figure 00000017
- данные MDCT для каждого из кадров, и N - длина кадра. Кроме того,
Figure 00000018
- это импульсные характеристики, зависящие от применяемой оконной функции и поэтому определяемые для каждого выбора оконной функции, такой как прямоугольная, синусоидальная или производная от окна Кайзера-Бесселя, и для каждой длины кадра. Сложность этого вычисления можно понизить путем пропуска тех импульсных характеристик, которые имеют относительно меньший запас энергии и вносят относительно меньший вклад в данные MDST. В качестве альтернативы или расширения данной реализации сами импульсные характеристики могут укорачиваться, например, от полной длины кадра N до меньшего количества точек. Например, длина импульсной характеристики может быть уменьшена с 1024 точек (звеньев) до 10 точек. Самым предельным усечением, которое еще можно считать значимым, является
Figure 00000019
.
Другие прямые приближения можно найти в заявке на патент США №2005/0197831 A1.
Также можно уменьшить количество входных данных, на которых основывается вычисление. Для иллюстрации, преобразование 206 действительного в мнимое и его соединения в восходящем направлении, которые указываются участком, обозначенным на иллюстрации как «А», могут замещаться упрощенными вариантами, два из которых, A' and A", показаны на фиг. 10. Вариант А' создает приближенное мнимое представление сигнала. В этом случае вычисление MDST учитывает только текущий и предыдущий кадры. С отсылкой к формуле, приведенной выше в данном параграфе, это можно осуществить, задавая
Figure 00000020
при р=0,...,N-1 (индекс III обозначает последующий временной кадр). Поскольку вариант A' не требует спектра MDCT для последующего кадра в качестве входных данных, вычисление MDST не подвергается какой-либо временной задержке. Очевидно, данное приближение несколько снижает точность полученного сигнала MDST, а также может подразумевать, что энергия этого сигнала станет пониженной; последний факт может быть полностью компенсирован путем увеличения
Figure 00000021
в результате сущности кодирования с предсказанием.
Также на фиг. 10 изображен вариант A", который в качестве входного сигнала использует только данные MDCT для текущего временного кадра. Вполне возможно, вариант A" генерирует менее точное представление MDST, чем вариант A'. С другой стороны, он, как и вариант A', действует с нулевой задержкой и обладает менее высокой вычислительной сложностью. Как уже упоминалось, свойства кодирования формы сигнала не затрагиваются, поскольку системой кодера и системой декодера используется одно и то же приближение.
Следует отметить, что, независимо от того, применяются варианты A, A' или A", или какое-либо их усовершенствование, необходимо вычислять только те участки спектра MDST, для которых мнимая часть коэффициента комплексного предсказания является ненулевой,
Figure 00000022
. В условиях практического применения это означает, что абсолютное значение
Figure 00000023
мнимой части должно быть больше предварительно определенного порогового значения, которое может быть отнесено к единице округления используемого аппаратного обеспечения. В случае, когда мнимая часть коэффициента равна нулю для всех частотных полос в пределах временного кадра, для этого кадра нет необходимости в вычислении каких-либо данных MDST. Таким образом, соответственно, преобразование 206 вещественного в мнимое адаптируется к отклику на появление слишком малых значений
Figure 00000023
путем отсутствия генерирования выходного сигнала MDST, посредством чего можно сэкономить вычислительные ресурсы. Однако в вариантах осуществления изобретения, где для генерирования одного кадра данных MDST используется больше кадров, чем текущий кадр, любые элементы в восходящем направлении относительно преобразования 206 должны продолжать действовать соответственно даже тогда, когда спектр MDST не требуется - в частности, второй узел 205 переключения должен продолжать пересылку спектров MDCT - так, чтобы достаточное количество входных данных было уже доступно для преобразования 206 действительного в мнимое уже тогда, когда появится следующий временной кадр, связанный с ненулевым коэффициентом предсказания; разумеется, таким кадром может быть следующий временной блок.
Возвращаясь к фигуре 2, функционирование системы декодирования было описано в предположении, что оба узла 203, 205 переключения установлены в соответствующие режимы ретрансляции. Как будет описано ниже, система декодера также может декодировать сигналы, которые не являются кодированными с предсказанием. Для такого использования второй узел 205 переключения устанавливают в суммарно-разностный режим и, соответственно, как указано на иллюстрации, селекторная схема 208 будет установлена в нижнее положение, посредством чего обеспечивается подача сигналов непосредственно к обратному преобразованию 209 из точки расположения источника между TNS-фильтрами 204 и вторым узлом 205 переключения. Для обеспечения корректного декодирования сигнал, соответственно, имеет в точке расположения источника L/R-форму. Поэтому для того, чтобы обеспечить подачу к преобразованию действительного в мнимое корректного среднего (т.е. низведенного) сигнала во все моменты времени (а не, скажем, периодически - левого сигнала), второй узел 205 переключения в ходе декодирования стереофонического сигнала, не подвергавшегося кодированию с предсказанием, предпочтительно устанавливается в суммарно-разностный режим. Как отмечалось выше, кодирование с предсказанием можно для некоторых кадров заменить традиционным прямым или совместным кодированием, на основании, например, данных решения о соотношении скорости и качества звука. Итог этого решения может быть передан из кодера в декодер различными способами, например, при помощи значения специально предназначенного бита-индикатора в каждом кадре, или благодаря отсутствию или наличию значения коэффициента предсказания. После установления указанных фактов роль первого узла 203 переключения становится легко понятной. Действительно, в режиме кодирования без предсказания система декодера может обрабатывать сигналы и в соответствии с прямым (L/R) стереофоническим кодированием, и в соответствии с совместным (M/S) стереофоническим кодированием, и при действии первого узла 203 переключения или в режиме ретрансляции, или в суммарно-разностном режиме можно обеспечивать то, что точка расположения источника будет всегда обеспечена сигналом, кодированным напрямую. Ясно, что узел 203 переключения при функционировании в качестве суммарно-разностной ступени будет преобразовывать входной сигнал в M/S-форме во входной сигнал (подаваемый в необязательные TNS-фильтры 204) в L/R-форме.
Система декодера принимает сигнал о том, следует системе декодера декодировать конкретный временной кадр в режиме кодирования с предсказанием или в режиме кодирования без предсказания. Сигнал о режиме без предсказания может передаваться посредством значения специально предназначенного бита-индикатора в каждом кадре или посредством отсутствия (или нулевого значения) коэффициента предсказания. Режим предсказания может сообщаться аналогично. Особенно благоприятная реализация, которая делает возможным обратный переход на пониженный уровень без каких-либо накладных затрат, использует зарезервированное четвертое значение двухбитного поля ms_mask_present (см. MPEG-2 AAC, документ ISO/IEC 13818-7), которое передается в каждом кадре и определяется следующим образом:
Таблица 1: Определение ms_mask_present в USAC
Значение Смысл
00 L/R-кодирование для всех частотных полос
01 Для указания L/R или M/S используется один сигнальный бит на полосу
10 M/S-кодирование для всех частотных полос
11 Зарезервированный
При переопределении значения 11 как имеющего смысл «кодирование с комплексным предсказанием» декодер может действовать во всех режимах совместимости, в частности, в режимах M/S- и L/R-кодирования, без каких-либо потерь скорости передачи битов и по-прежнему является доступным для приема сигнала, указывающего режим кодирования с комплексным предсказанием для соответствующих кадров.
На фиг. 4 изображена система декодера той же общей конструкции, что и система, изображенная на фиг 2, но включающая, по меньшей мере, две другие конструкции. Во-первых, система по фиг. 4 содержит переключатели 404, 411, которые делают возможным применение какой-либо ступени обработки, включающей модификацию в частотной области, в восходящем и/или нисходящем направлении относительно ступени повышающего микширования. Это выполняется, с одной стороны, при помощи первого набора модификаторов 403 в частотной области (изображенных на данной фигуре как синтезирующие TNS-фильтры), предоставляемых совместно с первым переключателем 404 в нисходящем направлении относительно модулей 401 деквантования и первого узла 402 переключения, но в восходящем направлении относительно второго узла 405 переключения, расположенного в восходящем направлении непосредственно перед ступенью 406, 407, 408, 409 повышающего микширования. С другой стороны, система декодера содержит второй набор модификаторов 410 в частотной области, которые предоставляются совместно со вторым переключателем 411 в нисходящем направлении относительно ступени 406, 407, 408, 409 повышающего микширования, но в восходящем направлении относительно ступени 412 обратного преобразования. Преимущественно, как показано на фигуре, каждый модификатор в частотной области расположен параллельно с ретранслирующей линией, которая подключена в восходящем направлении относительно входной стороны модификатора в частотной области и в нисходящем направлении относительно связанного с ней переключателя. Благодаря такой конструкции модификатор в частотной области снабжается данными сигнала во все моменты времени, что делает возможной обработку в частотной области на основе большего количества кадров, чем только текущий кадр. Решение о том, применять первый 403 или второй 410 набор модификаторов в частотной области, может приниматься кодером (и передаваться в битовом потоке) или может основываться на том, применяется ли кодирование с предсказанием, или может основываться на каких-либо иных критериях, найденных подходящими в условиях практического применения. Например, если модификаторами в частотной области являются TNS-фильтры, то для некоторых видов сигналов преимущественным является использование первого набора 403, в то время как использование второго набора 410 может оказаться преимущественным для других видов сигналов. Если итог этого выбора закодирован в битовом потоке, то система декодера будет, соответственно, приводить в действие соответствующий набор TNS-фильтров.
Для облегчения понимания системы декодера, показанной на фиг. 4, следует недвусмысленно отметить, что декодирование сигнала, кодированного напрямую (L/R), происходит тогда, когда α=0 (это подразумевает, что псевдо-L/R и L/R идентичны, и что боковой и остаточный сигналы не отличаются), первый узел 402 переключения находится в режиме ретрансляции, второй узел переключения находится в суммарно-разностном режиме, что, таким образом, приводит к тому, что сигнал между вторым узлом 405 переключения и суммарно-разностной ступенью 409 ступени повышающего микширования имеет M/S-форму. Тогда, поскольку ступень повышающего микширования будет эффективно представлять собой ретранслирующую ступень, неважно, какой набор модификаторов будет приведен в действие (с использованием соответствующих переключателей 404, 411), первый или второй.
На фиг.3 изображена система декодера согласно одному из вариантов осуществления изобретения, который, по отношению к вариантам по фиг. 2 и 4, представляет другой подход к созданию данных MDST, необходимых для повышающего микширования. Как и уже описанные системы декодера, система по фиг. 3 содержит модули 301 деквантования, первый узел 302 переключения, действующий или в режиме ретрансляции, или в суммарно-разностном режиме, и (синтезирующие) TNS-фильтры 303, которые последовательно расположены, начиная от входного конца системы декодера. Модули в нисходящем направлении от этой точки выборочно используются посредством двух вторых переключателей 305, 310, которые предпочтительно действуют совместно так, чтобы они оба находились или в верхних положениях или в нижних положениях, как указано на фигуре. На выходном конце системы декодера находится суммарно-разностная ступень 312 и, непосредственно перед ней в восходящем направлении, два модуля 306, 311 обратного MDCT, предназначенные для преобразования представления каждого из каналов в области MDCT в представление во временной области.
При декодировании с комплексным предсказанием, где система декодера снабжается битовым потоком, в котором закодированы низведенный/остаточный стереофонический сигнал и значения коэффициента комплексного предсказания, первый узел 302 переключения устанавливается в режим ретрансляции, а вторые переключатели 305, 310 устанавливаются в верхнее положение. В нисходящем направлении относительно TNS-фильтров два канала (деквантованного, TNS-фильтрованного, MDCT) стереофонического сигнала обрабатываются по-разному. Низведенный сигнал подается, с одной стороны, в умножитель и сумматор 308, который добавляет MDCT-представление низведенного канала, взвешенное по действительной части αR коэффициента предсказания, к MDCT-представлению остаточного канала, и, с другой стороны, к одному из модулей 306 обратного MDCT-преобразования. Представление низведенного канала М во временной области, которое является выходным сигналом из модуля 306 обратного MDCT-преобразования, подается и на конечную суммарно-разностную ступень 312, и в модуль 307 MDST-преобразования. Такое двойное использование представления низведенного канала во временной области является преимущественным с точки зрения вычислительной сложности. Полученное таким образом MDST-представление низведенного канала подается в следующий умножитель и сумматор 309, который после взвешивания по мнимой части αI коэффициента предсказания добавляет этот сигнал к линейной комбинации на выходе сумматора 308; таким образом, выходной сигнал сумматора 309 представляет собой сигнал бокового канала,
Figure 00000024
. Сходным образом с системой декодера, показанной на фигуре 2, умножители и сумматоры 308, 309 могут быть легко объединены с образованием взвешенного мультисигнального сумматора с входными сигналами MDCT- и MDST-представлений низведенного сигнала, MDCT-представления остаточного сигнала и значения коэффициента комплексного предсказания. В нисходящем направлении от этой точки в настоящем варианте осуществления изобретения перед тем, как сигнал бокового канала подается на конечную суммарно-разностную ступень 312, остается только прохождение через модуль 311 обратного MDCT-преобразования.
Необходимая синхронность в системе декодера может достигаться путем применения одинаковых длин преобразования и форм окон в обоих модулях 306, 311 обратного MDCT-преобразования, что уже применяется на практике в частотноизбирательном M/S- и L/R-кодировании. Комбинацией некоторых вариантов осуществления модуля 306 обратного MDCT-преобразования и некоторых вариантов осуществления модуля 307 MDST вносится задержка на один кадр. Поэтому предоставляется пять необязательных блоков 313 задержки (или команд программного обеспечения - для осуществления этого действия в компьютерной реализации) так, чтобы часть системы, расположенная справа от пунктирной линии, при необходимости могла быть задержана на один кадр относительно левой части. Очевидно, все пересечения между пунктирной линией и линиями связи снабжаются блоками задержки за исключением линии связи между модулем 306 обратного MDCT-преобразования и модулем 307 MDST-преобразования, которая находится там, где возникающая задержка нуждается в компенсации.
Вычисление данных MDST для одного временного кадра требует данных одного кадра из представления во временной области. Однако обратное MDCT-преобразование основывается на одном (текущем), двух (предпочтительно - предыдущем и текущем) или трех (предпочтительно - предыдущем, текущем и последующем) последовательных кадрах. В силу хорошо известного подавления боковых низкочастотных составляющих (TDAC), связанного с MDCT, трехкадровая возможность выполняет полное перекрывание входных кадров и, таким образом, обеспечивает наилучшую (и, вероятно, совершенную) точность, по меньшей мере, для кадров, содержащих боковые низкочастотные составляющие во временной области. Ясно, что трехкадровое обратное MDCT действует с задержкой на один кадр. Допуская использование приближенного представления во временной области в качестве входного сигнала в MDST-преобразование, можно избежать этой задержки и, таким образом, необходимости в компенсации задержек между различными частями системы декодера. В двухкадровой возможности в более ранней половине кадра возникает наложение/сложение, делающее возможным TDAC, и боковые низкочастотные составляющие могут присутствовать только в более поздней половине кадра. В однокадровой возможности отсутствие TDAC подразумевает, что в кадре могут появляться боковые низкочастотные составляющие; однако MDST-представление, достигаемое таким образом и используемое в качестве промежуточного сигнала в кодировании с комплексным предсказанием, может по-прежнему обеспечивать удовлетворительное качество.
Система декодирования, изображенная на фиг. 3, также может действовать в двух режимах декодирования без предсказания. Для декодирования L/R-стереофонического сигнала, кодированного напрямую, вторые переключатели 305, 310 устанавливают в нижнее положение, и первый узел 302 переключения устанавливают в режим ретрансляции. Таким образом, сигнал имеет L/R-форму в восходящем направлении относительно суммарно-разностной ступени 304, которая преобразовывает его в M/S-форму, на которой происходит обратное MDCT-преобразование и суммарно-разностная операция. Для декодирования стереофонического сигнала, представленного в совместно кодированной M/S-форме первый узел 302 переключения вместо этого устанавливают в суммарно-разностный режим так, чтобы сигнал между первым узлом 302 переключения и суммарно-разностной ступенью 304 имел L/R-форму, которая с точки зрения TNS-фильтрации часто является более подходящей, чем могла бы быть M/S-форма. Обработка в нисходящем направлении относительно суммарно-разностного этапа 304 идентична обработке в случае прямого L/R-декодирования.
На фиг. 14 изображены три обобщенные блок-схемы декодеров согласно вариантам осуществления изобретения. В отличие от некоторых других блок-схем, сопровождающих данную заявку, линия связи на фиг. 14 может символизировать многоканальный сигнал. В частности, указанная линия связи может располагаться для передачи стереофонического сигнала, включающего левый/правый, средний/боковой, низведенный/остаточный, псевдо-левый/псевдо-правый каналы и другие комбинации.
На фиг. 14А изображена система декодера, предназначенная для декодирования представления входного сигнала в частотной области (указываемого для целей данной фигуры как MDCT-представление). Система декодера адаптирована для передачи в качестве выходного сигнала представления стереофонического сигнала во временной области, которое генерируется на основе входного сигнала. Для того чтобы иметь возможность декодировать входной сигнал, закодированный посредством стереофонического кодирования с комплексным предсказанием, система декодера оснащается ступенью 1410 повышающего микширования. Однако она также способна манипулировать с входным сигналом, закодированным в других форматах, и, возможно, с сигналом, который чередуется во времени между несколькими форматами кодирования, например, за последовательностью временных кадров, закодированной посредством кодирования с комплексным предсказанием, может следовать временной участок, закодированный посредством прямого левого/правого кодирования. Способность системы декодера манипулировать с различными форматами кодирования достигается путем создания линии связи (ретрансляционной), расположенной параллельно указанной ступени 1410 повышающего микширования. Посредством переключателя 1411 можно выбирать, какой сигнал, выходной сигнал ступени 1410 повышающего микширования (нижнее положение переключателя на фигуре) или необработанный сигнал, доступный над линией связи (верхнее положение переключателя на фигуре), будет подаваться в модули декодера, расположенные дальше в нисходящем направлении. В данном варианте осуществления изобретения модуль 1412 обратного MDCT, который преобразовывает MDCT-представление сигнала в представление во временной области, расположен в нисходящем направлении относительно переключателя. Например, сигнал, подаваемый на ступень 1410 повышающего микширования, может представлять собой стереофонический сигнал в низведенной/остаточной форме. Ступень 1410 повышающего микширования адаптирована для получения бокового сигнала и для выполнения суммарно-разностной операции так, чтобы выходным сигналом являлся левый/правый стереофонический сигнал (в области MDCT).
На фиг. 14В изображена система декодера, подобная системе по фиг. 14А. Настоящая система адаптирована для приема битового потока в качестве ее входного сигнала. Первоначально битовый поток обрабатывается комбинированным модулем 1420 демультиплексора и деквантования, который создает в качестве первого выходного сигнала MDCT-представление многоканального стереофонического сигнала для дальнейшей обработки, которая определяется положением переключателя 1422, имеющего ту же функцию, что и переключатель 1411 на фиг. 14А. Точнее, переключатель 1422 определяет, должен ли первый выходной сигнал из демультиплексора и деквантования обрабатываться ступенью 1421 повышающего микширования и модулем 1423 обратного MDCT (нижнее положение) или только модулем 1423 обратного MDCT (верхнее положение). Комбинированный модуль 1420 демультиплексора и деквантования также выводит управляющую информацию. В настоящем случае управляющая информация, связанная со стереофоническим сигналом, может включать данные, указывающие на то, какое из положений переключателя 1422, нижнее или верхнее, подходит для декодирования сигнала, или, более абстрактно, согласно какому формату кодирования должен декодироваться стереофонический сигнал. Управляющая информация также может включать параметры для регулировки свойств ступени 1421 повышающего микширования, например, значение коэффициента комплексного предсказания α, использованного при кодировании с комплексным предсказанием, как уже описано выше.
На фиг. 14С изображена система декодера, которая, в дополнение к объектам, аналогичным таковым на фиг. 14 В, содержит первое и второе устройства 1431, 1435 модификации в частотной области, расположенные, соответственно, в восходящем и нисходящем направлениях относительно ступени 1433 повышающего микширования. Для целей данной фигуры каждое устройство модификации в частотной области проиллюстрировано TNS-фильтром. Однако под термином «устройство модификации в частотной области» также могут пониматься и иные процессы, чем TNS-фильтрация, для которых допустимо применение или перед ступенью, или после ступени повышающего микширования. Примеры модификаций в частотной области включают предсказание, накопление помех, растягивание полосы пропускания и нелинейную обработку. Психоакустические соображения и сходные причины, которые, возможно, включают свойства сигнала, подвергаемого обработке, и/или конфигурацию или настройки устройства модификации в частотной области, иногда указывают, что преимущественным является применение указанной модификации в частотной области в восходящем, а не в нисходящем направлении относительно ступени 1433 повышающего микширования. В других случаях путем сходных соображений может быть установлено, что расположение модификации в частотной области в нисходящем направлении более предпочтительно, чем расположение в восходящем направлении. Посредством переключателей 1432, 1436 устройства 1431, 1435 модификации в частотной области могут быть выборочно приведены в действие с тем, чтобы система декодера могла выбирать требуемую конфигурацию в ответ на управляющую информацию. Например, на фиг. 14С изображена конфигурация, в которой стереофонический сигнал из комбинированного модуля 1430 демультиплексора и деквантования вначале обрабатывается первым устройством 1431 модификации в частотной области, затем подается на ступень 1433 повышающего микширования и, в конечном итоге, направляется непосредственно в модуль 1437 обратного MDCT без прохождения через второе устройство 1435 модификации в частотной области. Как разъясняется в разделе «Краткое описание изобретения», в кодировании с комплексным предсказанием данная конфигурация является предпочтительнее возможности выполнения TNS после повышающего микширования.
II. Системы кодера
Система кодера согласно изобретению будет описана ниже с отсылкой к фиг. 5, на которой изображена обобщенная блок-схема системы кодера, предназначенной для кодирования левого/правого (L/R) стереофонического сигнала как выходного битового потока посредством кодирования с комплексным предсказанием. Система кодера принимает представление сигнала во временной или в частотной области и подает его на ступень понижающего микширования и в оцениватель коэффициента предсказания. Действительные и мнимые части коэффициентов предсказания передаются на ступень понижающего микширования для управления преобразованием левого и правого каналов в низведенный и остаточный каналы, которые затем подаются в конечный мультиплексор MUX. Если сигнал не подается в кодер как представление в частотной области, то он преобразовывается в такое представление на ступени понижающего микширования или в мультиплексоре.
Одним из принципов кодирования с предсказанием является преобразование левого/правого сигнала в среднюю/боковую форму, т.е.:
Figure 00000025
,
а затем использование остаточной корреляции между этими каналами, т.е. задание
Figure 00000026
,
где α - коэффициент комплексного предсказания, который требуется определить, и D - остаточный сигнал. Можно выбрать α так, чтобы энергия остаточного сигнала
Figure 00000027
была минимизирована. Минимизация энергии может производиться относительно мгновенной мощности, кратко- или долговременной энергии (средней мощности), что в случае дискретного сигнала равносильно оптимизации в значении наименьших квадратов.
Действительная и мнимая части αR, αI коэффициента предсказания могут квантоваться и/или кодироваться совместно. Предпочтительно, однако, чтобы действительная и мнимая части квантовались независимо и единообразно, как правило, с величиной шага 0,1 (безразмерное число). В соответствии со стандартом MPEG, разрешающая способность полосы частот, используемая для коэффициента комплексного предсказания, необязательно аналогична разрешающей способности для полос масштабных коэффициентов (sfb; т.е. группы линий MDCT, которые используют одну и ту же величину шага MDCT-квантования и диапазон квантования). В частности, разрешающая способность полосы частот для коэффициента предсказания может быть обоснованной психоакустически, как, например, шкала Барка. Следует отметить, что разрешающая способность полосы частот может изменяться в случаях изменения длины преобразования.
Как уже отмечалось, система кодера согласно изобретению может иметь свободу в том, применять стереофоническое кодирование с предсказанием или нет, где последний случай подразумевает обратный переход на пониженный уровень - к L/R- или M/S-кодированию. Указанное решение может приниматься на основе временного кадра или, тоньше, на основе полосы частот в пределах временного кадра. Как отмечалось выше, отрицательный результат принятия решения может сообщаться декодирующему объекту различными способами, например, посредством значения специально предназначенного бита-индикатора в каждом кадре, или по отсутствию (или нулевой величине) значения коэффициента предсказания. Положительное решение может передаваться аналогично. Особенно преимущественная реализация, которая делает возможным обратный переход на пониженный уровень без каких-либо накладных затрат, использует зарезервированное четвертое значение двухбитного поля ms_mask_present (см. MPEG-2 AAC, документ ISO/IEC 131818-7), которое передается в каждом кадре и определяется следующим образом:
Таблица 1: Определение ms_mask_present в USAC
Значение Смысл
00 L/R-кодирование для всех частотных полос
01 Для указания L/R- или M/S используется один сигнальный бит на полосу
10 M/S-кодирование для всех частотных полос
11 Зарезервированное
При переопределении значения 11 так, чтобы оно означало «кодирование с комплексным предсказанием», кодер может действовать во всех режимах совместимости, в частности, в режимах M/S- и L/R-кодирования, без какой-либо потери скорости передачи битов и по-прежнему способен передавать сигнал о кодировании с комплексным предсказанием для тех кадров, где оно является преимущественным.
Соответствующее решение может основываться на соображениях о соотношении скорости передачи битов и качества звука. В качестве меры качества могут использоваться данные, полученные с использованием психоакустической модели, включенной в кодер (как часто бывает в случае имеющихся в наличии кодеров звука на основе MDCT). В частности, некоторые варианты осуществления кодера предоставляют выбор коэффициента предсказания, оптимизированного на основе соотношения скорости и искажений. Соответственно, в таких вариантах осуществления изобретения мнимая часть, а, возможно, также и действительная часть, - коэффициента предсказания приравнивается к нулю в случае, если выигрыш от предсказания не экономит достаточно битов для кодирования остаточного сигнала так, чтобы это оправдывало затраты битов, необходимых для кодирования коэффициента предсказания.
Варианты осуществления кодера могут кодировать информацию, относящуюся к TNS, в битовом потоке. Эта информация может включать значения параметров TNS, которые применяются (синтезирующими) TNS-фильтрами на стороне декодера. Если для обоих каналов используются идентичные наборы параметров TNS, более экономным является включение сигнального бита, указывающего на эту идентичность наборов параметров, а не независимая передача двух наборов параметров. Также может быть включена информация о том, следует применять TNS перед или после ступени повышающего микширования, как дóлжно на основании, например, психоакустической оценки обеих доступных возможностей.
В качестве еще одного необязательного характерного признака, который является потенциально полезным с точки зрения сложности и скорости передачи битов, кодер может быть адаптирован для использования индивидуально ограниченной полосы пропускания при кодировании остаточного сигнала. Полосы частот выше этого предела не будут передаваться в декодер, но будут приравнены нулю. В некоторых случаях, самые высокочастотные полосы имеют настолько малый запас энергии, что они уже квантованы в нуль. В стандартной практике (ср. с параметром max_sfb в стандарте MPEG) обычно используется одинаковое ограничение полосы пропускания как для низведенного, так и для остаточного сигналов. В настоящее время авторы изобретения экспериментально обнаружили, что остаточный сигнал в большей степени, чем низведенный сигнал, содержит запас энергии локализованным в полосах менее высоких частот. Поэтому, помещая специально предназначенный верхний предел полосы пропускания на остаточный сигнал, можно понизить скорость передачи битов без существенной потери качества. Например, это может быть выполнено путем передачи двух независимых параметров max_sfb: одного - для низведенного сигнала, и одного - для остаточного сигнала.
Следует отметить, что, хотя вопросы оптимального определения коэффициента предсказания, его квантования и кодирования, обратного перехода на пониженный уровень в режим M/S или L/R, TNS-фильтрации, верхнего ограничения полосы пропускания и т.д. обсуждались в отношении системы декодера, показанной на фигуре 5, те же факты в равной степени применимы и к вариантам осуществления изобретения, которые будут раскрыты ниже с отсылкой к последующим фигурам.
На фиг. 6 изображена другая система кодера согласно изобретению, адаптированная для выполнения стереофонического кодирования с комплексным предсказанием. Система принимает в качестве входного сигнала представление стереофонического сигнала во временной области, сегментированного на последовательные, возможно, перекрывающиеся временные кадры и включающего левый и правый каналы. Суммарно-разностная ступень 601 преобразовывает сигнал в средний и боковой каналы. Средний канал подается и в модуль 602 MDCT и в модуль 603 MDST, в то время как боковой канал подается только в модуль 604 MDCT. Оцениватель 605 коэффициента предсказания оценивает для каждого временного кадра и, возможно, для отдельных частотных полос в пределах кадра, значение коэффициента комплексного предсказания α, как разъяснялось выше. Значение коэффициента α подается в качестве весового коэффициента во взвешенные сумматоры 606, 607, которые формируют остаточный сигнал D как линейную комбинацию MDCT- и MDST-представлений среднего сигнала и MDCT-представления бокового сигнала. Предпочтительно, коэффициент комплексного предсказания подается во взвешенные сумматоры 606, 607, представленные той же схемой квантования, которая будет использоваться при его кодировании в битовый поток; это, очевидно, обеспечивает более достоверную реконструкцию, поскольку и кодер, и декодер применяют одно и то же значение коэффициента предсказания. Остаточный сигнал, средний сигнал (который, более соответственно, называется низведенным сигналом тогда, когда он возникает в сочетании с остаточным сигналом) и коэффициент предсказания подаются на комбинированную ступень 608 квантования и мультиплексора, которая кодирует их и возможную дополнительную информацию в выходной битовый поток.
На фиг. 7 изображено изменение системы кодера по фиг. 6. Как видно из сходства символов на фигуре, она имеет сходную конструкцию, но также содержит и дополнительную функцию действия в режиме обратного перехода на пониженный уровень прямого L/R-кодирования. Система кодера приводится в действие между режимом кодирования с комплексным предсказанием и режимом обратного перехода на пониженный уровень посредством переключателя 710, предусмотренного в восходящем направлении непосредственно перед комбинированной ступенью 709 квантования и мультиплексора. В верхнем положении, как показано на фигуре, переключатель 710 будет приводить к действию кодера в режиме обратного перехода на пониженный уровень. Из точек в нисходящем направлении непосредственно за модулями 702, 704 MDCT средний/боковой сигнал подается на суммарно-разностную ступень 705, которая после преобразования в левую/правую форму пропускает его к переключателю 710, который связывает его с комбинированной ступенью 709 квантования и мультиплексора.
На фиг. 8 изображена система кодера согласно настоящему изобретению. В отличие от систем кодера по фиг. 6 и 7, данный вариант осуществления изобретения получает данные MDST, необходимые для кодирования с комплексным предсказанием, непосредственно из данных MDCT, т.е. путем преобразования действительного в мнимое в частотной области. Преобразование действительного в мнимое применяет какой-либо из подходов, описанных в связи с системами декодера по фигурам 2 и 4. Для того, чтобы могло выполняться достоверное декодирование, важно, чтобы способ вычисления в декодере совпадал со способом вычисления в кодере; предпочтительно, на стороне кодера и на стороне декодера используются одинаковые способы преобразования действительного в мнимое. Как и для вариантов осуществления декодера, участок А, окруженный пунктирной линией и включающий преобразование 804 действительного в мнимое, может быть замещен приближенными вариантами с использованием в качестве входных данных меньшего количества входных временных кадров. Аналогично, кодирование может быть упрощено с использованием любого из описанных выше, или какого-либо другого, приближенного метода.
На более высоком уровне система 8 обладает конструкцией, отличающейся от конструкции, которая могла бы следовать за прямым действием по замещению модуля MDST на фиг. 7 (надлежащим образом подключенным) модулем преобразования действительного в мнимое. Настоящая архитектура понятна и выполняет функцию переключения между кодированием с предсказанием и прямым L/R-кодированием устойчивым и вычислительно экономичным способом. Входной стереофонический сигнал подается в модули 801 MDCT-преобразования, которые выводят представление каждого из каналов в частотной области. Оно подается и в конечный переключатель 808 для приведения в действие системы кодера между режимами кодирования с предсказанием и прямого кодирования, и на суммарно-разностную ступень 802. При прямом L/R-кодировании, или совместном M/S-кодировании, которое осуществляется на временном кадре, для которого коэффициент предсказания приравнен к нулю, данный вариант осуществления изобретения подвергает входной сигнал только MDCT-преобразованию, квантованию и мультиплексированию, где последние два этапа выполняются комбинированной ступенью 807 квантования и мультиплексора, расположенной на выходном конце системы, в которую подается битовый поток. При кодировании с предсказанием каждый из каналов претерпевает дальнейшую обработку между суммарно-разностной ступенью 802 и переключателем 808. Из MDCT-представления среднего сигнала преобразование 804 действительного в мнимое получает данные MDST и направляет их и в оцениватель 803 коэффициента предсказания и во взвешенный сумматор 806. Как и в системах кодера по фиг. 6 и 7, следующий взвешенный сумматор 805 используется для объединения бокового сигнала с взвешенными MDCT- и MDST-представлениями среднего сигнала с целью формирования сигнала остаточного канала, который кодируется совместно с сигналом среднего (т.е. низведенного) канала и с коэффициентом предсказания при помощи комбинированного модуля 807 квантования и мультиплексора.
При рассмотрении фиг. 9 будет проиллюстрировано, что каждый из вариантов осуществления системы кодера может быть объединен с одним или несколькими (анализирующими) TNS-фильтрами. В соответствии с предыдущими обсуждениями, часто преимущественным является применение TNS-фильтрации к сигналу в его низведенной форме. Поэтому, как показано на фиг. 9, адаптация системы кодера по фиг. 7 для включения в нее TNS выполняется путем добавления TNS-фильтров 911 в восходящем направлении непосредственно перед комбинированным модулем 909 квантования и мультиплексора.
Вместо правого/остаточного TNS-фильтра 911b в нисходящем направлении непосредственно за участком переключателя 910, адаптированного для манипуляций с правым, или остаточным, каналом, могут предоставляться два отдельных TNS-фильтра (не показаны). Таким образом, каждый из двух TNS-фильтров будет снабжаться данными сигнала соответствующего канала во все моменты времени, что делает возможной TNS-фильтрацию на основе одного или нескольких временных кадров, а не только текущего кадра. Как уже было отмечено, TNS-фильтры являются всего лишь примером устройств модификации в частотной области, в особенности устройств, основывающих обработку на большем количестве кадров, чем только текущий кадр, которые при таком расположении могут извлекать такую же или бóльшую выгоду, чем извлекает TNS-фильтр.
В качестве другой возможной альтернативы варианту осуществления изобретения, показанному на фиг. 9, TNS-фильтры, предназначенные для выборочного приведения в действие, могут быть расположены более чем в одной точке для каждого канала. Эта конструкция сходна с конструкцией системы декодера, показанной на фиг. 4, где разные наборы TNS-фильтров могут быть связаны посредством переключателей. Это позволяет делать выбор наиболее подходящей ступени при TNS-фильтрации для каждого временного кадра. В частности, может оказаться преимущественным переключение между различными положениями TNS в связи с переключением между стереофоническим кодированием с комплексным предсказанием и другими режимами кодирования.
На фиг. 11 изображено изменение, основанное на системе кодера по фиг. 8, в котором посредством преобразования 1105 действительного в мнимое получается второе представление низведенного сигнала в частотной области. Аналогично системе декодера, показанной на фиг. 4, данная система кодера также содержит выборочно приводимые в действие модули модификаторов в частотной области: один - 1102 - предоставляемый в восходящем направлении относительно ступени понижающего микширования, и один - 1109 - предоставляемый в нисходящем направлении относительно этой ступени. Модули 1102, 1109 модификации в частотной области, которые на данной фигуре представлены на примере TNS-фильтров, могут связываться с каждым из трактов сигнала с использованием четырех переключателей 1103a, 1103b, 1109a и 1109b.
III. Неаппаратные варианты осуществления изобретения
Варианты осуществления третьей и четвертой особенностей изобретения показаны на фиг. 15 и 16. На фиг. 15 изображен способ декодирования битового потока в стереофонический сигнал, который содержит следующие этапы:
1. Входным сигналом является битовый поток.
2. Битовый поток деквантуется, посредством чего получается представление низведенного и остаточного каналов в частотной области.
3. Вычисляется второе представление низведенного канала в частотной области.
4. На основе трех представлений каналов в частотной области вычисляется сигнал бокового канала.
5. На основе бокового и низведенного каналов вычисляется стереофонический сигнал, преимущественно, в левой/правой форме.
6. Выходным сигналом является полученный таким образом стереофонический сигнал.
Этапы 3-5 можно рассматривать как процесс повышающего микширования. Каждый из этапов 1-6 аналогичен соответствующей функции в любой из систем декодера, раскрытых в предыдущих частях данного текста, и в тех же частях могут быть отысканы остальные подробности, относящиеся к их реализации.
На фиг. 16 изображен способ кодирования стереофонического сигнала в качестве сигнала битового потока, который содержит следующие этапы:
1. Входным сигналом является стереофонический сигнал.
2. Стереофонический сигнал преобразовывается в первое представление в частотной области.
3. Определяется коэффициент комплексного предсказания.
4. Представление в частотной области подвергается понижающему микшированию.
5. Низведенный и остаточный сигналы кодируются как битовый поток совместно с коэффициентом комплексного предсказания.
6. Выходным сигналом является битовый поток.
Каждый из этапов 1-5 аналогичен соответствующей функции в любой из систем кодера, раскрытых в предыдущих частях данного текста, и в тех же частях могут быть отысканы остальные подробности, относящиеся к их реализации.
Оба способа могут быть выражены как машиночитаемые команды в форме программ, реализованных программно, и могут исполняться компьютером. Объем защиты настоящего изобретения распространяется на указанное программное обеспечение и компьютерные программные продукты, предназначенные для распространения указанного программного обеспечения.
IV. Экспериментальная оценка
Некоторые из раскрытых в данном документе вариантов осуществления изобретения были количественно оценены экспериментально. В данном подразделе будут суммированы наиболее важные части полученного в этом процессе экспериментального материала.
Вариант осуществления изобретения, использованный для экспериментов, имел следующие характеристики:
(i) каждый спектр MDST (для временного кадра) вычислялся посредством фильтрации с двумерной конечной импульсной характеристикой из текущего, предыдущего и следующего спектров MDCT.
(ii) Использовалась психоакустическая модель из стереофонического кодера USAC.
(iii) Вместо параметров PS, ICC, CLD и IPD, передавались действительная и мнимая части коэффициента комплексного предсказания. Действительная и мнимая части обрабатывались независимо, ограничивались интервалом [-3,0, 3,0] и квантовались с использованием величины шага 0,1. Затем они кодировались с дифференцированием по времени и в конце кодировались по Хаффману с использованием кодового словаря масштабных коэффициентов USAC. Коэффициенты предсказания обновлялись в каждой второй полосе масштабных коэффициентов, что приводило к разрешающей способности по частоте, которая близка к таковой для MPEG Surround (см., например, ISO/IEC 230031). Данная схема квантования и кодирования приводит к средней скорости передачи битов, приблизительно, 2 Кбит/с для указанной стереофонической вспомогательной информации в типичной конфигурации с целевой скоростью передачи битов 96 Кбит/с.
(iv) Формат битового потока был модифицирован без разрыва текущих битовых потоков USAC, поскольку 2-битный элемент битового потока ms_mask_present в текущий момент времени имеет только три возможных значения. Использование четвертого значения для указания комплексного предсказания допускает режим обратного перехода на пониженный уровень среднего/бокового кодирования без потери битов (дальнейшие подробности по этой теме см. в предыдущем подразделе данного раскрытия).
Испытательные прослушивания выполнялись в соответствии с методом MUSHRA, который заключается в индивидуальном проигрывании через наушники и в использовании 8 испытуемых элементов с частотой дискретизации 48 КГц. В данном испытании принимали участие три, пять или шесть испытуемых объектов.
Влияние различных приближений MDST оценивалось с целью иллюстрации практического компромисса между сложностью и качеством, который существует между указанными возможностями. Результаты находятся на фигурах 12 и 13, где первая фигура показывает полученные абсолютные оценки, и последняя показывает дифференциальные оценки относительно 96s USAC cplf, т.е. относительно унифицированного стереофонического кодирования в области MDCT с комплексным предсказанием с использованием для вычисления приближения MDST текущего кадра MDCT. Как можно видеть, выигрыш в качестве, достигаемый унифицированным стереофоническим кодированием на основе MDCT, увеличивается, когда для вычисления спектра MDST применяются вычислительно более сложные подходы. В отношении среднего общего испытания система 96s USAC cplf на основе одного кадра обеспечивает значительное увеличение эффективности кодирования по сравнению с традиционным стереофоническим кодированием. В свою очередь, даже еще лучшие результаты получаются для 96s USAC cp3f, а именно: унифицированного стереофонического кодирования в области MDCT с комплексным предсказанием с использованием для вычисления MDST текущего, предыдущего и следующего кадров MDCT.
V. Заключительные замечания
Дальнейшие варианты осуществления настоящего изобретения будут ясны специалистам в данной области после прочтения приведенного выше описания. И хотя настоящее описание и графические материалы раскрывают варианты осуществления изобретения и примеры, изобретение не ограничивается этими конкретными примерами. Многочисленные модификации и изменения могут быть внесены без отступления от объема настоящего изобретения, который определен сопроводительной формулой изобретения.
Следует отметить, что способы и устройство, раскрытые в данной заявке, после соответствующих модификаций могут быть применены в пределах возможностей специалиста, включая типовые эксперименты, для кодирования сигналов, содержащих больше двух каналов. Особенно следует подчеркнуть, что любые сигналы, параметры и матрицы, упоминаемые в связи с описанными вариантами осуществления изобретения, могут быть зависящими от частоты или независящими от частоты и/или зависящими от времени или независящими от времени. Описанные этапы вычислений могут осуществляться почастотно или для всех частотных полос в момент времени, и все объекты могут осуществляться так, чтобы они обладали частотноизбирательным действием. Для целей заявки любые схемы квантования могут адаптироваться в соответствии с психоакустическими моделями. Кроме того, следует отметить, что все различные суммарно-разностные преобразования, т.е. преобразования из низведенной/остаточной формы в псевдо-L/R-форму, а также преобразование L/R в M/S и преобразование M/S в L/R, имеют форму
Figure 00000028
,
где может изменяться только коэффициент усиления g. Таким образом, регулируя коэффициенты усиления по отдельности, определенный коэффициент усиления при кодировании можно компенсировать путем соответствующего выбора коэффициента усиления при декодировании. Кроме того, как понятно специалистам в данной области, четное количество последовательно расположенных суммарно-разностных преобразований дает эффект ретранслирующей ступени, возможно, с неединичным коэффициентом усиления.
Системы и способы, описанные выше, могут быть реализованы в виде программного обеспечения, программно-аппаратного обеспечения, аппаратного обеспечения или их комбинации. Некоторые компоненты или все компоненты могут быть реализованы в виде программного обеспечения, исполняемого процессором обработки цифровых сигналов или микропроцессором, или быть реализованы в виде аппаратного обеспечения или в виде специализированной интегральной микросхемы. Указанное программное обеспечение может распространяться на машиночитаемых носителях, которые могут содержать компьютерные носители данных и средства связи. Как хорошо известно специалистам в данной области, компьютерные носители данных включают энергозависимые, энергонезависимые, съемные и несъемные носители, использующиеся в любом способе или технологии для хранения в памяти информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Компьютерные носители данных в качестве неограничивающих примеров включают RAM, ROM, EEPROM, флеш-память или другие технологии памяти, CD-ROM, компакт-диски формата DVD или другие оптические дисковые носители, кассеты с магнитной лентой, магнитную ленту, магнитные дисковые носители или другие магнитные устройства хранения информации, или любой другой носитель, который можно использовать для хранения в памяти нужной информации и который может быть доступен компьютеру. Кроме того, специалистам в данной области известно, что средства связи, как правило, заключают в себе машиночитаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи, и включают любые средства доставки информации.

Claims (14)

1. Система декодера, предназначенная для создания стереофонического сигнала посредством стереофонического кодирования с комплексным предсказанием, где система декодера содержит:
ступень (206, 207, 210, 211; 306, 307, 308, 309, 312; 406, 407, 408, 409; 1410; 1421; 1433) повышающего микширования, адаптированную для генерирования стереофонического сигнала на основе первых представлений низведенного сигнала (М) и остаточного сигнала (D) в частотной области, где каждое из первых представлений в частотной области содержит первые спектральные составляющие, которые представляют спектральный состав соответствующего сигнала, выраженного в первом подпространстве многомерного пространства, где ступень повышающего микширования содержит:
модуль (206; 306, 307; 408), предназначенный для вычисления второго представления низведенного сигнала в частотной области на основе его первого представления в частотной области, где второе представление в частотной области содержит вторые спектральные составляющие, представляющие спектральный состав сигнала, выраженного во втором подпространстве многомерного пространства, которое содержит часть многомерного пространства, не включенную в первое подпространство;
взвешенный сумматор (210, 211; 308, 309; 406, 407), предназначенный для вычисления бокового сигнала (S) на основе первого и второго представлений низведенного сигнала в частотной области, первого представления остаточного сигнала в частотной области и коэффициента (α) комплексного предсказания, закодированного в сигнале битового потока; и
суммарно-разностную ступень (207; 312; 409), предназначенную для вычисления стереофонического сигнала на основе первого представления низведенного сигнала в частотной области и бокового сигнала;
где ступень повышающего микширования адаптирована для применения независимых пределов полос пропускания для низведенного сигнала и остаточного сигнала.
2. Система декодера по п.1, отличающаяся тем, что сигналы о применении пределов полос пропускания передаются посредством двух полей данных, указывающих для каждого из сигналов самую высокую частотную полосу, которую следует декодировать.
3. Система декодера по п.2, адаптированная для приема битового потока MPEG, в котором указанное поле данных закодировано как значение max_sfb.
4. Система декодера по п.1, отличающаяся тем, что также содержит:
ступень деквантования (202; 301; 401), расположенную в восходящем направлении относительно ступени повышающего микширования, предназначенную для создания указанных первых представлений низведенного сигнала (М) и остаточного сигнала (D) в частотной области на основе сигнала битового потока.
5. Система декодера по п.1, отличающаяся тем, что:
первые спектральные составляющие имеют действительные значения, выраженные в первом подпространстве;
вторые спектральные составляющие имеют мнимые значения, выраженные во втором подпространстве;
необязательно, первые спектральные составляющие могут быть получены с помощью:
дискретного косинусного преобразования, DCT, или
модифицированного дискретного косинусного преобразования, МDCT,
и, необязательно, вторые спектральные составляющие могут быть получены с помощью:
дискретного синусного преобразования, DST, или
модифицированного дискретного синусного преобразования, МDST.
6. Система декодера по п.1, отличающаяся тем, что также содержит, по меньшей мере, один модуль (204; 303; 403) временного ограничения шума, TNS, расположенный в восходящем направлении относительно ступени повышающего микширования; и
по меньшей мере один дополнительный модуль (410) TNS, расположенный в нисходящем направлении относительно ступени повышающего микширования; и
селекторную схему (404, 411), предназначенную для выборочного приведения в действие:
(a) указанного модуля (модулей) TNS в восходящем направлении относительно ступени повышающего микширования, или
(b) указанного дополнительного модуля (модулей) TNS в нисходящем направлении относительно ступени повышающего микширования.
7. Система декодера по п.5, отличающаяся тем, что:
низведенный сигнал разделен на последовательные временные кадры, каждый из которых связан со значением коэффициента комплексного предсказания; и
модуль для вычисления второго представления низведенного сигнала в частотной области адаптирован для самостоятельного отключения в ответ на то, что абсолютное значение мнимой части коэффициента комплексного предсказания меньше предварительно определенного допуска для временного кадра, и, таким образом, он не генерирует выходной сигнал для этого временного кадра.
8. Система декодера по п.1, отличающаяся тем, что:
первые спектральные составляющие представляют собой коэффициенты преобразования, расположенные в одном или нескольких временных кадрах коэффициентов преобразования, и каждый блок сгенерирован путем применения преобразования к временному отрезку сигнала во временной области; и
модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для:
получения одной или нескольких первых промежуточных составляющих из, по меньшей мере, некоторых из первых спектральных составляющих;
формирования комбинации указанной одной или нескольких первых спектральных составляющих в соответствии с, по меньшей мере, частью одной или нескольких импульсных характеристик с целью получения одной или нескольких вторых промежуточных составляющих; и
получения указанной одной или нескольких вторых спектральных составляющих из указанной одной или нескольких вторых промежуточных составляющих.
9. Система декодера по п.8, отличающаяся тем, что модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для получения каждого временного кадра вторых спектральных составляющих на основе одного из следующего:
(a) одновременного временного кадра первых спектральных составляющих;
(b) одновременного и предшествующего временных кадров первых спектральных составляющих; и
(c) одновременного, предшествующего и последующего временных кадров первых спектральных составляющих.
10. Система декодера по п.1, отличающаяся тем, что модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, адаптирован для вычисления приближенного второго спектрального представления, включающего приближенные вторые спектральные составляющие, определяемые при помощи комбинации из по меньшей мере двух смежных во времени и/или смежных по частоте первых спектральных составляющих.
11. Система декодера по п.1, отличающаяся тем, что указанный стереофонический сигнал представлен во временной области и система декодера также содержит:
узел (203) переключения, расположенный между указанной ступенью деквантования и указанной ступенью повышающего микширования, способный функционировать как:
(a) ретранслирующая ступень или
(b) суммарно-разностная ступень,
таким образом позволяя выполнять переключение между входными стереофоническими сигналами, кодированными напрямую и совместно;
ступень (209) обратного преобразования, адаптированную для вычисления представления стереофонического сигнала во временной области; и
селекторную схему (208), расположенную в восходящем направлении относительно ступени обратного преобразования, адаптированную для ее выборочного соединения с:
(a) точкой в нисходящем направлении относительно ступени повышающего микширования, посредством чего стереофонический сигнал, полученный посредством комплексного предсказания, подается на ступень обратного преобразования; или
(b) точкой в нисходящем направлении относительно узла (203) переключения и в восходящем направлении относительно ступени повышающего микширования, посредством чего на ступень обратного преобразования подается стереофонический сигнал, полученный путем прямого стереофонического кодирования.
12. Система декодера по п.1, отличающаяся тем, что модуль, предназначенный для вычисления второго представления низведенного сигнала в частотной области, содержит:
ступень (306) обратного преобразования, предназначенную для вычисления представления низведенного и/или бокового сигнала во временной области на основе первого представления в частотной области соответствующего сигнала в первом подпространстве многомерного пространства; и
ступень (307) преобразования, предназначенную для вычисления второго представления соответствующего сигнала в частотной области на основе представления этого сигнала во временной области,
где, предпочтительно, ступень (306) обратного преобразования выполняет модифицированное дискретное косинусное преобразование, MDCT, и ступень преобразования выполняет модифицированное дискретное синусное преобразование, MDST.
13. Система декодера по п.12, отличающаяся тем, что указанный стереофонический сигнал представлен во временной области, и система декодера также содержит:
Узел (302) переключения, расположенный между указанной ступенью деквантования и указанной ступенью повышающего микширования, способный функционировать как:
(a) ретранслирующая ступень для применения в совместном стереофоническом кодировании; или
(b) суммарно-разностная ступень для применения в прямом стереофоническом кодировании;
дополнительную ступень (311) обратного преобразования, расположенную на ступени повышающего микширования, предназначенную для вычисления представления бокового сигнала во временной области;
селекторную схему (305, 310), расположенную в восходящем направлении относительно ступеней (306, 301) обратного преобразования, адаптированную для их выборочного соединения с:
(a) дополнительной суммарно-разностной ступенью (304), которая, в свою очередь, связана с точкой в нисходящем направлении относительно узла (302) переключения и в восходящем направлении относительно ступени повышающего микширования; или
(b) низведенным сигналом, получаемым из узла (302) переключения, и боковым сигналом, получаемым из взвешенного сумматора (308, 309).
14. Способ декодирования, предназначенный для повышающего микширования входного стереофонического сигнала посредством стереофонического кодирования с комплексным предсказанием в выходной стереофонический сигнал, где:
указанный входной стереофонический сигнал содержит первые представления низведенного канала (М) и остаточного канала (D) в частотной области и коэффициент комплексного предсказания (α); и
каждое из первых представлений в частотной области содержит первые спектральные составляющие, которые представляют спектральный состав соответствующего сигнала, выраженного в первом подпространстве многомерного пространства,
способ выполняется ступенью повышающего микширования и включает следующие этапы:
вычисление второго представления низведенного сигнала в частотной области на основе его первого представления в частотной области, где второе представление в частотной области содержит вторые спектральные составляющие, представляющие спектральный состав сигнала, выраженного во втором подпространстве многомерного пространства, которое содержит часть многомерного пространства, не включенную в первое подпространство;
вычисление бокового сигнала на основе первого и второго представлений низведенного сигнала в частотной области, первого представления остаточного сигнала в частотной области и коэффициента комплексного предсказания,
где для низведенного сигнала и остаточного сигнала применяются независимые пределы полос пропускания.
RU2012147499/08A 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием RU2525431C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US32245810P 2010-04-09 2010-04-09
US61/322,458 2010-04-09
PCT/EP2011/055374 WO2011124621A1 (en) 2010-04-09 2011-04-06 Mdct-based complex prediction stereo coding

Publications (2)

Publication Number Publication Date
RU2012147499A RU2012147499A (ru) 2014-05-20
RU2525431C2 true RU2525431C2 (ru) 2014-08-10

Family

ID=43952840

Family Applications (6)

Application Number Title Priority Date Filing Date
RU2012144366/08A RU2554844C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2012147499/08A RU2525431C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2015121322A RU2683175C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2012143501/08A RU2559899C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2019106714A RU2698154C1 (ru) 2010-04-09 2019-03-11 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2019117738A RU2717387C1 (ru) 2010-04-09 2019-06-07 Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2012144366/08A RU2554844C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием

Family Applications After (4)

Application Number Title Priority Date Filing Date
RU2015121322A RU2683175C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2012143501/08A RU2559899C2 (ru) 2010-04-09 2011-04-06 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2019106714A RU2698154C1 (ru) 2010-04-09 2019-03-11 Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2019117738A RU2717387C1 (ru) 2010-04-09 2019-06-07 Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания

Country Status (18)

Country Link
US (19) US9378745B2 (ru)
EP (12) EP4120246A1 (ru)
JP (22) JP5814341B2 (ru)
KR (14) KR101698442B1 (ru)
CN (6) CN102884570B (ru)
AU (3) AU2011237877B2 (ru)
BR (6) BR122019013299B1 (ru)
CA (15) CA3125378C (ru)
DK (2) DK2556504T3 (ru)
ES (9) ES2831357T3 (ru)
IL (21) IL286761B (ru)
MX (3) MX2012011532A (ru)
MY (2) MY164393A (ru)
PL (2) PL2556502T3 (ru)
RU (6) RU2554844C2 (ru)
SG (4) SG10201502597QA (ru)
TR (2) TR201901375T4 (ru)
WO (3) WO2011124621A1 (ru)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
MX2012011532A (es) * 2010-04-09 2012-11-16 Dolby Int Ab Codificacion a estereo para prediccion de complejos basados en mdct.
PL3779977T3 (pl) 2010-04-13 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio do przetwarzania audio stereo z wykorzystaniem zmiennego kierunku predykcji
US9530419B2 (en) * 2011-05-04 2016-12-27 Nokia Technologies Oy Encoding of stereophonic signals
US8798180B1 (en) * 2011-11-16 2014-08-05 Marvell International Ltd. Method and apparatus for transmitting time domain signals over a network
JP5949270B2 (ja) * 2012-07-24 2016-07-06 富士通株式会社 オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
AR090703A1 (es) * 2012-08-10 2014-12-03 Fraunhofer Ges Forschung Codificador, decodificador, sistema y metodo que emplean un concepto residual para codificar objetos de audio parametricos
RU2610588C2 (ru) * 2012-11-07 2017-02-13 Долби Интернешнл Аб Вычисление отношения сигнал-шум конвертора с уменьшенной сложностью
CN110047499B (zh) 2013-01-29 2023-08-29 弗劳恩霍夫应用研究促进协会 低复杂度音调自适应音频信号量化
EP2956935B1 (en) 2013-02-14 2017-01-04 Dolby Laboratories Licensing Corporation Controlling the inter-channel coherence of upmixed audio signals
WO2014126688A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
EP2959479B1 (en) 2013-02-21 2019-07-03 Dolby International AB Methods for parametric multi-channel encoding
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
JP6019266B2 (ja) * 2013-04-05 2016-11-02 ドルビー・インターナショナル・アーベー ステレオ・オーディオ・エンコーダおよびデコーダ
CA3211308A1 (en) 2013-05-24 2014-11-27 Dolby International Ab Coding of audio scenes
KR102033304B1 (ko) 2013-05-24 2019-10-17 돌비 인터네셔널 에이비 오디오 오브젝트들을 포함한 오디오 장면들의 효율적 코딩
ES2640815T3 (es) 2013-05-24 2017-11-06 Dolby International Ab Codificación eficiente de escenas de audio que comprenden objetos de audio
MY173644A (en) 2013-05-24 2020-02-13 Dolby Int Ab Audio encoder and decoder
EP3270375B1 (en) 2013-05-24 2020-01-15 Dolby International AB Reconstruction of audio scenes from a downmix
EP2824661A1 (en) * 2013-07-11 2015-01-14 Thomson Licensing Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals
PL3012835T3 (pl) * 2013-07-18 2019-02-28 Nippon Telegraph And Telephone Corporation Urządzenie, sposób i program do analizy predykcji liniowej, oraz nośnik zapisu
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
EP2830051A3 (en) * 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP3503095A1 (en) * 2013-08-28 2019-06-26 Dolby Laboratories Licensing Corp. Hybrid waveform-coded and parametric-coded speech enhancement
EP3291233B1 (en) 2013-09-12 2019-10-16 Dolby International AB Time-alignment of qmf based processing data
WO2015036352A1 (en) 2013-09-12 2015-03-19 Dolby International Ab Coding of multichannel audio content
KR20160072130A (ko) * 2013-10-02 2016-06-22 슈트로밍스위스 게엠베하 2개 이상의 기본 신호로부터 다채널 신호의 유도
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
CN110349590B (zh) * 2014-01-24 2023-03-24 日本电信电话株式会社 线性预测分析装置、方法以及记录介质
EP2916319A1 (en) * 2014-03-07 2015-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding of information
BR112016020988B1 (pt) * 2014-03-14 2022-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Método e codificador para codificação de um sinal de áudio, e, dispositivo de comunicação
KR102201027B1 (ko) * 2014-03-24 2021-01-11 돌비 인터네셔널 에이비 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스
US9756448B2 (en) 2014-04-01 2017-09-05 Dolby International Ab Efficient coding of audio scenes comprising audio objects
KR102196190B1 (ko) 2014-04-10 2020-12-30 주식회사 만도 차량용 전자제어 브레이크 장치의 피스톤 펌프 어셈블리
EP3648103B1 (en) * 2014-04-24 2021-10-20 Nippon Telegraph And Telephone Corporation Decoding method, decoding apparatus, corresponding program and recording medium
US10418042B2 (en) 2014-05-01 2019-09-17 Nippon Telegraph And Telephone Corporation Coding device, decoding device, method, program and recording medium thereof
CN117636885A (zh) * 2014-06-27 2024-03-01 杜比国际公司 用于解码声音或声场的高阶高保真度立体声响复制（hoa）表示的方法
US9922657B2 (en) * 2014-06-27 2018-03-20 Dolby Laboratories Licensing Corporation Method for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
CN105336334B (zh) * 2014-08-15 2021-04-02 北京天籁传音数字技术有限公司 多声道声音信号编码方法、解码方法及装置
EP3540732B1 (en) * 2014-10-31 2023-07-26 Dolby International AB Parametric decoding of multichannel audio signals
EP3230980B1 (en) * 2014-12-09 2018-11-28 Dolby International AB Mdct-domain error concealment
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
EP3067889A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
ES2809677T3 (es) * 2015-09-25 2021-03-05 Voiceage Corp Método y sistema para codificar una señal de sonido estéreo utilizando parámetros de codificación de un canal primario para codificar un canal secundario
CN107710323B (zh) 2016-01-22 2022-07-19 弗劳恩霍夫应用研究促进协会 使用频谱域重新取样来编码或解码音频多通道信号的装置及方法
CA3011883C (en) * 2016-01-22 2020-10-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for mdct m/s stereo with global ild to improve mid/side decision
EP3208800A1 (en) 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
US9959877B2 (en) * 2016-03-18 2018-05-01 Qualcomm Incorporated Multi channel coding
EP3246923A1 (en) * 2016-05-20 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing a multichannel audio signal
US10217467B2 (en) * 2016-06-20 2019-02-26 Qualcomm Incorporated Encoding and decoding of interchannel phase differences between audio signals
RU2628201C1 (ru) * 2016-07-07 2017-08-15 Самсунг Электроникс Ко., Лтд. Способ адаптивного квантования для кодирования изображения радужной оболочки
MX2019005147A (es) 2016-11-08 2019-06-24 Fraunhofer Ges Forschung Aparato y metodo para codificar o decodificar una se?al multicanal usando una ganancia lateral y una ganancia residual.
PT3539127T (pt) * 2016-11-08 2020-12-04 Fraunhofer Ges Forschung Dispositivo de downmix e método para executar o downmix de pelo menos dois canais e codificador multicanal e descodificador multicanal
US10210874B2 (en) * 2017-02-03 2019-02-19 Qualcomm Incorporated Multi channel coding
US10475457B2 (en) * 2017-07-03 2019-11-12 Qualcomm Incorporated Time-domain inter-channel prediction
US10553743B2 (en) 2017-11-20 2020-02-04 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Flexible crystalline ultra-thin Si solar cells
TWI812658B (zh) * 2017-12-19 2023-08-21 瑞典商都比國際公司 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統
JP7326285B2 (ja) 2017-12-19 2023-08-15 ドルビー・インターナショナル・アーベー 音声音響統合復号および符号化のｑｍｆに基づく高調波トランスポーザーの改良のための方法、機器、およびシステム
BR112020012648A2 (pt) 2017-12-19 2020-12-01 Dolby International Ab métodos e sistemas de aparelhos para aprimoramentos de decodificação de fala e áudio unificados
TWI834582B (zh) 2018-01-26 2024-03-01 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
CN110556116B (zh) 2018-05-31 2021-10-22 华为技术有限公司 计算下混信号和残差信号的方法和装置
CN114420139A (zh) 2018-05-31 2022-04-29 华为技术有限公司 一种下混信号的计算方法及装置
TWI681384B (zh) * 2018-08-01 2020-01-01 瑞昱半導體股份有限公司 音訊處理方法與音訊等化器
US11527252B2 (en) * 2019-08-30 2022-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. MDCT M/S stereo
JP7316384B2 (ja) * 2020-01-09 2023-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2022074201A2 (en) * 2020-10-09 2022-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, or computer program for processing an encoded audio scene using a bandwidth extension
KR20230004007A (ko) * 2021-06-30 2023-01-06 삼성전자주식회사 오디오 데이터에 오디오 효과의 중복 적용을 방지하는 방법 및 이를 지원하는 전자 장치
WO2023113490A1 (ko) * 2021-12-15 2023-06-22 한국전자통신연구원 복소수 데이터를 이용한 오디오 처리 방법 및 그를 수행하는 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2174714C2 (ru) * 1998-05-12 2001-10-10 Научно-технический центр "Вычислительная техника" Способ выделения основного тона
WO2009141775A1 (en) * 2008-05-23 2009-11-26 Koninklijke Philips Electronics N.V. A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US165587A (en) 1875-07-13 Improvement in vehicle-wheels
GB8913758D0 (en) 1989-06-15 1989-08-02 British Telecomm Polyphonic coding
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
US6539357B1 (en) 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
DE19959156C2 (de) * 1999-12-08 2002-01-31 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verarbeiten eines zu codierenden Stereoaudiosignals
US20050141722A1 (en) 2002-04-05 2005-06-30 Koninklijke Philips Electronics N.V. Signal processing
DE10234130B3 (de) 2002-07-26 2004-02-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer komplexen Spektraldarstellung eines zeitdiskreten Signals
JP4506141B2 (ja) 2003-10-03 2010-07-21 日本電気株式会社 携帯無線端末
RU2374703C2 (ru) 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
US6980933B2 (en) 2004-01-27 2005-12-27 Dolby Laboratories Licensing Corporation Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients
US20080249765A1 (en) 2004-01-28 2008-10-09 Koninklijke Philips Electronic, N.V. Audio Signal Decoding Using Complex-Valued Data
DE102004007191B3 (de) 2004-02-13 2005-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
DE102004009955B3 (de) 2004-03-01 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln einer Quantisierer-Schrittweite
CN1677490A (zh) 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
TWI393120B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
US8423372B2 (en) * 2004-08-26 2013-04-16 Sisvel International S.A. Processing of encoded signals
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
JP4939424B2 (ja) 2004-11-02 2012-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複素値のフィルタ・バンクを用いたオーディオ信号の符号化及び復号化
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
WO2006048815A1 (en) * 2004-11-04 2006-05-11 Koninklijke Philips Electronics N.V. Encoding and decoding a set of signals
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
EP1851866B1 (en) 2005-02-23 2011-08-17 Telefonaktiebolaget LM Ericsson (publ) Adaptive bit allocation for multi-channel audio encoding
US9626973B2 (en) 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
KR100736607B1 (ko) 2005-03-31 2007-07-09 엘지전자 주식회사 오디오 부호화 방법 및 장치
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
WO2006108543A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Temporal envelope shaping of decorrelated signal
US7961890B2 (en) * 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
EP1908057B1 (en) 2005-06-30 2012-06-20 LG Electronics Inc. Method and apparatus for decoding an audio signal
US7693709B2 (en) 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US7684981B2 (en) 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
ATE455348T1 (de) 2005-08-30 2010-01-15 Lg Electronics Inc Vorrichtung und verfahren zur dekodierung eines audiosignals
EP1912206B1 (en) * 2005-08-31 2013-01-09 Panasonic Corporation Stereo encoding device, stereo decoding device, and stereo encoding method
US8259840B2 (en) 2005-10-24 2012-09-04 General Motors Llc Data communication via a voice channel of a wireless communication network using discontinuities
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
KR100904437B1 (ko) 2006-02-23 2009-06-24 엘지전자 주식회사 오디오 신호의 처리 방법 및 장치
CN101484936B (zh) 2006-03-29 2012-02-15 皇家飞利浦电子股份有限公司 音频解码
ATE527833T1 (de) 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
KR101435893B1 (ko) 2006-09-22 2014-09-02 삼성전자주식회사 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
SG175632A1 (en) * 2006-10-16 2011-11-28 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
AU2007318506B2 (en) * 2006-11-10 2012-03-08 Iii Holdings 12, Llc Parameter decoding device, parameter encoding device, and parameter decoding method
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
JP5394931B2 (ja) 2006-11-24 2014-01-22 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の復号化方法及びその装置
DE102006055737A1 (de) * 2006-11-25 2008-05-29 Deutsche Telekom Ag Verfahren zur skalierbaren Codierung von Stereo-Signalen
US8553891B2 (en) 2007-02-06 2013-10-08 Koninklijke Philips N.V. Low complexity parametric stereo decoder
JP5133401B2 (ja) 2007-04-26 2013-01-30 ドルビー・インターナショナル・アクチボラゲット 出力信号の合成装置及び合成方法
CN101067931B (zh) 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 一种高效可配置的频域参数立体声及多声道编解码方法与系统
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8385556B1 (en) 2007-08-17 2013-02-26 Dts, Inc. Parametric stereo conversion system and method
US8521540B2 (en) * 2007-08-17 2013-08-27 Qualcomm Incorporated Encoding and/or decoding digital signals using a permutation value
CN101802907B (zh) 2007-09-19 2013-11-13 爱立信电话股份有限公司 多信道音频的联合增强
WO2009049895A1 (en) 2007-10-17 2009-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix
CN101202043B (zh) * 2007-12-28 2011-06-15 清华大学 音频信号的编码方法和装置与解码方法和装置
AU2008344084A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing a signal
US8103005B2 (en) * 2008-02-04 2012-01-24 Creative Technology Ltd Primary-ambient decomposition of stereo audio signals using a complex similarity index
KR101452722B1 (ko) 2008-02-19 2014-10-23 삼성전자주식회사 신호 부호화 및 복호화 방법 및 장치
EP2259253B1 (en) 2008-03-03 2017-11-15 LG Electronics Inc. Method and apparatus for processing audio signal
KR101253278B1 (ko) * 2008-03-04 2013-04-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 복수의 입력 데이터 스트림을 믹싱하는 장치 및 방법
US20090319263A1 (en) * 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
KR101428487B1 (ko) * 2008-07-11 2014-08-08 삼성전자주식회사 멀티 채널 부호화 및 복호화 방법 및 장치
CN103000178B (zh) * 2008-07-11 2015-04-08 弗劳恩霍夫应用研究促进协会 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码
KR101756834B1 (ko) 2008-07-14 2017-07-12 삼성전자주식회사 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치
PT2146344T (pt) * 2008-07-17 2016-10-13 Fraunhofer Ges Forschung Esquema de codificação/descodificação de áudio com uma derivação comutável
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
KR101649376B1 (ko) * 2008-10-13 2016-08-31 한국전자통신연구원 Ｍｄｃｔ 기반 음성/오디오 통합 부호화기의 ｌｐｃ 잔차신호 부호화/복호화 장치
BRPI1009467B1 (pt) 2009-03-17 2020-08-18 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
US8392200B2 (en) 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
US8346547B1 (en) * 2009-05-18 2013-01-01 Marvell International Ltd. Encoder quantization architecture for advanced audio coding
WO2011042464A1 (en) * 2009-10-08 2011-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
JP5299327B2 (ja) * 2010-03-17 2013-09-25 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
MX2012011532A (es) * 2010-04-09 2012-11-16 Dolby Int Ab Codificacion a estereo para prediccion de complejos basados en mdct.
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
PL3779977T3 (pl) * 2010-04-13 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio do przetwarzania audio stereo z wykorzystaniem zmiennego kierunku predykcji
RU2610588C2 (ru) * 2012-11-07 2017-02-13 Долби Интернешнл Аб Вычисление отношения сигнал-шум конвертора с уменьшенной сложностью
CA3076775C (en) * 2013-01-08 2020-10-27 Dolby International Ab Model based prediction in a critically sampled filterbank
CA3211308A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Coding of audio scenes
FR3007563A1 (fr) * 2013-06-25 2014-12-26 France Telecom Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2174714C2 (ru) * 1998-05-12 2001-10-10 Научно-технический центр "Вычислительная техника" Способ выделения основного тона
WO2009141775A1 (en) * 2008-05-23 2009-11-26 Koninklijke Philips Electronics N.V. A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing

Also Published As

Publication number Publication date
CN102884570B (zh) 2015-06-17
JP2017062504A (ja) 2017-03-30
KR101586198B1 (ko) 2016-01-18
EP2556504B1 (en) 2018-12-26
JP2020181207A (ja) 2020-11-05
BR122019026130B1 (pt) 2021-01-05
EP4376000A2 (en) 2024-05-29
BR122019026166B1 (pt) 2021-01-05
IL280464B (en) 2021-09-30
IL257792A (en) 2018-04-30
PL2556504T3 (pl) 2019-05-31
US20240144940A1 (en) 2024-05-02
CA2988745C (en) 2021-02-02
KR20180011340A (ko) 2018-01-31
CA3040779A1 (en) 2011-10-13
US20180137868A1 (en) 2018-05-17
JP5813094B2 (ja) 2015-11-17
US10475460B2 (en) 2019-11-12
KR20130007647A (ko) 2013-01-18
RU2012147499A (ru) 2014-05-20
JP2023017004A (ja) 2023-02-02
JP2019008314A (ja) 2019-01-17
CN104851426B (zh) 2018-10-23
IL295039B2 (en) 2023-11-01
JP7451659B2 (ja) 2024-03-18
KR20140042927A (ko) 2014-04-07
MX2012011528A (es) 2012-11-16
KR20150113208A (ko) 2015-10-07
KR101698438B1 (ko) 2017-01-20
JP2018022162A (ja) 2018-02-08
IL253522B (en) 2019-03-31
JP2013525829A (ja) 2013-06-20
US10360920B2 (en) 2019-07-23
AU2011237882B2 (en) 2014-07-24
CA3110542A1 (en) 2011-10-13
JP2018022159A (ja) 2018-02-08
KR101698442B1 (ko) 2017-01-20
RU2020110142A (ru) 2021-09-14
ES2831357T3 (es) 2021-06-08
SG184167A1 (en) 2012-10-30
IL267420A (en) 2019-07-31
JP2019023761A (ja) 2019-02-14
ES2709755T3 (es) 2019-04-17
IL250687A0 (en) 2017-04-30
JP2016026317A (ja) 2016-02-12
JP2021119417A (ja) 2021-08-12
EP3582217A1 (en) 2019-12-18
US9761233B2 (en) 2017-09-12
US9111530B2 (en) 2015-08-18
IL222294A0 (en) 2012-12-31
EP2556503A1 (en) 2013-02-13
EP3739577B1 (en) 2022-11-23
IL269537B (en) 2020-08-31
JP6833962B2 (ja) 2021-02-24
IL245444A (en) 2017-08-31
WO2011124621A1 (en) 2011-10-13
US20190279648A1 (en) 2019-09-12
IL221911A (en) 2016-06-30
CA2793140C (en) 2016-05-31
CA3105050A1 (en) 2011-10-13
CN104851427B (zh) 2018-07-17
IL269537A (en) 2019-11-28
US20200395023A1 (en) 2020-12-17
MX2012011532A (es) 2012-11-16
DK2556504T3 (en) 2019-02-25
PL2556502T3 (pl) 2019-05-31
JP6437990B2 (ja) 2018-12-12
CN102884570A (zh) 2013-01-16
AU2011237877A1 (en) 2012-10-11
KR101823870B1 (ko) 2018-02-01
IL311483A (en) 2024-05-01
US10586545B2 (en) 2020-03-10
IL275616A (en) 2020-08-31
IL295039B1 (en) 2023-07-01
CN103119647B (zh) 2015-08-19
US11217259B2 (en) 2022-01-04
EP4116969B1 (en) 2024-04-17
IL280464A (en) 2021-03-01
CA3105050C (en) 2021-08-31
IL267420B (en) 2020-03-31
US9892736B2 (en) 2018-02-13
KR102207086B1 (ko) 2021-01-25
JP5814340B2 (ja) 2015-11-17
DK2556502T3 (en) 2019-03-04
KR102011793B1 (ko) 2019-08-19
ES2935911T3 (es) 2023-03-13
CA2793317A1 (en) 2011-10-13
RU2015121322A3 (ru) 2019-01-17
JP6062467B2 (ja) 2017-01-18
KR20130007646A (ko) 2013-01-18
JP6961854B2 (ja) 2021-11-05
IL257792B (en) 2019-10-31
JP6633707B2 (ja) 2020-01-22
KR20190095545A (ko) 2019-08-14
KR20140042928A (ko) 2014-04-07
CA3125378C (en) 2023-02-07
IL245338A (en) 2017-10-31
IL280247A (en) 2021-03-01
US20190287541A1 (en) 2019-09-19
IL250687B (en) 2018-04-30
EP2556502A1 (en) 2013-02-13
IL221962A (en) 2016-06-30
RU2015121322A (ru) 2018-12-20
US20130030817A1 (en) 2013-01-31
JP6405010B2 (ja) 2018-10-17
MX2012011530A (es) 2012-11-16
CA2793140A1 (en) 2011-10-13
KR101944328B1 (ko) 2019-01-31
RU2683175C2 (ru) 2019-03-26
CN104851427A (zh) 2015-08-19
CA3097372A1 (en) 2011-10-13
CN102947880B (zh) 2014-10-08
CA2793320C (en) 2016-07-12
IL303558B1 (en) 2024-04-01
CN103119647A (zh) 2013-05-22
BR112012025863A2 (pt) 2017-07-18
KR101698439B1 (ko) 2017-01-20
RU2012144366A (ru) 2014-04-27
US9159326B2 (en) 2015-10-13
JP2019179261A (ja) 2019-10-17
BR112012025868B1 (pt) 2021-09-28
JP6740496B2 (ja) 2020-08-12
JP6677846B2 (ja) 2020-04-08
EP2556502B1 (en) 2018-12-26
JP6633706B2 (ja) 2020-01-22
IL245338A0 (en) 2016-06-30
KR101437896B1 (ko) 2014-09-16
JP6197011B2 (ja) 2017-09-13
ES2982065T3 (es) 2024-10-14
IL275616B (en) 2021-04-29
RU2012143501A (ru) 2014-04-20
IL245444A0 (en) 2016-06-30
EP4120246A1 (en) 2023-01-18
IL295039A (en) 2022-09-01
US20130266145A1 (en) 2013-10-10
KR20130018854A (ko) 2013-02-25
CN105023578A (zh) 2015-11-04
JP6886069B2 (ja) 2021-06-16
EP3739577A1 (en) 2020-11-18
TR201901336T4 (tr) 2019-02-21
WO2011124616A1 (en) 2011-10-13
CA3125378A1 (en) 2011-10-13
RU2559899C2 (ru) 2015-08-20
KR20190085563A (ko) 2019-07-18
MY184661A (en) 2021-04-14
CA3076786A1 (en) 2011-10-13
CA3185301A1 (en) 2011-10-13
KR20210008945A (ko) 2021-01-25
AU2011237869A1 (en) 2012-10-11
US20170365261A1 (en) 2017-12-21
BR112012025878B1 (pt) 2021-01-05
CA2992917A1 (en) 2011-10-13
MY164393A (en) 2017-12-15
JP2016026318A (ja) 2016-02-12
CA2924315C (en) 2018-03-13
CA3045686A1 (en) 2011-10-13
BR112012025868A2 (pt) 2017-08-29
US10347260B2 (en) 2019-07-09
KR20170010079A (ko) 2017-01-25
EP3474277A1 (en) 2019-04-24
JP2019012279A (ja) 2019-01-24
JP6833961B2 (ja) 2021-02-24
CA2921437C (en) 2019-06-04
BR112012025878A2 (pt) 2016-06-28
CA3110542C (en) 2023-02-07
SG10202101745XA (en) 2021-04-29
US20160329057A1 (en) 2016-11-10
ES2936278T3 (es) 2023-03-15
EP4120247A1 (en) 2023-01-18
IL280247B (en) 2021-10-31
EP4376000A3 (en) 2024-07-24
CN102947880A (zh) 2013-02-27
JP2024056001A (ja) 2024-04-19
CA2793317C (en) 2018-01-23
JP2013525830A (ja) 2013-06-20
IL272689A (en) 2020-04-30
JP2020064311A (ja) 2020-04-23
US20190122675A1 (en) 2019-04-25
US20220180876A1 (en) 2022-06-09
EP3474277B1 (en) 2020-07-15
JP2022001963A (ja) 2022-01-06
EP2556504A1 (en) 2013-02-13
JP2013524281A (ja) 2013-06-17
US10475459B2 (en) 2019-11-12
BR122019013299B1 (pt) 2021-01-05
JP6203799B2 (ja) 2017-09-27
EP3474278A1 (en) 2019-04-24
KR20230074851A (ko) 2023-05-31
JP5814341B2 (ja) 2015-11-17
US11264038B2 (en) 2022-03-01
US10283127B2 (en) 2019-05-07
EP3799043A1 (en) 2021-03-31
EP4116969C0 (en) 2024-04-17
EP3799043B8 (en) 2022-12-14
ES2763367T3 (es) 2020-05-28
KR102168140B1 (ko) 2020-10-20
US9378745B2 (en) 2016-06-28
EP3799043B1 (en) 2022-11-09
IL303558B2 (en) 2024-08-01
RU2554844C2 (ru) 2015-06-27
CA2988745A1 (en) 2011-10-13
US20150380001A1 (en) 2015-12-31
EP3582217B1 (en) 2022-11-09
EP2556503B1 (en) 2019-11-27
ES2810824T3 (es) 2021-03-09
BR112012025863B1 (pt) 2020-11-17
CA3040779C (en) 2020-12-08
US10734002B2 (en) 2020-08-04
CA2924315A1 (en) 2011-10-13
US20200035251A1 (en) 2020-01-30
KR101437899B1 (ko) 2014-10-30
US11810582B2 (en) 2023-11-07
CA2921437A1 (en) 2011-10-13
TR201901375T4 (tr) 2019-02-21
EP4120247B1 (en) 2024-09-25
US20130028426A1 (en) 2013-01-31
CA3076786C (en) 2021-04-13
IL253972B (en) 2019-03-31
CA3097372C (en) 2021-11-30
IL286761A (en) 2021-10-31
CA2992917C (en) 2020-05-26
EP3474278B1 (en) 2020-10-14
JP7193603B2 (ja) 2022-12-20
JP6817486B2 (ja) 2021-01-20
CA2793320A1 (en) 2011-10-13
JP2021047463A (ja) 2021-03-25
CN104851426A (zh) 2015-08-19
EP4116969A1 (en) 2023-01-11
KR20210122897A (ko) 2021-10-12
JP6665260B2 (ja) 2020-03-13
US20180137866A1 (en) 2018-05-17
IL303558A (en) 2023-08-01
SG10202104412WA (en) 2021-06-29
RU2717387C1 (ru) 2020-03-23
US10276174B2 (en) 2019-04-30
SG10201502597QA (en) 2015-05-28
JP2020091503A (ja) 2020-06-11
AU2011237882A1 (en) 2012-10-11
IL264905B (en) 2019-09-26
IL264774B (en) 2021-02-28
IL286761B (en) 2022-09-01
IL253972A0 (en) 2017-10-31
IL272689B (en) 2021-02-28
RU2698154C1 (ru) 2019-08-22
AU2011237877B2 (en) 2014-08-07
JP2020064310A (ja) 2020-04-23
WO2011124608A1 (en) 2011-10-13
IL253522A0 (en) 2017-09-28
IL222294A (en) 2017-03-30
JP6405008B2 (ja) 2018-10-17
US10553226B2 (en) 2020-02-04
KR20190011330A (ko) 2019-02-01
US20190311725A1 (en) 2019-10-10
JP2015099403A (ja) 2015-05-28
US10283126B2 (en) 2019-05-07
CN105023578B (zh) 2018-10-19
KR102537360B1 (ko) 2023-05-26
ES2712073T3 (es) 2019-05-09
CA3045686C (en) 2020-07-14
AU2011237869B2 (en) 2014-01-16
US20190287539A1 (en) 2019-09-19
ES2935962T3 (es) 2023-03-13
US20200258531A1 (en) 2020-08-13
US20180137867A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
RU2717387C1 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
RU2798024C1 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
RU2803142C1 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
RU2799737C2 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
AU2023274125B2 (en) Audio Upmixer Operable in Prediction or Non-Prediction Mode
AU2019240610B2 (en) Audio Upmixer Operable in Prediction or Non-Prediction Mode