RU2682927C2 - Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала - Google Patents
Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала Download PDFInfo
- Publication number
- RU2682927C2 RU2682927C2 RU2018112250A RU2018112250A RU2682927C2 RU 2682927 C2 RU2682927 C2 RU 2682927C2 RU 2018112250 A RU2018112250 A RU 2018112250A RU 2018112250 A RU2018112250 A RU 2018112250A RU 2682927 C2 RU2682927 C2 RU 2682927C2
- Authority
- RU
- Russia
- Prior art keywords
- isf
- gap
- audio
- parameters
- signal processing
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 title claims abstract description 67
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims description 92
- 238000001514 detection method Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 56
- 230000000873 masking effect Effects 0.000 description 54
- 239000013598 vector Substances 0.000 description 39
- 238000010586 diagram Methods 0.000 description 24
- 230000003044 adaptive effect Effects 0.000 description 23
- 230000005284 excitation Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 14
- 238000013139 quantization Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001934 delay Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
- G10L19/135—Vector sum excited linear prediction [VSELP]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
- H04L1/0085—Formatting with cells
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
- G10L19/07—Line spectrum pair [LSP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0011—Long term prediction filters, i.e. pitch estimation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Stereo-Broadcasting Methods (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Circuits Of Receivers In General (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
Изобретение относится к обработке аудиосигналов. Технический результат – уменьшение разрыва аудио при восстановлении пакета в начальной точке аудио и повышение субъективного качества аудио. Устройство обработки аудиосигнала содержит обнаружитель разрыва, сконфигурированный для определения появления разрыва исходя из внезапного повышения амплитуды декодированного аудио, полученного путем декодирования первого пакета аудио, который принят корректно после появления потери пакета, и корректор разрыва для корректирования разрыва декодированного аудио. 2 н. и 1 з.п. ф-лы, 32 ил.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к устройству обработки аудиосигнала, способу обработки аудиосигнала и программе обработки аудиосигнала, предназначенным для обработки аудиосигнала.
УРОВЕНЬ ТЕХНИКИ
[0002] В передаче кодированного и пакетизированного аудиосигнала через сеть Интернет с помощью телефонии по IP-протоколу (протокол Internet), пакет может быть потерян из-за перегрузки в сети или подобного (это явление будет именоваться в дальнейшем "потеря пакетов"). При появлении потери пакетов теряются необходимые коды аудио, приводя к неудаче в декодировании аудио, тем самым вызывая разрыв (непрерывности) аудио. Технологией для предотвращения разрыва аудио, обусловленного потерей пакетов, является технология маскирования потери пакетов аудио. Технология маскирования потери пакетов аудио разработана, чтобы обнаруживать потерю пакетов и генерировать соответствующий потерянному пакету псевдо аудиосигнал (который будет именоваться в дальнейшем "сигнал маскирования").
[0003] Если используемой методикой кодирования аудио является методика выполнения кодирования аудио с обновлением при этом внутренних состояний кодера/декодера, параметры кодирования, которые подлежат приему изначально, не получают, и таким образом методика маскирования потери пакета аудио также включает в себя выполнение обновления внутренних состояний декодера при помощи искусственно формируемых параметров.
[0004] Кодирование по способу CELP (линейное предсказание с кодовым возбуждением) широко используется в качестве методики для выполнения кодирования аудио с обновлением при этом внутреннего состояния кодера/декодера. В кодировании CELP принята авторегрессионная модель, и сигнал e(n) возбуждения фильтруют полюсным синтезирующим фильтром a(i), чтобы синтезировать аудиосигнал. То есть, аудиосигнал s(n) синтезируют согласно уравнению ниже. В уравнении ниже a(i) представляет коэффициенты линейного предсказания (коэффициенты LP (линейное предсказание)), и степень, подлежащая использованию, имеет значение, такое как P=16.
[Математическое уравнение 1]
[0005] В кодировании по CELP сохраняемые внутренние состояния включают в себя параметры ISF (спектральная частота иммитанса) в качестве математически эквивалентного представления коэффициентов линейного предсказания и прошлый сигнал возбуждения. При появлении потери пакета параметры формируются искусственно, и возникает отклонение от исходных параметров, которые получили бы путем декодирования. Несогласованность (нестабильность) синтезированного аудио, обусловленная отклонением параметров, воспринимается слушателем как шум, каковое значительно ухудшает субъективное качество.
[0006] Параграфы ниже представят конфигурацию и работу декодера аудио для выполнения маскирования потери пакетов аудио, используя пример, где кодирование по CELP используется в качестве способа кодирования аудио.
[0007] Схема конфигурации и работа декодера аудио показаны на Фиг.1 и Фиг.2. Как показано на Фиг.1, декодер 1 аудио имеет в составе обнаружитель 11 потери пакета, декодер 12 кода аудио, генератор 13 сигнала маскирования и буфер 14 внутренних состояний.
[0008] Обнаружитель 11 потери пакета, при корректном приеме пакета аудио, посылает управляющий сигнал и коды аудио, включенные в пакет аудио, на декодер 12 кода аудио (нормальный прием: ДА на этапе S100 на Фиг.2). После этого, декодер 12 кода аудио выполняет декодирование кодов аудио и обновление внутренних состояний, как описано ниже (этапы S200 и S400 на Фиг.2). С другой стороны, обнаружитель 11 потери пакета при неудаче корректного приема пакета аудио посылает управляющий сигнал на генератор 13 сигнала маскирования (потеря пакета: НЕТ на этапе S100 на Фиг.2). После этого, генератор 13 сигнала маскирования генерирует сигнал маскирования и обновляет внутренние состояния, как описано ниже (этапы S300 и S400 на Фиг.2). Процессы этапов S100-S400 на Фиг.2 повторяют до конца связи (или пока этап S500 не приведет к определению ДА).
[0009] Коды аудио включают в себя, по меньшей мере, кодированные параметры ISF
[Математическое уравнение 2]
кодированные задержки Tj p основного тона для первого - четвертого подкадров, кодированные коэффициенты усиления gj p адаптивной кодовой книги для первого - четвертого подкадров, кодированные коэффициенты усиления gj c фиксированной кодовой книги для первого - четвертого подкадров и кодированные векторы cj(n) фиксированной кодовой книги для первого - четвертого подкадров. Параметры ISF могут быть заменены параметрами LSF (частота спектральных линий), которые являются математически эквивалентным их представлением. Хотя обсуждение ниже использует параметры ISF, такое же обсуждение также может быть справедливым для случая использования параметров LSF.
[0010] Буфер внутренних состояний включает в себя прошлые параметры ISF
[Математическое уравнение 3]
и, в качестве эквивалентного представления
[Математическое уравнение 4]
параметры ISP (спектральная пара иммитанса)
[Математическое уравнение 5]
параметры разности ISF
[Математическое уравнение 6]
прошлые задержки Tj p основного тона, прошлые коэффициенты усиления gj p адаптивной кодовой книги, прошлые коэффициенты усиления gj c фиксированной кодовой книги и адаптивную кодовую книгу u(n). В зависимости от принципа проектного решения определено, сколько подкадров прошлых параметров должно быть включено. В настоящем описании полагают, что один кадр включает в себя четыре подкадра, но может быть принято другое значение в зависимости от принципа проектного решения.
[0011] <Случай нормального приема>
Фиг.3 показывает примерную функциональную конфигурацию декодера 12 кода аудио. Как показано на этой Фиг.3, декодер 12 кода аудио имеет в составе декодер 120 ISF, процессор 121 обеспечения стабильности, вычислитель 122 коэффициентов LP, вычислитель 123 адаптивной кодовой книги, декодер 124 фиксированной кодовой книги, декодер 125 коэффициентов усиления, синтезатор 126 вектора возбуждения, постфильтр 127 и синтезирующий фильтр 128. Следует отметить, однако, что постфильтр 127 не является обязательным составляющим элементом. На Фиг.3 для удобства пояснения буфер 14 внутренних состояний обозначен двухточечной линией внутри декодера 12 кода аудио. Однако буфер 14 внутренних состояний не включается в состав декодера 12 кода аудио, а в действительности является непосредственно буфером 14 внутренних состояний, показанным на Фиг.1. То же является справедливым в схемах конфигурации декодера кода аудио в дальнейшем.
[0012] Схема конфигурации вычислителя 122 коэффициентов LP показана на Фиг.4, и последовательность обработки для вычисления коэффициентов LP из кодированных параметров ISF показана на Фиг.5. Как показано на Фиг.4, вычислитель 122 коэффициентов LP имеет в составе преобразователь 122A ISF-ISP, интерполятор 122B ISP и преобразователь 122C ISP-LPC.
[0013] Сначала описываются функциональная конфигурация и ее работа, связанная с процессом вычисления коэффициентов LP из кодированных параметров ISF (Фиг.5).
[0014] Декодер 120 ISF декодирует кодированные параметры ISF, чтобы получить параметры разности ISF
[Математическое уравнение 7]
и вычисляет параметры ISF
[Математическое уравнение 8]
в соответствии со следующим уравнением (этап S1 на Фиг.5). Здесь, meani представляет векторы средних значений, полученные предварительно путем обучения или подобного.
[Математическое уравнение 9]
[0015] Здесь описывается пример использования предсказания на основе MA (скользящего среднего) для вычисления параметров ISF, но также является возможным принять конфигурацию, чтобы выполнять вычисление параметров ISF, используя предсказание на основе AR (авторегрессионной модели), как описано ниже. Здесь, параметры ISF непосредственно предшествующего кадра обозначены через
[Математическое уравнение 10]
и весовые коэффициенты предсказания AR - через ρi.
[Математическое уравнение 11]
[0016] Процессор 121 обеспечения стабильности выполняет обработку согласно уравнению ниже с тем, чтобы установить расстояние не менее чем 50 Гц между элементами параметров ISF для того, чтобы гарантировать стабильность фильтра (этап S2 на Фиг.5). Параметры ISF указывают линейчатый спектр, представляющий форму огибающей спектра звукового сигнала, и если расстояние между ними уменьшается, то пики спектра становятся больше, вызывая резонанс. По этой причине становится необходимым процесс, чтобы гарантировать стабильность для предотвращения, что коэффициентов усиления на пиках спектра становятся слишком большими. Здесь, min_dist представляет минимальное расстояние ISF, и isf_min представляет минимальное значение ISF, необходимое для обеспечения безопасности расстояния min_dist. Значение isf_min последовательно обновляют путем прибавления расстояния min_dist к значению соседнего ISF. С другой стороны, isf_max представляет максимальное значение ISF, необходимое для обеспечения безопасности расстояния min_dist. Значение isf_max последовательно обновляют путем вычитания расстояния min_dist из значения соседнего ISF.
[Математическое уравнение 12]
[0017] Преобразователь 122A ISF-ISP в вычислителе 122 коэффициентов LP преобразовывает
[Математическое уравнение 13]
[Математическое уравнение 14]
в соответствии со следующим уравнением (этап S3 на Фиг.5). Здесь, C является константой, определенной предварительно.
[Математическое уравнение 15]
[0018] Интерполятор 122B ISP вычисляет параметры ISP для соответственных подкадров из прошлых параметров ISP
[Математическое уравнение 16]
включенных в буфер 14 внутренних состояний, и предшествующих параметров ISP
[Математическое уравнение 17]
в соответствии с уравнением ниже (этап S4 на Фиг.5). Могут использоваться другие коэффициенты для интерполяции.
[Математическое уравнение 18]
[0019] Преобразователь 122C ISP-LPC преобразовывает параметры ISP для соответственных подкадров в коэффициенты LP
[Математическое уравнение 19]
(этап S5 на Фиг.5). Конкретная процедура преобразования, подлежащая использованию, может быть процедурой обработки, описанной в Непатентной литературе 1. Число подкадров, включенных в упреждающий сигнал, предполагается равным 4 при этом, но число подкадров может отличаться в зависимости от принципа проектного решения.
[0020] Затем описываются другие конфигурации и операции в декодере 12 кода аудио.
[0021] Вычислитель 123 адаптивной кодовой книги декодирует кодированные задержки основного тона, чтобы вычислить задержки Tj P основного тона для первого - четвертого подкадров. Затем, вычислитель 123 адаптивной кодовой книги использует адаптивную кодовую книгу u(n), чтобы вычислить векторы адаптивной кодовой книги для соответственных подкадров в соответствии с уравнением ниже. Векторы адаптивной кодовой книги вычисляют путем интерполирования адаптивной кодовой книги u(n) фильтром Int(i) с конечной импульсной характеристикой (КИХ-фильтром). Здесь длина адаптивной кодовой книги обозначена через Nadapt. Фильтр Int(i), используемый для интерполяции, является КИХ-фильтром предварительно определенной длины 2l+1, и L' представляет объем выборки подкадров. При использовании интерполяционного фильтра Int(i), задержки основного тона можно использовать с точностью десятичных разрядов. Относительно подробностей интерполяционного фильтра можно обратиться к способу, описанному в Непатентной литературе 1.
[Математическое уравнение 20]
[0022] Декодер 124 фиксированной кодовой книги декодирует кодированные векторы фиксированной кодовой книги, чтобы извлечь векторы фиксированной кодовой книги cj(n) для первого - четвертого подкадров.
[0023] Декодер 125 коэффициентов усиления декодирует кодированные коэффициенты усиления адаптивной кодовой книги и кодированные коэффициенты усиления фиксированной кодовой книги, чтобы получить коэффициенты усиления адаптивной кодовой книги и коэффициенты усиления фиксированной кодовой книги для первого - четвертого подкадров. Например, декодирование коэффициентов усиления адаптивной кодовой книги и коэффициентов усиления фиксированной кодовой книги может выполняться посредством, например, приведенного ниже способа, описанного в Непатентной литературе 1. Поскольку приведенный ниже способ, описанный в Непатентной литературе 1, не использует межкадровое предсказание, как используется в кодировании коэффициентов усиления в адаптивном многоскоростном широкополосном кодеке (AMR-WB), это может повысить стойкость к потере пакетов.
[0024] Например, декодер 125 коэффициентов усиления извлекает коэффициенты усиления фиксированной кодовой книги в соответствии с последовательностью обработки ниже.
[0025] Во-первых, декодер 125 коэффициентов усиления вычисляет энергию вектора фиксированной кодовой книги. Здесь, длина подкадра задается как Ns.
[Математическое уравнение 21]
[0026] Затем, декодер 125 коэффициентов усиления декодирует параметр векторно-квантованого коэффициента усиления, чтобы извлечь коэффициент усиления адаптивной кодовой книги
[Математическое уравнение 22]
и квантованный коэффициент усиления фиксированной кодовой книги
[Математическое уравнение 23]
Он затем вычисляет коэффициент предсказания усиления фиксированной кодовой книги, как описано ниже, из квантованного коэффициента усиления фиксированной кодовой книги и вышеуказанной энергии вектора фиксированной кодовой книги.
[Математическое уравнение 24]
[0027] В заключение, декодер 125 коэффициентов усиления декодирует коэффициент предсказания
[Математическое уравнение 25]
и умножает его на коэффициент предсказания усиления, чтобы получить коэффициенты усиления фиксированной кодовой книги.
[Математическое уравнение 26]
[0028] Синтезатор 126 вектора возбуждения умножает вектор адаптивной кодовой книги на коэффициент усиления адаптивной кодовой книги и умножает вектор фиксированной кодовой книги на коэффициент усиления фиксированной кодовой книги, и вычисляет их сумму, чтобы получить сигнал возбуждения, как выражено следующим уравнением.
[Математическое уравнение 27]
[0029] Постфильтр 127 подвергает векторы сигналов возбуждения, например, операциям постобработки, таким как процессы повышения основного тона, повышения шума и повышения низкой частоты. Повышение основного тона, повышение шума и повышение низкой частоты могут осуществляться с использованием способов, описанных в Непатентной литературе 1.
[0030] Синтезирующий фильтр 128 синтезирует декодированный сигнал с сигналом возбуждения в качестве ведущего источника звука путем обратной фильтрации с линейным предсказанием.
[Математическое уравнение 28]
[0031] Если в кодере вносятся предыскажения, выполняют компенсацию предыскажений.
[Математическое уравнение 29]
[0032] С другой стороны, если предыскажения не вводятся в кодере, компенсацию предыскажений не выполняют.
[0033] Параграфы ниже будут иллюстрировать работу относительно обновления внутреннего состояния.
[0034] Чтобы интерполировать параметр по появлению потери пакета, вычислитель 122 коэффициентов LP обновляет внутренние состояния параметров ISF векторами, вычисленными согласно следующему уравнению.
[Математическое уравнение 30]
[0035] Здесь, ωi (-j) представляет параметры ISF j предшествующих кадров, которые сохранены в буфере. ωi C представляет параметры ISF в интервалах речи, полученные предварительно путем обучения или подобного. β является константой и может быть значением, например, 0,75, которым значение не обязательно ограничивается. ωi C и β могут быть изменяющимися по индексу для выражения характеристики целевого кадра кодирования, например, как в маскировании ISF, описанном в Непатентной литературе 1.
[0036] Кроме того, вычислитель 122 коэффициентов LP также обновляет внутренние состояния параметров разности ISF в соответствии со следующим уравнением.
[Математическое уравнение 31]
[0037] Синтезатор 126 вектора возбуждения обновляет внутренние состояния векторами сигнала возбуждения в соответствии с уравнением ниже.
[Математическое уравнение 32]
[0038] Кроме того, синтезатор 126 вектора возбуждения обновляет внутренние состояния параметров усиления согласно следующему уравнению.
[Математическое уравнение 33]
[0039] Вычислитель 123 адаптивной кодовой книги обновляет внутренние состояния параметров задержек основного тона согласно следующему уравнению.
[Математическое уравнение 34]
Область значений j задается как 
, но могут выбираться другие значения в качестве области значений j в зависимости от принципов проектного решения.
[0040] <Случай потери пакета>
Фиг.6 изображает примерную функциональную конфигурацию генератора 13 сигнала маскирования. Как показано на этой Фиг.6, генератор 13 сигнала маскирования имеет в составе интерполятор 130 коэффициентов LP, интерполятор 131 задержки основного тона, интерполятор 132 коэффициентов усиления, генератор 133 шумового сигнала, постфильтр 134, синтезирующий фильтр 135, вычислитель 136 адаптивной кодовой книги и синтезатор 137 вектора возбуждения. Следует отметить, однако, что постфильтр 134 не является обязательным составляющим элементом.
[0041] Интерполятор 130 коэффициентов LP вычисляет
[Математическое уравнение 35]
согласно следующему уравнению. В этом отношении ωi (-j) представляет параметры ISF j предшествующих кадров, которые сохранены в буфере.
[Математическое уравнение 36]
В этом уравнении,
[Математическое уравнение 37]
представляет внутренние состояния параметров ISF, вычисленных при нормальном приеме пакета. α также является константой и может иметь значение, например, 0,9, каковым значение обязательно не ограничивается. α может быть изменяющимся по индексу для выражения характеристики целевого кадра кодирования, например, как в маскировании ISF, описанном в Непатентной литературе 1.
[0042] Процедура получения коэффициентов LP из параметров ISF является такой же, как выполняемая в случае нормального приема пакета.
[0043] Интерполятор 131 задержки основного тона использует параметры внутреннего состояния о задержках основного тона
[Математическое уравнение 38]
чтобы вычислять предсказанные значения задержки основного тона
[Математическое уравнение 39]
Конкретная процедура обработки, подлежащая использованию, может быть способом, раскрытым в Непатентной литературе 1.
[0044] Чтобы интерполировать коэффициенты усиления фиксированной кодовой книги, интерполятор 132 коэффициентов усиления может использовать способ согласно уравнению ниже, как описано в Непатентной литературе 1.
[Математическое уравнение 40]
[0045] Генератор 133 шумового сигнала генерирует белый шум для векторов такой же длины, как векторы фиксированной кодовой книги, и использует результирующий шум для векторов фиксированной кодовой книги.
[0046] Действия постфильтра 134, синтезирующего фильтра 135, вычислителя 136 адаптивной кодовой книги и синтезатора 137 вектора возбуждения являются одинаковыми с таковыми в вышеуказанном случае нормального приема пакета.
[0047] Обновление внутреннего состояния является таким же, как выполняемое в случае нормального приема пакета, кроме обновления параметров разности ISF. Обновление параметров ISF выполняют в соответствии со следующим уравнением посредством интерполятора 130 коэффициентов LP.
[Математическое уравнение 41]
Перечень ссылок
Патентная литература
[0048] Патентная литература 1: Международная публикация WO 2002/035520
Патентная литература 2: Международная публикация WO 2008/108080
Непатентная литература
[0049] Непатентная литература 1: Рекомендации G.718 Международного союза электросвязи - сектора телекоммуникаций (ITU-T), июнь 2008
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Техническая задача изобретения
[0050] Как описано выше, поскольку кодирование по CELP предусматривает внутренние состояния, ухудшение качества звука происходит из-за отклонения значений между параметрами, получаемыми интерполяциями, реализуемыми при потере пакетов, и параметрами, которые использовались бы для декодирования. В частности, относительно параметров ISF, выполняется внутрикадровое/межкадровое кодирование с предсказанием, и таким образом имеется проблема, что влияние потери пакета продолжается даже после восстановления после потери пакета.
[0051] Более конкретно, проблему внезапного повышения энергии идентифицируют в первом кадре после восстановления после потери пакета, происходящей вблизи начальной порции аудио. Это обусловлено следующей причиной: то есть, в начальной порции аудио, где энергия сигнала возбуждения становится высокой, импульсная характеристика для коэффициентов LP, вычисленных из коэффициентов ISF, полученных путем процесса интерполяции при потере пакета, имеет более высокое усиление, чем таковое, которое первоначально ожидалось для декодера. Это воспринимается, согласно стандарту субъективного качества, как неприятный разрыв непрерывности аудио.
[0052] Способ, описанный в Патентной литературе 1, формирует интерполированные коэффициенты ISF для потерянного кадра. Однако поскольку параметры ISF формируются посредством процесса нормального декодирования для первого кадра после восстановления после потери, это не устраняет внезапное повышение энергии.
[0053] С другой стороны, способ, описанный в Патентной литературе 2, передает параметр регулировки усиления (энергию нормированной разности предсказания), полученный на стороне кодирования, и использует его для регулировки энергии на стороне декодирования, посредством этого управляя энергией сигнала возбуждения для кадра потерянного пакета и давая возможность предотвращения внезапного повышения энергии.
[0054] Фиг.7 изображает примерную функциональную конфигурацию декодера 1X аудио, реализованного по технологии Патентной литературы 2, и Фиг.8 изображает примерную функциональную конфигурацию генератора 13X сигнала маскирования. В Патентной литературе 2 пакет аудио включает в себя вспомогательную информацию, по меньшей мере, энергию нормированной разности предсказания в дополнение к параметрам, описанным в общепринятом способе.
[0055] Декодер 15 энергии нормированной разности предсказания, обеспеченный в генераторе 1X аудиосигнала, декодирует вспомогательную информацию энергии нормированной разности предсказания из принятого пакета аудио, чтобы вычислить опорную энергию нормированной разности предсказания, и выводит ее на генератор 13X сигнала маскирования.
[0056] Поскольку составляющие элементы генератора 13X сигнала маскирования, отличные от блока 138 регулировки нормированной разности предсказания, являются одинаковыми с таковыми в вышеуказанной общепринятой технологии, только блок 138 регулировки нормированной разности предсказания будет описан ниже.
[0057] Блок 138 регулировки нормированной разности предсказания вычисляет энергию нормированной разности предсказания из коэффициентов LP, выводимых интерполятором 130 коэффициентов LP. Затем, блок 138 регулировки нормированной разности предсказания вычисляет коэффициент регулировки усиления синтезирующего фильтра, используя энергию нормированной разности предсказания, и опорную энергию разности предсказания. В заключение, блок 138 регулировки нормированной разности предсказания умножает сигнал возбуждения на коэффициент регулировки усиления синтезирующего фильтра и выводит результат на синтезирующий фильтр 135.
[0058] Вышеописанная методика по Патентной литературе 2 может управлять энергией сигнала маскирования по появлению потери пакета таким же образом, как выполняемый в нормальном приеме. Однако трудно обеспечить битовую скорость, необходимую для передачи вышеупомянутого параметра регулировки усиления в процессе кодирования аудио с низкой битовой скоростью. Кроме того, поскольку это является обработкой в генераторе сигнала маскирования, трудно рассматривать внезапное изменение энергии, вызванное несогласованностью параметров ISF в кадре восстановления.
[0059] Задача настоящего изобретения состоит, следовательно, в уменьшении разрыва аудио, который может происходить при восстановлении после потери пакета в начальной точке аудио, и посредством этого - в повышении субъективного качества.
Решение технической задачи изобретения
[0060] Устройство обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения содержит: обнаружитель разрыва, сконфигурированный, чтобы определять появление разрыва, происходящего с внезапным повышением амплитуды декодированного аудио, полученного путем декодирования первого пакета аудио, который принят корректно после появления потери пакета; и корректор разрыва, сконфигурированный, чтобы корректировать разрыв декодированного аудио.
[0061] Обнаружитель разрыва может определять появление разрыва декодированного аудио с помощью энергии сигнала возбуждения.
[0062] Обнаружитель разрыва может обнаруживать появление разрыва декодированного аудио с помощью квантованных коэффициентов усиления кодовой книги, используемых для вычисления сигнала возбуждения.
[0063] Устройство обработки аудиосигнала может дополнительно содержать: декодер вспомогательной информации, сконфигурированный для декодирования переданной от кодера вспомогательной информации для определения появления разрыва, и обнаружитель разрыва может определять появление разрыва декодированного аудио, используя декодированную вспомогательную информацию, и выводить в виде кода вспомогательной информации посредством декодера вспомогательной информации.
[0064] Корректор разрыва может корректировать параметры ISF или параметры LSF (именуемые в дальнейшем "параметры ISF/LSF") согласно результату определения появления разрыва.
[0065] Более конкретно, корректор разрыва может увеличивать расстояние между элементами параметров ISF/LSF, задаваемое для обеспечения стабильности синтезирующего фильтра, согласно результату определения появления разрыва.
[0066] В этот момент корректор разрыва может увеличить расстояние между элементами параметров ISF/LSF, задаваемое для обеспечения стабильности синтезирующего фильтра, чтобы сделать его большим, чем обычное расстояние, задаваемое для обеспечения стабильности.
[0067] Для расстояния между элементами параметров ISF/LSF, задаваемого для обеспечения стабильности синтезирующего фильтра, корректор разрыва может использовать расстояние, которое получают посредством равного деления параметров ISF/LSF на таковые предварительно определенной длины.
[0068] Кроме того, корректор разрыва может заменить часть или все из параметров ISF/LSF предварительно определенными векторами.
[0069] Устройство обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения содержит: квантователь ISF/LSF, сконфигурированный для квантования параметров ISF/LSF; блок маскирования ISF/LSF, сконфигурированный, чтобы формировать маскирующие параметры ISF/LSF, которые являются информацией маскирования для параметров ISF/LSF; обнаружитель разрыва, сконфигурированный, чтобы определять появление разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета, используя расстояния между квантованными параметрами ISF/LSF, полученными в процессе квантования квантователем ISF/LSF, и маскирующими параметрами ISF/LSF, сформированными блоком маскирования ISF/LSF; и кодер вспомогательной информации, сконфигурированный для кодирования вспомогательной информации для определения появления разрыва.
[0070] Устройство обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения содержит: обнаружитель разрыва, сконфигурированный, чтобы определять появление разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета; кодер вспомогательной информации, сконфигурированный для кодирования вспомогательной информации для определения появления разрыва; и квантователь ISF/LSF, сконфигурированный для использования прошлых квантованных параметров разности ISF/LSF для квантования ISF/LSF в данном кадре, когда обнаружитель разрыва не определяет появление разрыва, и предотвращения использования прошлых квантованных параметров разности ISF/LSF для квантования ISF/LSF в данном кадре, когда обнаружитель разрыва определяет появление разрыва.
[0071] Устройство обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения содержит: декодер вспомогательной информации, сконфигурированный для декодирования и вывода вспомогательной информации для определения появления разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета; корректор разрыва, сконфигурированный, чтобы корректировать разрыв декодированного аудио; и декодер ISF/LSF, сконфигурированный, чтобы использовать прошлые квантованные параметры разности ISF/LSF для вычисления ISF/LSF в релевантном кадре, когда вспомогательная информация от декодера вспомогательной информации не указывает появление разрыва, и для предотвращения использования прошлых квантованных параметров разности ISF/LSF для вычисления ISF/LSF в релевантном кадре, когда вспомогательная информация от декодера вспомогательной информации указывает появление разрыва.
[0072] Устройство обработки аудиосигнала может принять конфигурацию, в которой устройство обработки аудиосигнала дополнительно содержит: определитель состояния приема, сконфигурированный, чтобы определять состояния приема пакетов для предварительно определенного числа прошлых кадров; корректор разрыва к тому же корректирует разрыв на основе результата определения состояний приема пакетов в дополнение к результату определения появления разрыва.
[0073] Теперь, устройство обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения может быть рассмотрено в качестве изобретения, связанного со способом обработки аудиосигнала, и в качестве изобретения, связанного с программой обработки аудиосигнала, и может быть описано, как изложено ниже.
[0074] Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является способом обработки аудиосигнала, подлежащим исполнению устройством обработки аудиосигнала, содержащим: этап определения появления разрыва декодированного аудио, имеющего место с внезапным повышением амплитуды декодированного аудио, полученного путем декодирования первого пакета аудио, который принят корректно после появления потери пакета; и этап корректирования разрыва декодированного аудио.
[0075] Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является способом обработки аудиосигнала, подлежащим исполнению устройством обработки аудиосигнала, содержащим: этап квантования параметров ISF/LSF; этап формирования маскирующих ISF/LSF параметров, которые являются информацией маскирования для параметров ISF/LSF; этап определения появления разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета, используя расстояния между квантованными параметрами ISF/LSF, полученными в процессе квантования квантователя ISF/LSF, и сформированными маскирующими параметрами ISF/LSF; и этап кодирования вспомогательной информации для определения появления разрыва.
[0076] Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является способом обработки аудиосигнала, подлежащим исполнению устройством обработки аудиосигнала, содержащим: этап определения появления разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета; этап кодирования вспомогательной информации для определения появления разрыва; и этап использования прошлых квантованных параметров разности ISF/LSF для квантования ISF/LSF в данном кадре, когда появление разрыва не определяют, и предотвращения использования прошлых квантованных параметров разности ISF/LSF для квантования ISF/LSF в релевантном кадре, когда определено появление разрыва.
[0077] Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является способом обработки аудиосигнала, подлежащим исполнению устройством обработки аудиосигнала, содержащим: этап декодирования и вывода вспомогательной информации для определения появления разрыва декодированного аудио, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета; этап корректирования разрыва декодированного аудио; и этап использования прошлых квантованных параметров разности ISF/LSF для вычисления ISF/LSF в данном кадре, когда вспомогательная информация не указывает появление разрыва, и предотвращения использования прошлых квантованных параметров разности ISF/LSF для вычисления ISF/LSF в данном кадре, когда вспомогательная информация указывает появление разрыва.
[0078] Программа обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является программой обработки аудиосигнала, которая программирует компьютер для работы в качестве: обнаружителя разрыва, выполненного с возможностью определять появление разрыва декодированного аудио, имеющего место с внезапным повышением амплитуды декодированного аудио, полученного путем декодирования первого пакета аудио, который принят корректно после появления потери пакета; и корректора разрыва, выполненного с возможностью корректировать разрыв декодированного аудио.
[0079] Программа обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является программой обработки аудиосигнала, которая программирует компьютер для работы в качестве: квантователя ISF/LSF, выполненного с возможностью квантовать параметры ISF/LSF; блока маскирования ISF/LSF, выполненного с возможностью формировать маскирующие параметры ISF/LSF, которые являются информацией маскирования для параметров ISF/LSF; обнаружителя разрыва, выполненного с возможностью определять появление разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета, используя расстояния между квантованными параметрами ISF/LSF, полученными в процессе квантования квантователем ISF/LSF, и маскирующими параметрами ISF/LSF, сформированными блоком маскирования ISF/LSF; и кодер вспомогательной информации, выполненный с возможностью кодировать вспомогательную информацию для определения появления разрыва.
[0080] Программа обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является программой обработки аудиосигнала, которая программирует компьютер для работы в качестве: обнаружителя разрыва, выполненного с возможностью определять появление разрыва, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета; кодера вспомогательной информации, выполненного с возможностью кодировать вспомогательную информацию для определения появления разрыва; и квантователя ISF/LSF, выполненного с возможностью использовать прошлые квантованные параметры разности ISF/LSF для квантования ISF/LSF в релевантном кадре, когда обнаружитель разрыва не определяет появление разрыва, и предотвращать использование прошлых квантованных параметров разности ISF/LSF для квантования ISF/LSF в релевантном кадре, когда обнаружитель разрыва определяет появление разрыва.
[0081] Программа обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения является программой обработки аудиосигнала, которая программирует компьютер для работы в качестве: декодера вспомогательной информации, выполненного с возможностью декодировать и выводить вспомогательную информацию для определения появления разрыва декодированного аудио, имеющего место в первом пакете аудио, который принят корректно после появления потери пакета; корректора разрыва, выполненного с возможностью корректировать разрыв декодированного аудио; и декодера ISF/LSF, выполненного с возможностью использовать прошлые квантованные параметры разности ISF/LSF для вычисления ISF/LSF в данном кадре, когда вспомогательная информация от декодера вспомогательной информации не указывает появление разрыва, и предотвращать использование прошлых квантованных параметров разности ISF/LSF для вычисления ISF/LSF в релевантном кадре, когда вспомогательная информация от декодера вспомогательной информации указывает появление разрыва.
Полезный эффект изобретения
[0082] Настоящее изобретение, как описано выше, может уменьшить разрыв аудио, возможно имеющий место после восстановления после потери пакета в начальной точке аудио, и таким образом повысить субъективное качество.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0083] Фиг.1 - схема конфигурации декодера аудио.
Фиг.2 - последовательность операций обработки в декодере аудио.
Фиг.3 - функциональная схема конфигурации декодера кода аудио.
Фиг.4 - функциональная схема конфигурации вычислителя коэффициентов LP.
Фиг.5 - последовательность обработки вычисления коэффициентов LP.
Фиг.6 - функциональная схема конфигурации генератора сигнала маскирования.
Фиг.7 - схема конфигурации декодера аудио по Патентной литературе 2.
Фиг.8 - функциональная схема конфигурации генератора сигнала маскирования по Патентной литературе 2.
Фиг.9 - функциональная схема конфигурации декодера кода аудио в первом варианте осуществления.
Фиг.10 - последовательность обработки в вычислителе коэффициентов LP в первом варианте осуществления.
Фиг.11 - функциональная схема конфигурации декодера кода аудио в первом варианте осуществления.
Фиг.12 - последовательность обработки для второго процессора обеспечения стабильности в примере 1 модификации первого варианта осуществления.
Фиг.13 - функциональная схема конфигурации декодера кода аудио во втором варианте осуществления.
Фиг.14 - функциональная схема конфигурации вычислителя коэффициентов LP во втором варианте осуществления.
Фиг.15 - последовательность обработки вычисления коэффициентов LP во втором варианте осуществления.
Фиг.16 - схема конфигурации кодера аудио в четвертом варианте осуществления.
Фиг.17 - схема конфигурации кодера аудио в четвертом варианте осуществления.
Фиг.18 - схема конфигурации анализатора/кодера LP в четвертом варианте осуществления.
Фиг.19 - последовательность обработки анализатора/кодера LP в четвертом варианте осуществления.
Фиг.20 - функциональная схема конфигурации декодера кода аудио в четвертом варианте осуществления.
Фиг.21 - последовательность обработки вычислителя коэффициентов LP в четвертом варианте осуществления.
Фиг.22 - схема конфигурации анализатора/кодера LP в пятом варианте осуществления.
Фиг.23 - последовательность обработки анализатора/кодера LP в пятом варианте осуществления.
Фиг.24 - функциональная схема конфигурации декодера кода аудио в четвертом варианте осуществления.
Фиг.25 - последовательность обработки в вычислителе коэффициентов LP в пятом варианте осуществления.
Фиг.26 - схема конфигурации декодера аудио в седьмом варианте осуществления.
Фиг.27 - последовательность обработки декодера аудио в седьмом варианте осуществления.
Фиг.28 - функциональная схема конфигурации декодера кода аудио в седьмом варианте осуществления.
Фиг.29 - последовательность обработки вычисления коэффициентов LP в седьмом варианте осуществления.
Фиг.30 - чертеж, показывающий пример состава аппаратных средств компьютера.
Фиг.31 - схема внешнего вида компьютера.
Фиг. 32(a),(b),(c) и (d) - чертежи, показывающие различные примеры программ обработки аудиосигнала.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0084] Предпочтительные варианты осуществления устройства обработки аудиосигнала, способа обработки аудиосигнала и программы обработки аудиосигнала согласно настоящему изобретению будут подробно описаны ниже с использованием чертежей. Одинаковые элементы будут обозначаться сходными ссылочными знаками в описании чертежей, чтобы избежать идентичных описаний.
[0085] [Первый вариант осуществления]
Устройство обработки аудиосигнала в первом варианте осуществления имеет такую же конфигурацию, как вышеупомянутый декодер 1 аудио, показанный на Фиг.1, и имеет элемент новизны в декодере кода аудио, и таким образом декодер кода аудио будет описан ниже.
[0086] Фиг.9 является схемой, изображающей функциональную конфигурацию декодера 12A кода аудио в первом варианте осуществления, и Фиг.10 изображает блок-схему процесса вычисления коэффициентов LP. Декодер 12A кода аудио, показанный на Фиг.9, сконфигурирован путем добавления обнаружителя 129 разрыва к вышеуказанной конфигурации по Фиг.3. Поскольку настоящий вариант осуществления отличается от общепринятой технологии только процессом вычисления коэффициентов LP, операции соответственных частей, связанные с процессом вычисления коэффициентов LP, будут описаны ниже.
[0087] Обнаружитель 129 разрыва обращается к коэффициенту усиления gc 0 фиксированной кодовой книги, полученному декодированием, и коэффициенту усиления gc 1 фиксированной кодовой книги, включенному во внутренние состояния, и сравнивает изменение коэффициента усиления с пороговым значением в соответствии со следующим уравнением (этап S11 на Фиг.10).
[Математическое уравнение 42]
[0088] Когда изменение коэффициента усиления превышает пороговое значение, обнаружитель определяет появление разрыва (также именуемое в дальнейшем просто "обнаруживает разрыв"), и выводит управляющий сигнал, указывающий результат обнаружения появления разрыва, на процессор 121 обеспечения стабильности.
[0089] Следующее уравнение может использоваться для сравнения между изменением коэффициента усиления и пороговым значением.
[Математическое уравнение 43]
[0090] Кроме того, сравнение между изменением коэффициента усиления и пороговым значением может делаться согласно следующему уравнению, где gc (c) представляет максимальный среди коэффициентов усиления фиксированной кодовой книги для первого - четвертого подкадров, включенных в текущий кадр, и gc (p) представляет минимальный среди коэффициентов усиления фиксированной кодовой книги, включенных во внутренние состояния.
[Математическое уравнение 44]
[0091] Следующее уравнение также может использоваться.
[Математическое уравнение 45]
[0092] Вышеприведенный пример первого варианта осуществления показывает пример, в котором обнаружение разрыва ведется с использованием коэффициента усиления gc -1 фиксированной кодовой книги для четвертого подкадра непосредственно вышеупомянутого кадра (потерянного кадра) и коэффициента усиления gc 0 фиксированной кодовой книги для первого подкадра текущего кадра. Однако сравнение между изменением коэффициента усиления и пороговым значением может делаться с использованием средних значений, вычисленных из коэффициентов усиления фиксированной кодовой книги, включенных во внутренние состояния, и коэффициентов усиления фиксированной кодовой книги, включенных в текущий кадр.
[0093] Декодер 120 ISF выполняет такую же операцию, как в общепринятой технологии (этап S12 на Фиг.10).
[0094] Процессор 121 обеспечения стабильности корректирует параметры ISF согласно следующему процессу, когда обнаружитель 129 разрыва обнаруживает разрыв (этап S13 на Фиг.10).
[0095] Во-первых, процессор 121 обеспечения стабильности подвергает параметры ISF
[Математическое уравнение 46]
сохраненные в буфере 14 внутренних состояний, процессу увеличения расстояния между двумя соседними элементами, чтобы сделать в M-1 раз шире обычного расстояния. Процесс установления более широкого расстояния, чем обычное расстояние, обеспечивает эффект для устранения чрезмерных пиков и впадин в огибающей спектра. Здесь, min_dist представляет минимальное расстояние ISF, и isf_min представляет минимальное значение ISF, необходимое для обеспечения безопасности расстояния min_dist. Значение isf_min последовательно обновляют путем прибавления расстояния min_dist к значению соседнего ISF. С другой стороны, isf_max является максимальным значением ISF, необходимым для обеспечения безопасности расстояния min_dist. Значение isf_max последовательно обновляют путем вычитания расстояния min_dist из значения соседнего ISF.
[Математическое уравнение 47]
[0096] Затем, процессор 121 обеспечения стабильности подвергает параметры ISF текущего кадра процессу увеличения расстояния между двумя соседними элементами, чтобы сделать в M0 раз шире, чем обычное расстояние. Здесь полагается 1<M0<M-1, но также является возможным установить одно из M-1 и M0 в 1 и другое - в значение, большее чем 1.
[Математическое уравнение 48]
[0097] Кроме того, процессор 121 обеспечения стабильности выполняет следующий процесс таким же образом, как выполняется в обычном процессе декодирования, когда обнаружитель разрыва не обнаруживает разрыв.
[Математическое уравнение 49]
[0098] Минимальное расстояние, устанавливаемое между элементами, когда разрыв обнаружен, может изменяться в зависимости от частоты ISF. Минимальному расстоянию, устанавливаемому между элементами, когда разрыв обнаружен, требуется только отличаться от минимального расстояния, устанавливаемого между элементами в обычном процессе декодирования.
[0099] Преобразователь 122A ISF-ISP в вычислителе 122 коэффициентов LP преобразовывает параметры ISF
[Математическое уравнение 50]
в параметры ISP
[Математическое уравнение 51]
соответственно, в соответствии со следующим уравнением (этап S14 на Фиг.10). Здесь, C является константой, определенной предварительно.
[Математическое уравнение 52]
[0100] Интерполятор 122B ISP вычисляет параметры ISP для соответственных подкадров из прошлых параметров ISP
[Математическое уравнение 53]
и предшествующих параметров ISP
[Математическое уравнение 54]
в соответствии со следующим уравнением (этап S15 на Фиг.10). Могут использоваться другие коэффициенты для интерполяции.
[Математическое уравнение 55]
[0101] Преобразователь 122C ISP-LPC преобразовывает параметры ISP для соответственных подкадров в коэффициенты LP
[Математическое уравнение 56]
(этап S16 на Фиг.10). Здесь, число подкадров, включенных в упреждающий сигнал, предполагалось являющимся 4, но число подкадров может отличаться в зависимости от принципа проектного решения. Конкретная процедура преобразования, подлежащая использованию, может быть процедурой обработки, описанной в Непатентной литературе 1.
[0102] Кроме того, преобразователь 122A ISF-ISP обновляет параметры ISF, сохраненные в буфере 14 внутренних состояний
[Математическое уравнение 57]
в соответствии со следующим уравнением.
[Математическое уравнение 58]
В этот момент, даже если разрыв обнаружен, преобразователь 122A ISF-ISP может выполнять нижеприведенную процедуру, чтобы обновить параметры ISF
[Математическое уравнение 59]
сохраненные в буфере внутренних состояний, используя результат вычисления параметров ISF.
[Математическое уравнение 60]
[0103] Как в упомянутом выше первом варианте осуществления, разрыв декодированного аудио может быть определен с помощью квантованных коэффициентов усиления кодовой книги, используемых в вычислении сигнала возбуждения, и параметры ISF/LSF (например, расстояние между элементами параметров ISF/LSF, задаваемое для обеспечения стабильности синтезирующего фильтра) могут быть скорректированы согласно результату определения относительно разрыва. Это уменьшает разрыв аудио, который может иметь место после восстановления после потери пакета в начальной точке аудио, и посредством этого повышает субъективное качество.
[0104] [Пример модификации первого варианта осуществления]
Фиг.11 является схемой, изображающей функциональную конфигурацию декодера 12S кода аудио, согласно примеру модификации первого варианта осуществления. Поскольку она отличается от конфигурации по общепринятой технологии, показанной на Фиг.3, только обнаружителем 129 разрыва и вторым процессором 121S обеспечения стабильности, будут описываться их операции. Второй процессор 121S обеспечения стабильности имеет в составе блок 121X регулировки усиления и умножитель 121Y на коэффициент усиления, и последовательность обработки для второго процессора 121S обеспечения стабильности показана на Фиг.12.
[0105] Обнаружитель 129 разрыва обращается к коэффициенту усиления gc 0 фиксированной кодовой книги, полученному путем декодирования, и коэффициенту усиления gc -1 фиксированной кодовой книги, включенному во внутренние состояния, и сравнивает изменение коэффициента усиления с пороговым значением, таким же образом, как выполняемый обнаружителем 129 разрыва в первом варианте осуществления. Затем, обнаружитель 129 разрыва посылает на блок 121X регулировки усиления управляющий сигнал, включающий в себя информацию о том, превышает ли изменение коэффициента усиления пороговое значение.
[0106] Блок 121X регулировки усиления считывает из управляющего сигнала информацию о том, превышает ли изменение коэффициента усиления пороговое значение, и, если изменение усиления превышает пороговое значение, он выводит предварительно определенный коэффициент усиления gon на умножитель 121Y на коэффициент усиления. С другой стороны, если изменение усиления не превышает пороговое значение, блок 121X регулировки усиления выводит предварительно определенный коэффициент усиление goff на умножитель 121Y на коэффициент усиления. Эта операция блока 121X регулировки усиления соответствует этапу S18 на Фиг.12.
[0107] Умножитель 121Y на коэффициент усиления умножает синтезированный сигнал, выводимый из синтезирующего фильтра 128, на вышеприведенный коэффициент усиления gon или коэффициент усиления goff (этап S19 на Фиг.12) и выводит результирующий декодированный сигнал.
[0108] Здесь, декодер кода аудио может быть сконфигурирован таким образом, что вычислитель 122 коэффициентов LP выводит коэффициенты LP или параметры ISF, чтобы подать их на второй процессор 121S обеспечения стабильности (как обозначено пунктирной линией от вычислителя 122 коэффициентов LP к блоку 121X регулировки усиления на Фиг.11). В этом случае, коэффициенты усиления, подлежащие умножению, определяют, используя коэффициенты LP или параметры ISF, вычисленные вычислителем 122 коэффициентов LP.
[0109] Путем добавления второго процессора 121S обеспечения стабильности к декодеру 12S кода аудио и регулировки усиления в зависимости от того, превышает ли изменение коэффициента усиления пороговое значение, как описано в упомянутом выше примере модификации, может быть получен надлежащий декодированный сигнал.
[0110] Второй процессор 121S обеспечения стабильности может быть сконфигурирован, чтобы умножать сигнал возбуждения на вышеприведенный вычисленный коэффициент усиления и выводить результат на синтезирующий фильтр 128.
[0111] [Второй вариант осуществления]
Устройство обработки аудиосигнала согласно второму варианту осуществления имеет такую же конфигурацию, как таковая вышеуказанного декодера 1 аудио на Фиг.1, и элемент новизны в декодере кода аудио, и таким образом ниже будет описан декодер кода аудио. Фиг.13 показывает примерную функциональную конфигурацию декодера 12B кода аудио, Фиг.14 показывает примерную функциональную конфигурацию, связанную с процессом вычисления коэффициентов LP, и Фиг.15 изображает последовательность операций процесса вычисления коэффициентов LP. Декодер 12B кода аудио на Фиг.13 сконфигурирован путем добавления обнаружителя 129 разрыва к вышеуказанной конфигурации, показанной на Фиг.3.
[0112] Декодер 120 ISF вычисляет параметры ISF таким же образом, как выполняемый в общепринятой технологии (этап S21 на Фиг.15).
[0113] Процессор 121 обеспечения стабильности выполняет процесс установления расстояния не менее чем 50 Гц между элементами параметров ISF
[Математическое уравнение 61]
чтобы обеспечивать стабильность фильтра таким же образом, как выполняемый в общепринятой технологии (этап S22 на Фиг.15).
[0114] Преобразователь 122A ISF-ISP преобразовывает параметры ISF, выводимые процессором 121 обеспечения стабильности, в параметры ISP таким же образом, как выполняемый в первом варианте осуществления (этап S23 на Фиг.15).
[0115] Интерполятор 122B ISP таким же образом, как выполняемый в первом варианте осуществления (этап S24 на Фиг.15), вычисляет параметры ISP для соответственных подкадров из прошлых параметров ISP
[Математическое уравнение 62]
и параметров ISP
[Математическое уравнение 63]
полученных путем преобразования преобразователем 122A ISF-ISP.
[0116] Преобразователь 122C ISP-LPC таким же образом, как выполняемый в первом варианте осуществления (этап S25 на Фиг.15), преобразовывает параметры ISP для соответственных подкадров в коэффициенты LP
[Математическое уравнение 64]
Здесь, число подкадров, включенных в упреждающий сигнал, полагают являющимся 4, но число подкадров может отличаться в зависимости от принципа проектного решения.
[0117] Буфер 14 внутренних состояний обновляет параметры ISF, сохраненные в прошлом, новыми параметрами ISF.
[0118] Обнаружитель 129 разрыва считывает коэффициенты LP четвертого подкадра в кадре потерянного пакета из буфера 14 внутренних состояний и вычисляет энергию импульсного отклика для коэффициентов LP четвертого подкадра в кадре потерянного пакета. Коэффициенты LP четвертого подкадра в кадре потерянного пакета, подлежащие использованию, могут быть коэффициентами, выводимыми интерполятором 130 коэффициентов LP, включенным в генератор 13 сигнала маскирования, показанный на Фиг.6, и накапливаемыми в буфере 14 внутренних состояний при потере пакета.
[Математическое уравнение 65]
[0119] Затем, обнаружитель 129 разрыва определяет разрыв, например, согласно уравнению ниже (этап S26 на Фиг.15).
[Математическое уравнение 66]
[0120] Когда изменение коэффициента усиления не превышает пороговое значение (НЕТ на этапе S27 по Фиг.15), обнаружитель 129 разрыва не определяет появление разрыва, и преобразователь 122C ISP-LPC выводит коэффициенты LP и завершает обработку. С другой стороны, когда изменение коэффициента усиления превышает пороговое значение (ДА на этапе S27 Фиг.15), обнаружитель 129 разрыва определяет появление разрыва и посылает управляющий сигнал, указывающий результат обнаружения относительно появления разрыва, на процессор 121 обеспечения стабильности. При приеме управляющего сигнала процессор 121 обеспечения стабильности корректирует параметры ISP таким же образом, как выполняемый в первом варианте осуществления (этап S28 на Фиг.15). Последующие операции преобразователя 122A ISF-ISP, интерполятора 122B ISP и преобразователя 122C ISP-LPC (этапы S29, S2A и S2B на Фиг.15) являются такими же, как выше.
[0121] Как обсуждено в упомянутом выше втором варианте осуществления, разрыв декодированного аудио может быть определен согласно энергии сигнала возбуждения, и разрывное аудио уменьшают, чтобы повысить субъективное качество, таким же образом, как выполняемый в первом варианте осуществления.
[0122] [Третий вариант осуществления]
По обнаружению разрыва, параметры ISF могут быть скорректированы другим способом. Третий вариант осуществления отличается от первого варианта осуществления только процессором 121 обеспечения стабильности, и таким образом будет описываться только работа процессора 121 обеспечения стабильности.
[0123] Когда обнаружитель 129 разрыва обнаруживает разрыв, процессор 121 обеспечения стабильности выполняет следующий процесс для коррекции параметров ISF.
[0124] По отношению к параметрам ISF, сохраненным в буфере 14 внутренних состояний,
[Математическое уравнение 67]
процессор 121 обеспечения стабильности заменяет параметры ISF до младшей размерности P' (0<P'≤P) в соответствии с уравнением ниже. Здесь принято следующее определение.
[Математическое уравнение 68]
[Математическое уравнение 69]
[0125] Процессор 121 обеспечения стабильности может переопределить параметры ISF младших размерностей P' векторами размерности P', полученными предварительно путем обучения, как изложено ниже.
[Математическое уравнение 70]
[0126] Затем, относительно параметров ISF текущего кадра, процессор 121 обеспечения стабильности может, как выполнял в первом варианте осуществления, выполнять процесс увеличения расстояния между элементами, чтобы сделать в M0 раз шире, чем обычное расстояние, или может определять их в соответствии с уравнением ниже. Здесь принято следующее определение.
[Математическое уравнение 71]
[Математическое уравнение 72]
[0127] Процессор 121 обеспечения стабильности может переопределить их P'-мерными векторами, предварительно обученными.
[Математическое уравнение 73]
[0128] Кроме того, вышеупомянутые P'-мерные векторы могут быть обучены в процессе декодирования или могут быть заданы, например, как изложено ниже.
[Математическое уравнение 74]
В кадре в начале декодирования, однако, ωi -1 может задаваться в виде предварительно определенного P'-мерного вектора ωi init.
[0129] Буфер 14 внутренних состояний обновляет параметры ISF, сохраненные в прошлом, новыми параметрами ISF.
[0130] Как обсуждено в упомянутом выше третьем варианте осуществления, расстояние, получаемое посредством равного деления параметров ISF/LSF на таковые предварительно определенного размера, может использоваться в качестве расстояния между элементами параметров ISF/LSF, задаваемого для обеспечения стабильности синтезирующего фильтра, посредством чего разрывное аудио уменьшается, чтобы повысить субъективное качество, как выполнено в первом и втором вариантах осуществления.
[0131] [Четвертый вариант осуществления]
Будет описан четвертый вариант осуществления, в котором сторона кодирования обнаруживает появление разрыва и передает код определения разрыва (указывающий результат обнаружения) на сторону декодирования в виде включенного в коды аудио, и к тому же в котором сторона декодирования определяет операцию процесса обеспечения стабильности на основании кода определения разрыва, включенного в коды аудио.
[0132](Рассмотрение стороны кодирования)
На Фиг.16 показана примерная функциональная конфигурация кодера 2, и Фиг.17 является блок-схемой, изображающей процессы, выполняемые в кодере 2. Как показано на Фиг.16, кодер 2 имеет в составе анализатор/кодер 21 LP, кодер 22 разности и мультиплексор 23 кода.
[0133] Примерная функциональная конфигурация анализатора/кодера 21 LP в их числе показана на Фиг.18, и блок-схема, изображающая процессы, выполняемые в анализаторе/кодере 21 LP, показана на Фиг.19. Как показано на Фиг.18, анализатор/кодер 21 LP имеет в составе анализатор 210 LP, преобразователь 211 LP-ISF, кодер 212 ISF, определитель 213 разрыва, блок 214 маскирования ISF, преобразователь 215 ISF-LP и буфер 216 ISF.
[0134] В анализаторе/кодере 21 LP, анализатор 210 LP выполняет анализ с линейным предсказанием на входном сигнале, чтобы получить коэффициенты линейного предсказания (этап T41 на Фиг.17 и этап U41 на Фиг.18). Для вычисления коэффициентов линейного предсказания сначала вычисляют функцию автокорреляции из аудиосигнала, и затем может применяться алгоритм Левинсона-Дербина или подобный.
[0135] Преобразователь 211 LP-ISF преобразовывает вычисленные коэффициенты линейного предсказания в параметры ISP таким же образом, как выполняемый в первом варианте осуществления (этапы T42, U42). Преобразование из коэффициентов линейного предсказания в параметры ISF может быть реализовано при помощи способа, описанного в Непатентной литературе.
[0136] Кодер 212 ISF кодирует параметры ISF, используя предварительно определенный способ для вычисления кодов ISF (этапы T43, U43), и выводит квантованные параметры ISF, полученные в процессе кодирования, на определитель 213 разрыва, блок 214 маскирования ISF и преобразователь 215 ISF-LP (этап U47). Здесь, квантованные параметры ISF эквивалентны параметрам ISF, полученным обратным квантованием кодов ISF. Способ кодирования может быть векторным кодированием, или кодированием путем векторного квантования или подобного, векторов ошибок из значений ISF непосредственно вышеупомянутого кадра и векторов средних значений, определенных предварительно путем обучения.
[0137] Определитель 213 разрыва кодирует флаг определения разрыва, сохраненный во внутреннем буфере (не показан), встроенном в определитель 213 разрыва, и выводит результирующий код определения разрыва (этап U47). Кроме того, определитель 213 разрыва использует параметры ISF для маскирования
[Математическое уравнение 75]
считываемые из буфера 216 ISF, и квантованные параметры ISF
[Математическое уравнение 76]
чтобы выполнять определение относительно разрыва в соответствии с уравнением ниже (этапы T44, U46). Здесь, Thresω представляет пороговое значение, определенное предварительно, и P' - целое число, удовлетворяющее следующему уравнению (0<P'≤P).
[Математическое уравнение 77]
[0138] Выше описан пример, в котором определение разрыва делают, используя Евклидовы (кодовые) расстояния между параметрами ISF. Однако определение разрыва может делаться другими способами.
[0139] Блок 214 маскирования ISF вычисляет маскирующие параметры ISF из квантованных параметров ISF посредством такого же процесса, как выполняемый блоком маскирования ISF стороны декодера, и выводит результирующие маскирующие параметры ISF на буфер 216 ISF (этапы U44, U45). Операция процесса маскирования ISF может выполняться любым способом, если только он является таким же процессом, как таковой в соответствующем стороне декодера блоке маскирования потери пакета.
[0140] Преобразователь 215 ISF-LP вычисляет квантованные коэффициенты линейного предсказания путем преобразования вышеприведенных квантованных параметров ISF и выводит результирующие квантованные коэффициенты линейного предсказания на кодер 22 разности (этап T45). Способ, используемый для преобразования параметров ISF в квантованные коэффициенты линейного предсказания, может быть способом, описанным в Непатентной литературе.
[0141] Кодер 22 разности фильтрует аудиосигнал путем использования квантованных коэффициентов линейного предсказания, чтобы вычислить разностный сигнал (этап T46).
[0142] Затем, кодер 22 разности кодирует разностные сигналы средством кодирования, использующим CELP или TCX (кодирование с преобразованием кодированного возбуждения), или средством кодирования, допускающим переключение CELP и TCX, и выводит результирующие коды разности (этап T47). Поскольку операция кодера 22 разности в меньшей степени относится к настоящему изобретению, ее описание здесь опущено.
[0143] Мультиплексор 23 кода составляет коды ISF, код определения разрыва и коды разности в предварительно определенном порядке и выводит результирующие коды аудио (этап T48).
[0144] (Рассмотрение стороны декодирования)
Устройство обработки аудиосигнала согласно четвертому варианту осуществления имеет такую же конфигурацию, как и вышеуказанный декодер 1 аудио на Фиг.1, и элемент новизны в декодере кода аудио, и таким образом декодер кода аудио будет описан ниже. На Фиг.20 показана примерная функциональная конфигурация декодера 12D кода аудио, и Фиг.21 является блок-схемой, изображающей процесс вычисления коэффициентов LP. Декодер 12D кода аудио, показанный на Фиг.20, сконфигурирован путем добавления обнаружителя 129 разрыва к вышеуказанной конфигурации, показанной на Фиг.3.
[0145] Декодер 120 ISF декодирует коды ISF и выводит результирующие коды на процессор 121 обеспечения стабильности и буфер 14 внутренних состояний (этап S41 на Фиг.21).
[0146] Обнаружитель 129 разрыва декодирует код определения разрыва и выводит получаемый результат обнаружения разрыва на процессор 121 обеспечения стабильности (этап S42 на Фиг.21).
[0147] Процессор 121 обеспечения стабильности выполняет процесс обеспечения стабильности согласно результату обнаружения разрыва (этап S43 на Фиг.21). Процедура обработки в процессоре обеспечения стабильности, подлежащая использованию, может быть такой же, как исполняемая в первом варианте осуществления и третьем варианте осуществления.
[0148] Процессор 121 обеспечения стабильности может выполнять процесс обеспечения стабильности, как описано ниже, на основе других параметров, включенных в коды аудио, в дополнение к результату обнаружения разрыва, извлеченному из кода определения разрыва. Например, процессор 121 обеспечения стабильности может быть сконфигурирован для выполнения процесса обеспечения стабильности таким образом, что значение stab стабильности ISF вычисляют в соответствии с уравнением ниже, и что если стабильность ISF превышает пороговое значение, даже если код определения разрыва показывает обнаружение разрыва, процесс выполняется, как если бы разрыв не обнаружен. Здесь, C- константа, определенная предварительно.
[Математическое уравнение 78]
[0149] Преобразователь 122A ISF-ISP в вычислителе 122 коэффициентов LP преобразовывает параметры ISF в параметры ISP посредством такой же процедуры обработки, как выполняемая в первом варианте осуществления (этап S44 на Фиг.21).
[0150] Интерполятор 122B ISP вычисляет параметры ISP для соответственных подкадров посредством такой же процедуры обработки, как выполняемая в первом варианте осуществления (этап S45 на Фиг.21).
[0151] Преобразователь 122C ISP-LPC преобразовывает параметры ISP, вычисленные для соответственных подкадров, в параметры LPC посредством такой же процедуры обработки, как выполняемая в первом варианте осуществления (этап S46 на Фиг.21).
[0152] В четвертом варианте осуществления, как описано выше, сторона кодирования выполняет определение разрыва (определение разрыва, использующее евклидовы расстояния между маскирующими параметрами ISF и квантованными параметрами ISF, в качестве примера) кодирует вспомогательную информацию о результате определения и выводит кодированную информацию на сторону декодирования, и сторона декодирования определяет разрыв, используя вспомогательную информацию, полученную путем декодирования. Таким образом, может исполняться надлежащая обработка согласно результату определения разрыва, выполненному стороной кодирования, тогда как сторона кодирования и сторона декодирования работают согласованно друг с другом.
[0153] [Пятый вариант осуществления]
(Рассмотрение стороны кодирования)
Функциональная конфигурация кодера является такой же, как таковая в четвертом варианте осуществления, показанном на Фиг.16, и последовательность обработки кодера является такой же, как последовательность обработки в четвертом варианте осуществления, показанном на Фиг.17. Ниже будет описан анализатор/кодер LP согласно пятому варианту осуществления, который отличается от такового в четвертом варианте осуществления.
[0154] На Фиг.22 показана примерная функциональная конфигурация анализатора/кодера LP, и на Фиг.23 показана последовательность операций процессов, выполняемых анализатором/кодером LP. Как показано на Фиг.22, анализатор/кодер 21 LP имеет в составе анализатор 210 LP, преобразователь 211 LP-ISF, кодер 212 ISF, определитель 213 разрыва, блок 214 маскирования ISF, преобразователь 215 ISF-LP и буфер 216 ISF.
[0155] В этом анализаторе/кодере 21S LP анализатор 210 LP выполняет анализ с линейным предсказанием на входном сигнале посредством такого же процесса, как выполняемый в четвертом варианте осуществления, чтобы получить коэффициенты линейного предсказания (этап U51 на Фиг.23).
[0156] Преобразователь 211 LP-ISF преобразовывает вычисленные коэффициенты линейного предсказания в параметры ISF посредством такого же процесса, как выполняемый в четвертом варианте осуществления (этап U52 на Фиг.23). Способ, описанный в Непатентной литературе, может использоваться для преобразования из коэффициентов линейного предсказания в параметры ISF.
[0157] Кодер 212 ISF считывает флаг определения разрыва, сохраненный во внутреннем буфере (не показан) определителя 213 разрыва (этап U53 на Фиг.23).
[0158] <Случай, где флаг определения разрыва указывает обнаружение разрыва>
Кодер 212 ISF вычисляет коды ISF путем векторного квантования параметров ri разности ISF, вычисленных согласно уравнению ниже (этап U54 на Фиг.23). Здесь, параметры ISF, вычисленные преобразователем LP-ISF, обозначены через ωi и векторы средних значений, которыми являются meani, получают предварительно путем обучения.
[Математическое уравнение 79]
[0159] Затем, кодер 212 ISF использует квантованные параметры разности ISF
[Математическое уравнение 80]
полученные путем квантования параметров ri разности ISF, для обновления буфера параметров разности ISF в соответствии со следующим уравнением (этап U55 на Фиг.23).
[Математическое уравнение 81]
[0160] <Случай, где флаг определения разрыва не указывает обнаружение разрыва>
Кодер 212 ISF вычисляет коды ISF путем векторного квантования параметров ri разности ISF, вычисленных согласно уравнению ниже (этап U54 на Фиг.23). Здесь, параметры разности ISF, полученные путем декодирования в непосредственно предшествующем кадре, обозначены, как изложено ниже.
[Математическое уравнение 82]
[Математическое уравнение 83]
[0161] Затем, кодер 212 ISF использует квантованные параметры разности ISF
[Математическое уравнение 84]
полученные путем квантования параметров ri разности ISF, для обновления буфера параметров разности ISF в соответствии со следующим уравнением (этап U55 на Фиг.23).
[Математическое уравнение 85]
[0162] Посредством вышеуказанной процедуры кодер 212 ISF вычисляет коды ISF и выводит квантованные параметры ISF, полученные в процессе кодирования, на определитель 213 разрыва, блок 214 маскирования ISF и преобразователь 215 ISF-LP.
[0163] Блок 214 маскирования ISF вычисляет маскирующие параметры ISF из квантованных параметров ISF посредством такого же процесса, как выполняемый блоком маскирования ISF стороны декодера таким же образом, как исполняемый в четвертом варианте осуществления, и выводит их на буфер 216 ISF (этапы U56, U58 на Фиг.23). Операция процесса маскирования ISF может выполняться любым способом при условии, что он является таким же процессом, как таковой в блоке маскирования потери пакетов, соответствующем стороне декодера.
[0164] Определитель 213 разрыва выполняет определение разрыва посредством такого же процесса, как выполняемый в четвертом варианте осуществления, и сохраняет результат определения во внутреннем буфере (не показан) определителя 213 разрыва (этап U57 на Фиг.23).
[0165] Преобразователь 215 ISF-LP преобразовывает квантованные параметры ISF таким же образом, как выполняемый в четвертом варианте осуществления, чтобы вычислить квантованные коэффициенты линейного предсказания, и выводит их на кодер 22 разности (Фиг.16) (этап U58 на Фиг.23).
[0166] (Рассмотрение стороны декодирования)
Устройство обработки аудиосигнала согласно пятому варианту осуществления имеет такую же конфигурацию, как таковая вышеуказанного декодера 1 аудио на Фиг.1, и элемент новизны в декодере кода аудио, и таким образом ниже будет описан декодер кода аудио. Фиг.24 изображает примерную функциональную конфигурацию декодера 12E кода аудио, и Фиг.25 изображает последовательность операций процесса вычисления, выполняемого согласно коэффициентам LP. Декодер 12E кода аудио, показанный на Фиг.24, сконфигурирован путем добавления обнаружителя 129 разрыва к вышеуказанной конфигурации, показанной на Фиг.3.
[0167] Обнаружитель 129 разрыва декодирует код определения разрыва и выводит результирующий флаг определения разрыва на декодер 120 ISF (этап S51 на Фиг.25).
[0168] Декодер 120 ISF вычисляет параметры ISF, как изложено ниже, в зависимости от значения флага определения разрыва и выводит параметры ISF на процессор 121 обеспечения стабильности и буфер 14 внутренних состояний (этап S52 на Фиг.25).
[0169] <Случай, где флаг определения разрыва указывает обнаружение разрыва>Декодер 120 ISF использует квантованные параметры разности ISF
[Математическое уравнение 86]
полученные путем декодирования кодов ISF, и векторов meani средних значений, полученных предварительно путем обучения, чтобы получить квантованные параметры ISF
[Математическое уравнение 87]
в соответствии со следующим уравнением.
[Математическое уравнение 88]
[0170] Затем, декодер 120 ISF обновляет параметры разности ISF, сохраненные в буфере 14 внутренних состояний, в соответствии со следующим уравнением.
[Математическое уравнение 89]
[0171] <Случай, где флаг определения разрыва не указывает обнаружение разрыва>
Декодер 120 ISF считывает из буфера 14 внутренних состояний параметры разности ISF
[Математическое уравнение 90]
полученные путем декодирования непосредственно вышеупомянутого кадра, и использует результирующие параметры разности ISF
[Математическое уравнение 91]
векторы meani средних значений, полученные предварительно путем обучения, и квантованные параметры разности ISF
[Математическое уравнение 92]
полученные путем декодирования кодов ISF, чтобы вычислить квантованные параметры ISF
[Математическое уравнение 93]
в соответствии со следующим уравнением.
[Математическое уравнение 94]
[0172] Затем декодер 120 ISF обновляет параметры разности ISF, сохраненные в буфере 14 внутренних состояний, в соответствии со следующим уравнением.
[Математическое уравнение 95]
[0173] Процессор 121 обеспечения стабильности выполняет такой же процесс, как выполняемый в первом варианте осуществления (этап S53 на Фиг.25), когда разрыв не обнаруживают.
[0174] Преобразователь 122A ISF-ISP в вычислителе 122 коэффициентов LP преобразовывает параметры ISF в параметры ISP посредством такой же процедуры обработки, как описано в первом варианте осуществления (этап S54 на Фиг.25).
[0175] Интерполятор 122B ISP вычисляет параметры ISP для соответственных подкадров посредством такой же процедуры обработки, как выполняемая в первом варианте осуществления (этап S55 на Фиг.25).
[0176] Преобразователь 122C ISP-LPC посредством такой же процедуры обработки, как выполняемая в первом варианте осуществления (этап S56 на Фиг.25), преобразовывает параметры ISP, вычисленные для соответственных подкадров, в параметры LPC.
[0177] В пятом варианте осуществления как описано выше, сторона кодирования сконфигурирована, как изложено ниже: Когда флаг определения разрыва не указывает обнаружение разрыва, выполняют векторное квантование параметров разности ISF, используя параметры разности ISF, полученные путем декодирования непосредственно вышеупомянутого кадра. С другой стороны, когда флаг определения разрыва указывает обнаружение разрыва, кодер препятствует использованию параметров разности ISF, полученных путем декодирования непосредственно вышеупомянутого кадра. Аналогичным образом, сторона декодирования сконфигурирована, как изложено ниже: Когда флаг определения разрыва не указывает обнаружение разрыва, квантованные параметры ISF вычисляют, используя параметры разности ISF, полученные путем декодирования непосредственно вышеупомянутого кадра. С другой стороны, когда флаг определения разрыва указывает обнаружение разрыва, декодер препятствует использованию параметров разности ISF, полученных путем декодирования непосредственно вышеупомянутого кадра. Таким образом, надлежащая обработка согласно результату определения разрыва может исполняться, тогда как сторона кодирования и сторона декодирования работают согласованно друг с другом.
[0178] [Шестой вариант осуществления]
Вышеуказанные первый - пятый варианты осуществления могут применяться в сочетании. Например, как описано в четвертом варианте осуществления, сторона декодирования декодирует код определения разрыва, включенный в коды аудио, от стороны кодирования, чтобы обнаруживать разрыв. Когда разрыв обнаружен, она может выполнять последующую операцию, как изложено ниже.
[0179] Для параметров ISF
[Математическое уравнение 96]
сохраненных в буфере внутренних состояний, параметры ISF вплоть до размерности P' низкой степени (0<P'≤P) являются заменами в соответствии со следующим уравнением, как описано в третьем варианте осуществления.
[Математическое уравнение 97]
[0180] С другой стороны, параметры ISF текущего кадра вычисляют в соответствии со следующим уравнением, как описано в пятом варианте осуществления.
[Математическое уравнение 98]
[0181] После этого, используя параметры ISF, полученные, как описано выше, коэффициенты LP получают посредством процессов преобразователя 122A ISF-ISP, интерполятора 122B ISP и преобразователя 122C ISP-LPC, как выполнялись в первом варианте осуществления.
[0182] Также является полезным принять необязательные комбинации первого - пятого вариантов осуществления, как описано выше.
[0183] [Седьмой вариант осуществления]
Может рассматриваться в операции декодирования согласно вышеуказанным от первого до шестого вариантов осуществления и их модификациям, каким образом кадр потерян (например, потерян ли одиночный кадр или потеряны последовательные кадры). В седьмом варианте осуществления является дразностным, что обнаружение разрыва делают, используя, например, результат декодирования кода определения разрыва, включенного в коды аудио, и способ, каким образом это должно выполняться, не ограничивается вышеуказанным.
[0184] Устройство обработки аудиосигнала согласно седьмому варианту осуществления имеет такую же конфигурацию, как таковая вышеуказанного декодера 1 аудио на Фиг.1, и элемент новизны в декодере кода аудио, и таким образом декодер кода аудио будет описан ниже.
[0185] Фиг.26 показывает примерную конфигурацию декодера 1S аудио согласно седьмому варианту осуществления, и Фиг.27 изображает блок-схему процессов, выполняемых в декодере аудио. Как показано на Фиг.26, в дополнение к упомянутом выше декодеру 12G кода аудио, генератор 13 сигнала маскирования и буфер 14 внутренних состояний, декодер 1S аудио имеет в составе определитель 16 состояния приема, который определяет состояние приема пакетов в некоторых прошлых кадрах и сохраняет предысторию потери пакетов.
[0186] Определитель 16 состояния приема определяет состояние приема пакета и обновляет информацию предыстории потери пакетов на основании результата определения (этап S50 на Фиг.27).
[0187] Когда потеря пакета обнаружена (НЕТ на этапе S100), определитель 16 состояния приема выводит результат обнаружения потери пакета релевантного кадра на генератор 13 сигнала маскирования, и генератор 13 сигнала маскирования генерирует сигнал маскирования, как описано выше, и обновляет внутренние состояния (этапы S300, S400). Генератор 13 сигнала маскирования может также использовать информацию предыстории потери пакетов для интерполяции параметров или подобного.
[0188] С другой стороны, когда потерю пакета не обнаруживают (ДА на этапе S100), определитель 16 состояния приема выводит информацию предыстории потери пакетов, включая результат обнаружения потери пакета релевантного кадра и коды аудио, включенные в принятый пакет, на декодер 12 кода аудио, и декодер 12 кода аудио декодирует коды аудио, как описано ранее, и обновляет внутренние состояния (этапы S200, S400).
[0189] После этого, процессы этапов S50-S400 повторяют, пока связь не завершится (или пока этап S500 не приведет к определению «ДА»).
[0190] Фиг.28 изображает примерную функциональную конфигурацию декодера 12G кода аудио, и Фиг.29 изображает блок-схему процессов вычисления, выполняемых согласно коэффициентам LP. Ниже будет описан пример использования информации предыстории потери пакетов только для вычислителя 122 коэффициентов LP, но декодер кода аудио может быть сконфигурирован для использования информации предыстории потери пакетов для других составляющих элементов.
[0191] Поскольку декодер 12G кода аудио имеет такую же конфигурацию, как описано в первом варианте осуществления, кроме конфигурации, связанной с процессом вычисления коэффициентов LP, ниже будет описана конфигурация и ее работа, связанная с процессом вычисления коэффициентов LP.
[0192] Декодер 120 ISF декодирует коды ISF таким же образом, как выполняемый в первом варианте осуществления, и выводит параметры ISF на процессор 121 обеспечения стабильности (этап S71 на Фиг.29).
[0193] Обнаружитель 129 разрыва обращается к информации предыстории потери пакетов, чтобы определить состояние приема (этап S72). Обнаружитель 129 разрыва может быть спроектирован, например, как изложено ниже: он сохраняет конкретный профиль приема, который указывает, например, потерю пакета, имевшую место три кадра ранее, нормальный прием, имевший место два кадра ранее, и потерю пакета, имевшую место один кадр ранее. Когда распознан профиль приема, поиск которого осуществлялся, он устанавливает флаг состояния приема в «выключен» и, иначе он устанавливает флаг состояния приема во «включен».
[0194] Кроме того, обнаружитель 129 разрыва обнаруживает разрыв таким же образом, как описано в одном варианте из первого - шестого вариантов осуществления.
[0195] Затем, процессор 121 обеспечения стабильности выполняет процесс обеспечения стабильности согласно флагу состояния приема и результату обнаружения разрыва, например, как описано ниже (этап S73).
[0196] Когда флаг состояния приема выключен, процессор 121 обеспечения стабильности выполняет тот же процесс, как выполняемый, когда разрыв не обнаружен, независимо от результата обнаружения разрыва.
[0197] С другой стороны, когда флаг приема включен и когда результат обнаружения разрыва указывает, что разрыв не обнаружен, процессор 121 обеспечения стабильности выполняет такой же процесс, как выполняемый, когда разрыв не обнаружен.
[0198] Кроме того, когда флаг приема включен, и когда результатом обнаружения разрыва является обнаружение разрыва, процессор 121 обеспечения стабильности выполняет такой же процесс, как выполняемый, когда разрыв обнаружен.
[0199] После этого, операции (этапы S74-S76) преобразователя 122A ISF-ISP, интерполятора 122B ISP и преобразователя 122C ISP-LPC в вычислителе 122 коэффициентов LP выполняются таким же образом, как выполняемые в первом варианте осуществления.
[0200] В седьмом варианте осуществления, как описано выше, процесс обеспечения стабильности выполняют в зависимости от результата обнаружения разрыва и состояния флага состояния приема, посредством чего может исполняться более точная обработка, тогда как рассматривают, каким образом кадр потерян (например, потерян ли одиночный кадр или потеряны последовательные кадры).
[0201] [Относительно программ обработки аудиосигнала]
Ниже будут описаны программы обработки аудиосигнала, которые программируют компьютер для работы в качестве устройства обработки аудиосигнала согласно настоящему изобретению.
[0202] Фиг.32 является чертежом, изображающим различные примерные конфигурации программ обработки аудиосигнала. Фиг.30 изображает примерную аппаратную конфигурацию компьютера, и Фиг.31 изображает схематичное представление компьютера. Программы P1-P4 обработки аудиосигнала (которые будут именоваться в дальнейшем обобщенно "программа P обработки аудиосигнала"), показанные на фигурах Фиг.32(a)-(d), соответственно, могут программировать компьютер C10, показанный на фигурах Фиг. 31 и 32, для работы в качестве устройства обработки аудиосигнала. Следует отметить, что программа P обработки аудиосигнала, описанная в настоящем описании изобретения, может быть реализована не только на компьютере, как показано на фигурах Фиг. 31 и 32, но также и на любом устройстве обработки информации, таком как сотовый телефон, персональный цифровой ассистент или переносной персональный компьютер.
[0203] Программа P обработки аудиосигнала может предоставляться в форме, сохраняемой в носителе M записи. Примеры носителя M записи включают в себя носители записи, такие как гибкий диск, ПЗУ на компакт-диске (CD-ROM), цифровой многофункциональный диск (DVD), или постоянное запоминающее устройство (ПЗУ, ROM), полупроводниковые запоминающие устройства и так далее.
[0204] Как показано на Фиг.30, компьютер C10 имеет в составе считывающее устройство C12, такое как блок дисковода гибкого диска, блок дисковода компакт-дисков или блок дисковода DVD-диска, оперативную память (ОЗУ, RAM) C14, память C16 для хранения программы, сохраненной в носителе M записи, дисплей C16, мышь C20 и клавиатуру C22 в качестве устройства ввода данных, устройство C24 связи для исполнения передачи/приема данных или подобного и центральный процессор (ЦП) C26 для управления исполнением программы.
[0205] Когда носитель M записи помещают в считывающее устройство C12, компьютер C10 становится доступным для программы P обработки аудиосигнала, сохраненной в носителе M записи, через считывающее устройство C12, и становится способным работать в качестве устройства обработки аудиосигнала, запрограммированного программой P обработки аудиосигнала.
[0206] Программа P обработки аудиосигнала может быть таковой, обеспеченной в виде компьютерного информационного сигнала W, наложенного на несущую, как показано на Фиг.31, передаваемого по сети. В этом случае, компьютер C10 сохраняет программу P обработки аудиосигнала, принятую устройством C24 связи, в памяти C16 и затем может исполнять программу P обработки аудиосигнала.
[0207] Программа P обработки аудиосигнала может быть сконфигурирована согласно принятию различных конфигураций, показанных на фигурах Фиг.32(a)-(d). Они соответствуют конфигурациям, изложенным в п.п.18-21, связанным с программами обработки аудиосигнала, как изложено в объеме формулы изобретения. Например, программа P1 обработки аудиосигнала, показанная на Фиг.32(a), имеет в составе модуль P11 обнаружения разрыва и модуль P12 коррекции разрыва. Программа P2 обработки аудиосигнала, показанная на Фиг.32(b), имеет в составе модуль P21 квантования ISF/LSF, модуль P22 маскирования ISF/LSF, модуль P23 обнаружения разрыва и модуль P24 кодирования вспомогательной информации. Программа P3 обработки аудиосигнала, показанная на Фиг.32(c), имеет в составе модуль P31 обнаружения разрыва, модуль P32 кодирования вспомогательной информации и модуль P33 квантования ISF/LSF. Программа P4 обработки аудиосигнала, показанная на Фиг.32(d), имеет в составе модуль P41 декодирования вспомогательной информации, модуль P42 коррекции разрыва и модуль P43 декодирования ISF/LSF.
[0208] Посредством реализации различных вариантов осуществления, описанных выше, может быть повышено субъективное качество при уменьшении при этом разрыва аудио, который может иметь место в восстановлении после потери пакета в начальной точке аудио.
[0209] Процессор обеспечения стабильности, который является первым признаком изобретения, сконфигурирован таким образом, что когда обнаруживают разрыв в первом пакете, который принят корректно после того, как имеет место потеря пакета, например, расстояние между элементами параметров ISF устанавливают более широким, чем нормальное, посредством чего это может препятствовать слишком большому усилению коэффициентов LP. Поскольку это может препятствовать усилению и коэффициента LP, и энергии сигнала возбуждения, разрыв синтезируемого сигнала уменьшается, посредством чего ухудшение субъективного качества может быть устранено. Кроме того, процессор обеспечения стабильности может уменьшить разрыв синтезированного сигнала умножением синтезированного сигнала на коэффициент усиления, вычисленный с использованием коэффициентов LP и т.п.
[0210] Обнаружитель разрыва, который является вторым признаком изобретения, осуществляет мониторинг усиления сигнала возбуждения, включенного в первый пакет, который принят корректно после того, как имеет место потеря пакета, и определяет появление разрыва для пакета, усиление сигнала возбуждения для которого возросло более некоторого уровня.
Перечень ссылочных обозначений
[0211]
1, 1S, 1X декодер аудио;
11 обнаружитель потери пакетов;
12, 12A, 12B, 12D, 12E, 12G, 12S декодер кода аудио;
13, 13X генератор сигнала маскирования;
14 буфер внутренних состояний;
15 декодер энергии нормированной разности предсказания;
16 определитель состояния приема;
21, 21 анализатор/кодер;
22 кодер разности;
23 мультиплексор кода;
120 декодер ISF;
121, 121S процессор обеспечения стабильности;
121X блок регулировки усиления;
121Y умножитель на коэффициент усиления;
122 вычислитель коэффициентов LP;
122A преобразователь ISF-ISP;
122B интерполятор ISP;
122C преобразователь ISP-LPC;
123 вычислитель адаптивной кодовой книги;
124 декодер фиксированной кодовой книги;
125 декодер коэффициента усиления;
126 синтезатор вектора возбуждения;
127 постфильтр;
128 синтезирующий фильтр;
129 обнаружитель разрыва;
130 интерполятор коэффициентов LP;
131 интерполятор задержки основного тона;
132 интерполятор коэффициента усиления;
133 генератор шумового сигнала;
134 постфильтр;
135 синтезирующий фильтр;
136 вычислитель адаптивной кодовой книги;
137 синтезатор вектора возбуждения;
138 блок регулировки нормированной разности предсказания;
210 анализатор LP;
211 преобразователь LP-ISF;
212 кодер ISF;
213 определитель разрыва;
214 блок маскирования ISF;
215 преобразователь ISF-LP;
216 буфер ISF;
C10 компьютер;
C12 считывающее устройство;
C14 оперативная память;
C16 память;
C18 дисплей;
C20 мышь;
C22 клавиатура;
C24 устройство связи;
C26 ЦП (CPU);
М носитель записи;
P1 - P4 программы обработки аудиосигнала;
P11 модуль обнаружения разрыва;
P12 модуль коррекции разрыва;
P21 модуль квантования ISF/LSF;
P22 модуль маскирования ISF/LSF;
P23 модуль обнаружения разрыва;
P24 модуль кодирования вспомогательной информации;
P31 модуль обнаружения разрыва;
P32 модуль кодирования вспомогательной информации;
P33 модуль квантования ISF/LSF;
P41 модуль декодирования вспомогательной информации;
P42 модуль коррекции разрыва;
P43 декодирование модуля ISF/LSF;
W компьютерный информационный сигнал.
Claims (12)
1. Способ обработки аудиосигнала, подлежащий исполнению устройством обработки аудиосигнала, содержащий:
этап декодирования для декодирования вспомогательной информации, переданной от кодера и относящейся к разрыву декодированного аудио, полученного при декодировании пакета аудио;
этап определения для определения появления разрыва декодированного аудио, используя вспомогательную информацию, декодированную на этапе декодирования; и
этап корректирования для корректирования разрыва декодированного аудио, когда появление разрыва определено на этапе декодирования, и некорректирования разрыва декодированного аудио, когда появление разрыва не определено на этапе декодирования;
при этом разрыв происходит c внезапным повышением амплитуды декодированного аудио, полученного при декодировании пакета аудио в ответ на первый пакет аудио, принятый корректно после появления потери пакета.
2. Способ обработки аудиосигнала по п. 1, содержащий также этап обнаружения для обнаружения потери пакета переданного пакета аудио,
при этом на этапе корректирования, когда обнаружена потеря пакета на этапе обнаружения и когда определено появление разрыва на этапе определения, разрыв декодированного аудио корректируется.
3. Устройство обработки аудиосигнала, содержащее:
декодер вспомогательной информации, сконфигурированный, чтобы декодировать вспомогательную информацию, переданную от кодера и относящуюся к разрыву декодированного аудио, полученного при декодировании пакета аудио;
определитель разрыва, сконфигурированный, чтобы определять появление разрыва декодированного аудио, используя вспомогательную информацию, декодированную декодером вспомогательной информации; и
корректор разрыва, сконфигурированный, чтобы корректировать разрыв декодированного аудио, когда появление разрыва определено определителем разрыва, и чтобы не корректировать разрыв декодированного аудио, когда появление разрыва не определено определителем разрыва;
при этом разрыв происходит c внезапным повышением амплитуды декодированного аудио, полученного при декодировании пакета аудио в ответ на первый пакет аудио, принятый корректно после появления потери пакета.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013224120A JP5981408B2 (ja) | 2013-10-29 | 2013-10-29 | 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム |
| JP2013-224120 | 2013-10-29 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016120629A Division RU2651234C2 (ru) | 2013-10-29 | 2014-10-10 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019107149A Division RU2707727C1 (ru) | 2013-10-29 | 2019-03-14 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2018112250A RU2018112250A (ru) | 2019-03-01 |
| RU2018112250A3 RU2018112250A3 (ru) | 2019-03-01 |
| RU2682927C2 true RU2682927C2 (ru) | 2019-03-22 |
Family
ID=53003956
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016120629A RU2651234C2 (ru) | 2013-10-29 | 2014-10-10 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
| RU2018112250A RU2682927C2 (ru) | 2013-10-29 | 2014-10-10 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
| RU2018112249A RU2680748C1 (ru) | 2013-10-29 | 2014-10-10 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
| RU2019103676A RU2701075C1 (ru) | 2013-10-29 | 2019-02-11 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
| RU2019107149A RU2707727C1 (ru) | 2013-10-29 | 2019-03-14 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016120629A RU2651234C2 (ru) | 2013-10-29 | 2014-10-10 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018112249A RU2680748C1 (ru) | 2013-10-29 | 2014-10-10 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
| RU2019103676A RU2701075C1 (ru) | 2013-10-29 | 2019-02-11 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
| RU2019107149A RU2707727C1 (ru) | 2013-10-29 | 2019-03-14 | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала |
Country Status (21)
| Country | Link |
|---|---|
| US (5) | US9799344B2 (ru) |
| EP (5) | EP3065134B1 (ru) |
| JP (1) | JP5981408B2 (ru) |
| KR (5) | KR102036704B1 (ru) |
| CN (6) | CN110176239B (ru) |
| AU (5) | AU2014341476B2 (ru) |
| BR (2) | BR122017020760B1 (ru) |
| CA (4) | CA3081225C (ru) |
| DK (3) | DK3528247T3 (ru) |
| ES (2) | ES2732440T3 (ru) |
| FI (2) | FI3528247T3 (ru) |
| HK (1) | HK1223188A1 (ru) |
| HU (1) | HUE063871T2 (ru) |
| MX (1) | MX347234B (ru) |
| MY (3) | MY179197A (ru) |
| PL (2) | PL3065134T3 (ru) |
| PT (3) | PT3065134T (ru) |
| RU (5) | RU2651234C2 (ru) |
| SG (1) | SG11201600542VA (ru) |
| TR (1) | TR201909126T4 (ru) |
| WO (1) | WO2015064346A1 (ru) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5981408B2 (ja) * | 2013-10-29 | 2016-08-31 | 株式会社Ｎｔｔドコモ | 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム |
| JP6914390B2 (ja) * | 2018-06-06 | 2021-08-04 | 株式会社Ｎｔｔドコモ | 音声信号処理方法 |
| CN110111805B (zh) * | 2019-04-29 | 2021-10-29 | 北京声智科技有限公司 | 远场语音交互中的自动增益控制方法、装置及可读存储介质 |
| FR3100061B1 (fr) * | 2019-08-22 | 2021-07-30 | Thales Sa | Procede de determination d'une distance de vol d'un aeronef sur un segment de discontinuite, procede de determination d'une trajectoire, produit programme d'ordinateur et module de determination associes |
| CN114613372B (zh) * | 2022-02-21 | 2022-10-18 | 北京富通亚讯网络信息技术有限公司 | 一种音频传输抗丢包的错误隐藏技术方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5673363A (en) * | 1994-12-21 | 1997-09-30 | Samsung Electronics Co., Ltd. | Error concealment method and apparatus of audio signals |
| RU2213422C2 (ru) * | 1997-10-09 | 2003-09-27 | Айбиквити Диджитал Корпорейшн | Система и способ сглаживания периодических прерываний в системе радиовещания аудиосигнала |
| US20070271480A1 (en) * | 2006-05-16 | 2007-11-22 | Samsung Electronics Co., Ltd. | Method and apparatus to conceal error in decoded audio signal |
| US20080092019A1 (en) * | 2006-09-26 | 2008-04-17 | Nokia Corporation | Supporting a decoding of frames |
| US20080126904A1 (en) * | 2006-11-28 | 2008-05-29 | Samsung Electronics Co., Ltd | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| EP2068306A1 (en) * | 2007-09-15 | 2009-06-10 | Huawei Technologies Co., Ltd. | Frame error concealment method and apparatus for highband signal |
| US7596492B2 (en) * | 2003-12-26 | 2009-09-29 | Electronics And Telecommunications Research Institute | Apparatus and method for concealing highband error in split-band wideband voice codec and decoding |
| RU2428747C2 (ru) * | 2006-07-31 | 2011-09-10 | Квэлкомм Инкорпорейтед | Системы, способы и устройство для широкополосного кодирования и декодирования неактивных кадров |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6775649B1 (en) * | 1999-09-01 | 2004-08-10 | Texas Instruments Incorporated | Concealment of frame erasures for speech transmission and storage system and method |
| AU7486200A (en) * | 1999-09-22 | 2001-04-24 | Conexant Systems, Inc. | Multimode speech encoder |
| CA2290037A1 (en) * | 1999-11-18 | 2001-05-18 | Voiceage Corporation | Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals |
| JP2001228896A (ja) * | 2000-02-14 | 2001-08-24 | Iwatsu Electric Co Ltd | 欠落音声パケットの代替置換方式 |
| EP1199709A1 (en) * | 2000-10-20 | 2002-04-24 | Telefonaktiebolaget Lm Ericsson | Error Concealment in relation to decoding of encoded acoustic signals |
| US7031926B2 (en) | 2000-10-23 | 2006-04-18 | Nokia Corporation | Spectral parameter substitution for the frame error concealment in a speech decoder |
| US7590525B2 (en) * | 2001-08-17 | 2009-09-15 | Broadcom Corporation | Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
| CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
| JP4445328B2 (ja) * | 2004-05-24 | 2010-04-07 | パナソニック株式会社 | 音声・楽音復号化装置および音声・楽音復号化方法 |
| KR100723409B1 (ko) * | 2005-07-27 | 2007-05-30 | 삼성전자주식회사 | 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치 |
| EP1853092B1 (en) * | 2006-05-04 | 2011-10-05 | LG Electronics, Inc. | Enhancing stereo audio with remix capability |
| TWI467979B (zh) * | 2006-07-31 | 2015-01-01 | Qualcomm Inc | 用於信號改變偵測之系統、方法及裝置 |
| KR20090076964A (ko) | 2006-11-10 | 2009-07-13 | 파나소닉 주식회사 | 파라미터 복호 장치, 파라미터 부호화 장치 및 파라미터 복호 방법 |
| KR101291193B1 (ko) * | 2006-11-30 | 2013-07-31 | 삼성전자주식회사 | 프레임 오류은닉방법 |
| BRPI0808200A8 (pt) | 2007-03-02 | 2017-09-12 | Panasonic Corp | Dispositivo de codificação de áudio e dispositivo de decodificação de áudio |
| CN101542593B (zh) * | 2007-03-12 | 2013-04-17 | 富士通株式会社 | 语音波形内插装置及方法 |
| JP5021809B2 (ja) * | 2007-06-08 | 2012-09-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出 |
| US8527265B2 (en) * | 2007-10-22 | 2013-09-03 | Qualcomm Incorporated | Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs |
| JP4977157B2 (ja) * | 2009-03-06 | 2012-07-18 | 株式会社エヌ・ティ・ティ・ドコモ | 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム |
| CN101958119B (zh) * | 2009-07-16 | 2012-02-29 | 中兴通讯股份有限公司 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
| WO2011161886A1 (ja) * | 2010-06-21 | 2011-12-29 | パナソニック株式会社 | 復号装置、符号化装置およびこれらの方法 |
| CN101894558A (zh) * | 2010-08-04 | 2010-11-24 | 华为技术有限公司 | 丢帧恢复方法、设备以及语音增强方法、设备和系统 |
| EP3518234B1 (en) * | 2010-11-22 | 2023-11-29 | NTT DoCoMo, Inc. | Audio encoding device and method |
| JP5694745B2 (ja) * | 2010-11-26 | 2015-04-01 | 株式会社Ｎｔｔドコモ | 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム |
| JP5981408B2 (ja) * | 2013-10-29 | 2016-08-31 | 株式会社Ｎｔｔドコモ | 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム |
| EP3483883A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
-
2013
- 2013-10-29 JP JP2013224120A patent/JP5981408B2/ja active Active
-
2014
- 2014-10-10 CN CN201910588808.9A patent/CN110176239B/zh active Active
- 2014-10-10 HU HUE19167229A patent/HUE063871T2/hu unknown
- 2014-10-10 CN CN201910588571.4A patent/CN110164457B/zh active Active
- 2014-10-10 WO PCT/JP2014/077215 patent/WO2015064346A1/ja active Application Filing
- 2014-10-10 FI FIEP19167229.4T patent/FI3528247T3/fi active
- 2014-10-10 TR TR2019/09126T patent/TR201909126T4/tr unknown
- 2014-10-10 KR KR1020197009868A patent/KR102036704B1/ko active IP Right Grant
- 2014-10-10 ES ES14857728T patent/ES2732440T3/es active Active
- 2014-10-10 DK DK19167229.4T patent/DK3528247T3/da active
- 2014-10-10 KR KR1020197030949A patent/KR102155618B1/ko active IP Right Grant
- 2014-10-10 RU RU2016120629A patent/RU2651234C2/ru active
- 2014-10-10 EP EP14857728.1A patent/EP3065134B1/en active Active
- 2014-10-10 PL PL14857728T patent/PL3065134T3/pl unknown
- 2014-10-10 AU AU2014341476A patent/AU2014341476B2/en active Active
- 2014-10-10 EP EP19167220.3A patent/EP3528246A1/en active Pending
- 2014-10-10 CN CN201480041188.2A patent/CN105393303B/zh active Active
- 2014-10-10 EP EP24178190.5A patent/EP4398504A3/en active Pending
- 2014-10-10 CA CA3081225A patent/CA3081225C/en active Active
- 2014-10-10 FI FIEP19167283.1T patent/FI3528248T3/fi active
- 2014-10-10 KR KR1020177032708A patent/KR101978997B1/ko active IP Right Grant
- 2014-10-10 EP EP19167229.4A patent/EP3528247B1/en active Active
- 2014-10-10 DK DK14857728.1T patent/DK3065134T3/da active
- 2014-10-10 PT PT14857728T patent/PT3065134T/pt unknown
- 2014-10-10 BR BR122017020760-1A patent/BR122017020760B1/pt active IP Right Grant
- 2014-10-10 KR KR1020177020417A patent/KR101798635B1/ko active IP Right Grant
- 2014-10-10 ES ES19167229T patent/ES2959667T3/es active Active
- 2014-10-10 CA CA3002931A patent/CA3002931C/en active Active
- 2014-10-10 CA CA2918715A patent/CA2918715C/en active Active
- 2014-10-10 BR BR112016003291-8A patent/BR112016003291B1/pt active IP Right Grant
- 2014-10-10 PT PT191672294T patent/PT3528247T/pt unknown
- 2014-10-10 MX MX2016005162A patent/MX347234B/es active IP Right Grant
- 2014-10-10 CN CN201910588809.3A patent/CN110164458A/zh active Pending
- 2014-10-10 DK DK19167283.1T patent/DK3528248T3/da active
- 2014-10-10 RU RU2018112250A patent/RU2682927C2/ru active
- 2014-10-10 SG SG11201600542VA patent/SG11201600542VA/en unknown
- 2014-10-10 CN CN201910588824.8A patent/CN110265045B/zh active Active
- 2014-10-10 PL PL19167229.4T patent/PL3528247T3/pl unknown
- 2014-10-10 CA CA3168576A patent/CA3168576A1/en active Pending
- 2014-10-10 RU RU2018112249A patent/RU2680748C1/ru active
- 2014-10-10 MY MYPI2016700196A patent/MY179197A/en unknown
- 2014-10-10 CN CN201910588565.9A patent/CN110164456B/zh active Active
- 2014-10-10 PT PT191672831T patent/PT3528248T/pt unknown
- 2014-10-10 KR KR1020167002244A patent/KR101764234B1/ko active Application Filing
- 2014-10-10 EP EP19167283.1A patent/EP3528248B8/en active Active
-
2016
- 2016-01-19 MY MYPI2018702836A patent/MY191134A/en unknown
- 2016-01-19 MY MYPI2018702837A patent/MY191135A/en unknown
- 2016-04-28 US US15/141,346 patent/US9799344B2/en active Active
- 2016-09-23 HK HK16111241.6A patent/HK1223188A1/zh unknown
-
2017
- 2017-07-06 AU AU2017204606A patent/AU2017204606B2/en active Active
- 2017-09-15 US US15/706,474 patent/US10152982B2/en active Active
-
2018
- 2018-10-17 US US16/163,118 patent/US10621999B2/en active Active
- 2018-12-04 AU AU2018274861A patent/AU2018274861B2/en active Active
-
2019
- 2019-02-11 RU RU2019103676A patent/RU2701075C1/ru active
- 2019-03-14 RU RU2019107149A patent/RU2707727C1/ru active
-
2020
- 2020-04-09 US US16/844,653 patent/US11270715B2/en active Active
- 2020-12-24 AU AU2020294314A patent/AU2020294314B2/en active Active
-
2021
- 2021-12-29 AU AU2021290404A patent/AU2021290404B2/en active Active
-
2022
- 2022-01-13 US US17/575,321 patent/US11749291B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5673363A (en) * | 1994-12-21 | 1997-09-30 | Samsung Electronics Co., Ltd. | Error concealment method and apparatus of audio signals |
| RU2213422C2 (ru) * | 1997-10-09 | 2003-09-27 | Айбиквити Диджитал Корпорейшн | Система и способ сглаживания периодических прерываний в системе радиовещания аудиосигнала |
| US7596492B2 (en) * | 2003-12-26 | 2009-09-29 | Electronics And Telecommunications Research Institute | Apparatus and method for concealing highband error in split-band wideband voice codec and decoding |
| US20070271480A1 (en) * | 2006-05-16 | 2007-11-22 | Samsung Electronics Co., Ltd. | Method and apparatus to conceal error in decoded audio signal |
| RU2428747C2 (ru) * | 2006-07-31 | 2011-09-10 | Квэлкомм Инкорпорейтед | Системы, способы и устройство для широкополосного кодирования и декодирования неактивных кадров |
| US20080092019A1 (en) * | 2006-09-26 | 2008-04-17 | Nokia Corporation | Supporting a decoding of frames |
| US20080126904A1 (en) * | 2006-11-28 | 2008-05-29 | Samsung Electronics Co., Ltd | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| WO2008066264A1 (en) * | 2006-11-28 | 2008-06-05 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| EP2482278A1 (en) * | 2006-11-28 | 2012-08-01 | Samsung Electronics Co., Ltd. | Frame error concealment method and apparatus and decoding method and apparatus using the same |
| EP2068306A1 (en) * | 2007-09-15 | 2009-06-10 | Huawei Technologies Co., Ltd. | Frame error concealment method and apparatus for highband signal |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2707727C1 (ru) | Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала | |
| JP6691169B2 (ja) | 音声信号処理方法及び音声信号処理装置 | |
| JP6914390B2 (ja) | 音声信号処理方法 | |
| JP6352487B2 (ja) | 音声信号処理方法及び音声信号処理装置 | |
| JP6133454B2 (ja) | 音声信号処理方法及び音声信号処理装置 |