RU2426180C2 - Calculation and adjustment of audio signal audible volume and/or spectral balance - Google Patents

Calculation and adjustment of audio signal audible volume and/or spectral balance Download PDF

Info

Publication number
RU2426180C2
RU2426180C2 RU2008143336/09A RU2008143336A RU2426180C2 RU 2426180 C2 RU2426180 C2 RU 2426180C2 RU 2008143336/09 A RU2008143336/09 A RU 2008143336/09A RU 2008143336 A RU2008143336 A RU 2008143336A RU 2426180 C2 RU2426180 C2 RU 2426180C2
Authority
RU
Russia
Prior art keywords
specific loudness
audio signal
approximation
loudness
method
Prior art date
Application number
RU2008143336/09A
Other languages
Russian (ru)
Other versions
RU2008143336A (en
Inventor
Алан Джеффри СИФЕЛЬДТ (US)
Алан Джеффри Сифельдт
Original Assignee
Долби Лэборетериз Лайсенсинг Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US78953906P priority Critical
Priority to US60/789,539 priority
Application filed by Долби Лэборетериз Лайсенсинг Корпорейшн filed Critical Долби Лэборетериз Лайсенсинг Корпорейшн
Publication of RU2008143336A publication Critical patent/RU2008143336A/en
Application granted granted Critical
Publication of RU2426180C2 publication Critical patent/RU2426180C2/en

Links

Images

Classifications

    • HELECTRICITY
    • H03BASIC ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/16Automatic control
    • H03G5/165Equalizers; Volume or gain control in limited frequency bands
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 specially adapted for particular use
    • G10L25/69Speech or voice analysis techniques not restricted to a single one of groups G10L15/00-G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • HELECTRICITY
    • H03BASIC ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0264Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques

Abstract

FIELD: physics.
SUBSTANCE: audio signal processing makes sense in volume adjustment with volume compensation, dynamic correction and compensation of background noise in audio playback hardware. Modification parameters are used to modify audio signal to reduce difference between specific volume and target specific volume.
EFFECT: higher intelligibility.
26 cl, 19 dwg

Description

ОБЛАСТЬ ТЕХНИКИ TECHNICAL FIELD

Изобретение относится к обработке звуковых сигналов. The invention relates to audio signal processing. Более точно, изобретение относится к измерению и регулировке воспринимаемой громкости звука и/или воспринимаемого спектрального баланса звукового сигнала. More precisely, the invention relates to measuring and adjusting the perceived loudness of sound and / or the perceived spectral balance of the audio signal. Изобретение, например, полезно в одном или более из: регулировки уровня громкости с компенсацией громкости, автоматической регулировки усиления, регулировки динамического диапазона (в том числе, например, ограничителях, компрессорах, расширителях динамического диапазона и т.п.), динамической коррекции и компенсации шумовых фоновых помех в средах воспроизведения аудио. The invention, for example, be useful in one or more of: adjusting the volume with the volume-compensated automatic gain control, dynamic range adjustment (including, e.g., limiters, compressors, expanders dynamic range and the like), dynamic correction and compensation noise background noise in the audio playback environments. Изобретение включает в себя не только способы, но также и соответствующие компьютерные программы и устройство. The invention includes not only methods but also corresponding computer program and apparatus.

УРОВЕНЬ ТЕХНИКИ BACKGROUND

Было много попыток разработать удовлетворительный объективный способ измерения громкости. It has been many attempts to develop a satisfactory objective method of measuring loudness. Флетчер и Мунсон определили в 1933 году, что человеческий слух менее чувствителен на низких и высоких частотах, чем на средних (или голосовых) частотах. Fletcher and Munson determined in 1933 year that human hearing is less sensitive at low and high frequencies than at middle (or voice) frequencies. Они также обнаружили, что относительное изменение чувствительности уменьшалось по мере того, как уровень звука увеличивался. They also found that the relative change in sensitivity decreases as the sound level increased. Предыдущий измеритель громкости состоял из микрофона, усилителя, измерителя и соединения фильтров, сконструированных, чтобы грубо копировать частотную характеристику слуха на низких, средних и высоких уровнях звука. Previous loudness meter consisted of a microphone, amplifier, meter and connection filters designed to roughly replicate the frequency response of hearing at low, medium and high sound levels.

Даже если такие устройства обеспечивали измерения громкости одиночного изолированного тона постоянного уровня, измерения более сложных звуков не очень хорошо соответствовали субъективным ощущениям громкости. Even if such devices provide measurements of isolated single tone volume constant level measurement more complex sounds are not well matched subjective loudness sensation. Измерители уровня звука этого типа были стандартизованы, но использовались только для специфических задач, таких как дозиметрический контроль и надзор за промышленными шумами. Sound Level Meters of this type have been standardized but were only used for specific tasks, such as radiation monitoring and supervision of industrial noise.

В начале 1950-х Звикер и Стивенс, среди прочего, продолжили работу Флетчера и Мунсона по разработке более реалистичной модели процесса восприятия громкости. In the early 1950s Zviker and Stevens, among others, continued the work of Fletcher and Munson in developing more realistic model of the loudness perception process. Стивенс опубликовал способ для «Расчета громкости смешанного шума» в журнале Акустического общества Америки в 1956 году, а Звикер опубликовал свою статью «Psychological and Methodical Basis of Loudness» («Психологическая и методическая основа громкости») в Acoustica в 1958 году. Stevens published a method for the "Calculation of the volume of the mixed noise" in the Journal of the Acoustical Society of America in 1956, and published his article Zviker «Psychological and Methodical Basis of Loudness» ( «Psychological and methodological basis of the volume") in Acoustica in 1958. В 1959 году Звикер опубликовал графический метод для расчета громкости, а также несколько подобных статей вскоре после этого. In 1959 Zviker published graphical method to calculate the volume, as well as several similar articles shortly after. Способы Стивенса и Звикера были стандартизованы в качестве ISO 532, частей A и B (соответственно). Stevens Zvikera methods were standardized as ISO 532, parts A and B (respectively). Оба способа заключали в себе сходные этапы. Both are capable of containing a similar steps.

Прежде всего, зависящее от времени распределение энергии вдоль базилярной мембраны внутреннего уха, указываемое ссылкой как накачка, имитируется прохождением звукового сигнала через гребенку полосовых слуховых фильтров с центральными частотами, равномерно разнесенными по ступенчатой шкале критических полос. First of all, the time-dependent distribution of energy along the basilar membrane of the inner ear, referred to as pumping, simulates the passage of sound through hearing comb bandpass filters with center frequencies equally spaced by the step scale of critical bands. Каждый слуховой фильтр предназначен для имитации частотной характеристики в конкретном местоположении вдоль базилярной мембраны внутреннего уха, с центральной частотой фильтра, соответствующей этому местоположению. Each auditory filter is designed to simulate the frequency response at a particular location along the basilar membrane of the inner ear, with the central frequency of the filter corresponding to this location. Ширина критической полосы определена как ширина полосы пропускания одного такого фильтра. The width of the critical band is defined as the bandwidth of such a filter. Измеряемая в единицах Герц, ширина критической полосы этих слуховых фильтров увеличивается с увеличением центральной частоты. Measured in Hertz units, the critical band of auditory filters increases with increasing center frequency. Поэтому полезно определять криволинейную шкалу частот из условия, чтобы ширина критической полосы для всех слуховых фильтров, измеренная по этой криволинейной шкале, была постоянной. Therefore it is useful to define a curved scale of frequencies such that the width of the critical band for all of the auditory filters measured by this curved scale constant. Такая криволинейная шкала указывается ссылкой как ступенчатая шкала критических полос и очень полезна в понимании и имитации широкого диапазона физиологических феноменов. Such curved scale is referred to as critical bands speed range and is very useful in understanding and simulate a wide range of physiological phenomena. Например, смотрите Psychoacoustics - Facts and Models by E. Zwicker and H. Fasti, Springer-Verlag, Berlin, 1990 ( Психоакустика - факты и модели по Е. Звикеру и Х.Фасти, Спрингер-Верлаг, Берлин, 1990 год). For example, look Psychoacoustics - Facts and Models by E. Zwicker and H. Fasti, Springer-Verlag, Berlin, 1990 (Psychoacoustics - Facts and Models by E. Zvikeru and H.Fasti, Springer-Verlag, Berlin, 1990). Способы Стивенса и Звикера используют ступенчатую шкалу критических полос, указываемую ссылкой как шкала Барка, в которой ширина критической полосы является постоянной ниже 500 Гц и увеличивается выше 500 Гц. Stevens Zvikera methods use a stepped scale the critical bands is referred to as Bark scale, in which the critical band is constant below 500 Hz and is increased above 500 Hz. Позднее, Мур и Глазберг определили ступенчатую шкалу критических полос, которую они назвали шкалой, эквивалентной прямоугольной полосы пропускания (ERB) (BCJ Moore, B. Glasberg, T. Baer, «A Model for the Prediction of Thresholds, Loudness, and Partial Loudness», Journal of the Audio Engineering Society, Vol. 45, No. 4, April 1997, pp. 224-240 (Б. Ц. Дж. Мур, Б. Глазберг, Т. Баер, «Модель для предсказания пороговых значений, громкости и громкости частичных тонов», Журнал сообщества звукотехники, том 45, № 4, Апрель 1997 г., стр. 224-240)). Later, Moore and Glasberg defined a stepped scale the critical bands, which they called scale, the equivalent rectangular bandwidth (ERB) (BCJ Moore, B. Glasberg, T. Baer, ​​«A Model for the Prediction of Thresholds, Loudness, and Partial Loudness» , Journal of the Audio Engineering Society, Vol. 45, No. 4, April 1997, pp. 224-240 (J. B. Ts. Moore, B. Glasberg, T. Baer, "A model for the prediction of thresholds, loudness and partials volume "community phonics Journal, volume 45, number 4, April 1997, pp. 224-240)). Благодаря психоакустическим экспериментам с использованием маскеров шума с узкополосным провалом в спектре Мур и Глазберг продемонстрировали, что ширина критической полосы продолжает уменьшаться ниже 500 Гц, в противоположность шкале Барка, где ширина критической полосы остается постоянной. Due psychoacoustic experiments using the narrowband noise Musker failure in the spectrum of Moore and Glasberg demonstrated that the critical band continues to decrease below 500 Hz, as opposed to the Bark scale where the critical band width remains constant.

Последующее вычисление накачки является функцией нелинейного сжатия, которая формирует параметр указываемый ссылкой как «удельная громкость». The subsequent calculation is a function of pumping the nonlinear compression, which forms a parameter referred to as a "specific volume". Удельная громкость является мерой громкости восприятия в качестве функции частоты и времени и может измеряться в единицах громкости восприятия на единичную частоту по ступенчатой шкале критических полос, такой как шкала Барка или ERB, обсужденная выше. Specific loudness is a measure of perceptual loudness as a function of time and frequency and can be measured in terms of the perception of loudness per unit frequency of a stepped scale the critical bands, such as the Bark scale or the ERB, discussed above. Умозрительно, удельная громкость представляет непрерывное распределение громкости в качестве функции частоты и времени, а зависящая от времени «полная громкость» вычисляется интегрированием этого распределения по частоте. Conceptually, the specific volume is the volume a continuous distribution as a function of frequency and time, and "full volume" depends on the time calculated by integrating this distribution frequency. На практике точное восприятие удельной громкости получается дискретизацией этого распределения равномерно по ступенчатой шкале критических полос, например, посредством использования слуховых фильтров, упомянутых выше. In practice, the specific loudness perception current obtained by discretization of the distribution uniformly in a stepped scale the critical bands, e.g., through the use of auditory filters, referred to above. В этом случае полная громкость может вычисляться простым суммированием удельной громкости из каждого фильтра. In this case, the total volume can be calculated by simply summing the specific loudness of each filter. Для уменьшения сложности некоторые приложения могут вычислять грубое приближение для удельной громкости за счет незначительных неточностей в оценке и модификации воспринимаемой громкости. To reduce the complexity, some applications can calculate a rough approximation to specific loudness due to minor inaccuracies in the evaluation and modification of perceived loudness. Такие приближения позже будут обсуждены более подробно. Such approach will be discussed later in more detail.

Громкость может измеряться в единицах фонов. The volume can be measured in terms of backgrounds. Громкостью заданного в фонах звука является уровень звукового давления (SPL) тона в 1 кГц, имеющий субъективную громкость, равную таковой у звука. Volume specified in the backgrounds of sound is the sound pressure level (SPL) 1 kHz tone having subjective loudness equal to that of the sound. Традиционно началом отсчета 0 дБ для SPL является среднеквадратическое давление 2×10 -5 Паскалей и поэтому это также является началом отсчета 0 фонов. Traditionally, the origin 0 dB SPL is the standard pressure of 2 × 10 5 Pascals, and therefore this is also the origin 0 backgrounds. Используя это определение при сравнении громкости тонов на частотах, иных чем 1 кГц, с громкостью на 1 КГц, может быть определена кривая равной громкости для заданного в фонах уровня. Using this definition in comparing loudness of tones at frequencies other than 1 kHz with a volume of 1 kHz may be determined equal loudness curve, for a given level in the backgrounds. Фиг.11 показывает кривые равной громкости для частот между 20 Гц и 12,5 кГц, и для уровней в фонах между 4,2 фона (считается порогом слышимости) и 120 фонами (ISO226: 1087 (E), «Acoustics - Normal equal loudness level contours» («Акустика - нормальные кривые равного уровня громкости»)). 11 shows the equal loudness curves for frequencies between 20 Hz and 12.5 kHz, and for the levels in the backgrounds between 4.2 background (considered the threshold of hearing) and 120 backgrounds (ISO226: 1087 (E), «Acoustics - Normal equal loudness level contours »(« Acoustics - normal curves of equal volume ")). Измерение в фонах учитывает меняющуюся чувствительность человеческого слуха в зависимости от частоты, но результаты не предоставляют возможности оценки относительных субъективных громкостей звука при переменных уровнях, так как нет попытки ввести поправку на нелинейность увеличения громкости в зависимости от SPL, то есть на то обстоятельство, что интервал кривых меняется. Measurement in the backgrounds allows for changing the sensitivity of human hearing depends on the frequency, but the results do not provide the possibility of assessing the relative subjective loudness of sounds at varying levels, as there is no attempt to correct for non-linearity increase the volume depending on the SPL, ie the fact that the interval curves changes.

Громкость также может измеряться в единицах «сонов». The volume can also be measured in units of "sones". Есть однозначное соответствие между единицами фонов и единицам сонов, которое указано на фиг.11. There is one correspondence between units and units backgrounds sones, which is indicated in Figure 11. Один сон определен в качестве громкости немодулированной гармонической волны 1 кГц при 40 дБ (SPL) и равен 40 фонам. One sleep is defined as the volume of the unmodulated sine wave at 1 kHz 40 dB (SPL) and is 40 backgrounds. Единицы сонов являются такими, что двойное увеличение в сонах соответствует удвоению воспринимаемой громкости. sones units are such that a twofold increase in sones corresponds to a doubling of perceived loudness. Например, 4 сона воспринимаются как громкость, вдвое большая той, что в 2 сона. For example, 4 sone perceived as loudness, twice that which is 2 sone. Таким образом, выражение уровней громкости в сонах является более информативным. Thus, the expression levels of volume in sones is more informative. При условии определения удельной громкости как показателя громкости восприятия в качестве функции частоты и времени удельная громкость может измеряться в единицах сонов на единичную частоту. Provided determine specific loudness perception as an indicator of the volume as a function of time and frequency of specific loudness may be measured in units of sones per unit frequency. Таким образом, при использовании шкалы Барка удельная громкость обладает единицами сонов на Барк и, подобным образом, с использованием шкалы ERB единицами являются соны на ERB. Thus, by using the specific loudness has units of Bark Scale Bark sones on and, similarly, using the ERB scale units are Saone to ERB.

Как упомянуто выше, чувствительность человеческого уха изменяется как в зависимости от частоты, так и от уровня, обстоятельство, хорошо документированное в литературе по психоакустике. As mentioned above, the sensitivity of the human ear varies as a function of frequency and of level fact well documented in the literature by psychoacoustics. Одно из следствий состоит в том, что воспринимаемый спектр или тембр данного звука меняется в зависимости от акустического уровня, при котором звук прослушивается. One consequence is that the perceived spectrum of the sound or tone changes depending on the acoustic level at which the sound is heard. Например, для звука, содержащего низкие, средние и высокие частоты, воспринимаемые относительные пропорции таких частотных составляющих изменяются с общей громкостью звука; For example, for sound, low, medium and high frequencies, the perceived relative proportions of such frequency components vary with the overall volume of the sound; когда она тихая, низкие и высокие частотные составляющие звучат тише относительно средних частот, чем они звучат, когда она громкая. when it is quiet, low and high frequency components of the sound is quieter compared to the average frequency than they sound when it is loud. Это явление общеизвестно, и было уменьшено в оборудовании воспроизведения звука посредством так называемых тонкомпенсированных регуляторов громкости. This phenomenon is well known and has been reduced in the equipment sound reproduction by means of so-called tonkompensirovannyh volume controls. Тонкомпенсированный регулятор громкости является регулятором уровня громкости, который применяет низкочастотный, а иногда также и высокочастотный подъем по мере того как уровень громкости убавляется. Tonkompensirovanny volume regulator is a regulator of the volume, which applies a low frequency, and sometimes also the high rise as the volume decreases. Таким образом, меньшая чувствительность уха на крайних значениях частот компенсируется искусственным подъемом таких частот. Therefore, lower sensitivity of the ear at the extreme values ​​of the frequency offset artificially lifted such frequencies. Такие регуляторы являются полностью пассивными; Such regulators are completely passive; степень применяемой компенсации является функцией настройки регулятора громкости или некоторого другого управляемого пользователем регулятора, не в качестве функции контента звуковых сигналов. the degree of compensation applied is the volume control setting function, or some other user-managed regulator, not as a function of the content of audio signals.

На практике изменения воспринимаемого относительного спектрального баланса между низкими, средними и высокими частотами зависят от сигнала, в частности от его действующего спектра и от того, предназначено ли ему быть громким или тихим. In practice, changes in the relative perceived spectral balance between low, medium and high frequencies are dependent on the signal, in particular of its active range and on whether it is intended to be loud or quiet. Рассмотрим запись симфонического оркестра. Consider the record of a symphony orchestra. Воспроизводимый на одном и том же уровне, который слышал бы член публики в концертном зале, баланс по ширине спектра может быть правильным, громко или тихо играет оркестр. Playable on the same level, which would hear a member of the audience in the concert hall, the balance of spectral width may be correct, loud or quietly played by an orchestra. Если музыка воспроизводится, например, тише на 10 дБ, воспринимаемый баланс по ширине спектра изменяется одним образом для громких пассажей и изменяется другим образом для тихих пассажей. If the music is played, for example, 10 dB quieter perceived spectral balance of the width change in one way for loud passages and otherwise modified for quiet passages. Традиционный пассивный тонкомпенсированный регулятор громкости не применяет разные компенсации в качестве функции музыки. Traditional passive tonkompensirovanny volume control does not apply different compensation as music functions.

В международной патентной заявке № PCT/US 2004/016964, зарегистрированной 27 мая 2004 года, опубликованной 23 декабря 2004 года в качестве WO 2004/111994 A2, Шифельдт и другие раскрывают, среди прочего, систему для измерения и настройки воспринимаемой громкости звукового сигнала. International Patent Application № PCT / US 2004/016964, filed May 27, 2004, published on December 23, 2004 as WO 2004/111994 A2, Shifeldt and others reveal, among other things, a system for measuring and setting the perceived sound volume. Упомянутая заявка PCT, которая указывает Соединенные Штаты, настоящим включена в состав посредством ссылки во всей своей полноте. Referred to the PCT application, which indicates the United States, it is hereby incorporated by reference in its entirety. В упомянутой заявке психоакустическая модель рассчитывает громкость звукового сигнала в единицах восприятия. In the said application psychoacoustic model calculates the sound volume in units of perception. В дополнение заявка учреждает технологию для вычисления широкополосного мультипликативного коэффициента усиления, который, когда применяется к аудио, дает в результате громкость модифицированного по коэффициенту усиления аудио, по существу, являющуюся такой же, как эталонная громкость. In addition, the application establishes a technology for calculating the wideband multiplicative gain, which, when applied to the audio, results in the loudness of the modified audio gain, is substantially the same as the reference loudness. Однако применение такого широкополосного усиления изменяет воспринимаемый спектральный баланс аудио. However, such a broadband gain alters the perceived spectral balance of the audio.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION

В одном из аспектов изобретение предусматривает извлечение информации, используемой для регулирования удельной громкости звукового сигнала модифицированием звукового сигнала, для того чтобы уменьшить разницу между его удельной громкостью и целевой удельной громкостью. In one aspect of the invention involves extracting information used for controlling the specific loudness of sound signal modifying the audio signal to reduce the difference between its specific loudness and a target specific loudness. Удельная громкость является мерой громкости восприятия в качестве функции частоты и времени. The specific volume is a measure of perceptual loudness as a function of frequency and time. В практических реализациях удельная громкость модифицированного звукового сигнала может делаться приближающейся к целевой удельной громкости. In practical implementations, the specific loudness of the modified audio signal may be made to the approaching target specific loudness. Приближение может находиться под влиянием не только соображений обычной сигнальной обработки, но также и временного и/или частотного сглаживания, которое может применяться при модифицировании, как описано ниже. The approximation may be affected not only ordinary signal processing considerations but also temporary and / or frequency-smoothing that may be used in the modification as described below.

Так как удельная громкость является мерой громкости восприятия звукового сигнала как функции частоты и времени, для того чтобы уменьшить разность между удельной громкостью звукового сигнала и целевой удельной громкостью, модифицирование может модифицировать звуковой сигнал в качестве функции частоты. Because specific loudness is a measure of perceptual loudness as a beep function of frequency and time, in order to reduce the difference between the specific loudness of sound signal and the target specific loudness, modifying may modify the audio signal as a function of frequency. Хотя в некоторых случаях целевая удельная громкость может быть не зависящей от времени, и сам звуковой сигнал может быть установившимся не зависящим от времени сигналом, типично модифицирование также может модифицировать звуковой сигнал в качестве функции времени. Although in some cases the target specific loudness may be time-dependent, and the audio signal itself can not be established depends on the time signal, typically modifying may also modify the audio signal as a function of time.

Аспекты настоящего изобретения также могут применяться для компенсации фонового шума, вмешивающегося в среду воспроизведения аудио. Aspects of the present invention may also be used to compensate for background noise interfering in an audio playback environment. Когда аудио прослушивается в присутствии фонового шума, шум может частично или полностью маскировать аудио некоторым образом, зависимым как от уровня и спектра аудио, так и от уровня и спектра шума. When audio is heard in the presence of background noise, noise may partially or fully mask the audio in a manner dependent on both the level and spectrum of the audio, and the level and noise spectrum. Результатом является перестройка воспринимаемого спектра аудио. The result is a restructuring of the perceived audio spectrum. В соответствии с психоакустическим учением (например, смотрите Moore, Glasberg, and Baer, «A Model for the Prediction of Thresholds, Loudness, and Partial Loudness», J. Audio Eng. Soc, Vol. 45, No. 4, April 1997 (Мур, Глазберг и Баер, «Модель для предсказания пороговых значений, громкости и громкости частичных тонов», журнал сообщества звукотехники, том 45, №4, апрель 1997 г.)), можно определять «удельную громкость частичных тонов» аудио как громкость восприятия аудио в присутствии вторичного мешающего звукового сигнала, такого как шум. In accordance with the teachings of psychoacoustic (e.g., see Moore, Glasberg, and Baer, « A Model for the Prediction of Thresholds, Loudness, and Partial Loudness», J. Audio Eng. Soc, Vol. 45, No. 4, April 1997 ( Moore, Glasberg and Baer, ​​"The model to predict thresholds, volume and volume partials" phonics community magazine, volume 45, №4, April 1997)), it is possible to determine the "specific volume partials" audio such as the volume of audio perception in the presence of a secondary interfering sound signal, such as noise.

Таким образом, в еще одном аспекте изобретение предусматривает извлечение информации, используемой для регулирования удельной громкости звукового сигнала, модифицированием звукового сигнала, для того чтобы уменьшить разницу между его удельной громкостью частичных тонов и целевой удельной громкостью. Thus, in another aspect, the invention involves extracting information used for adjusting the specific loudness audio signal by modifying the audio signal to reduce the difference between its partial specific loudness of tones and the target specific loudness. Выполнение этого смягчает влияния шума точным по ощущениям образом. Doing this will soften the effects of noise on the exact sensations way. В этом и других аспектах изобретения, которые учитывают мешающий шумовой сигнал, предполагается, что есть доступ отдельно к звуковому сигналу и отдельно к вторичному мешающему сигналу. In this and other aspects of the invention, which take into account the interfering noise signal, it is assumed that there is access to the audio signal separately and individually to the secondary interfering signal.

В еще одном аспекте изобретение предусматривает регулирование удельной громкости звукового сигнала модифицированием звукового сигнала, для того чтобы уменьшать разницу между его удельной громкостью и целевой удельной громкостью. In yet another aspect, the invention includes adjusting the specific loudness of sound signal modifying audio signal to reduce the difference between its specific loudness and a target specific loudness.

В еще одном аспекте изобретение предусматривает регулирование удельной громкости частичных тонов звукового сигнала модифицированием звукового сигнала, для того чтобы уменьшать разницу между его удельной громкостью и целевой удельной громкостью. In yet another aspect, the invention includes adjusting the partial specific loudness of tones audio signal by modifying the audio signal to reduce the difference between its specific loudness and a target specific loudness.

Когда целевая удельная громкость не является функцией звукового сигнала, она может быть хранимой и принимаемой целевой удельной громкостью. When the target specific loudness is not a function of the audio signal, it can be stored and the received target specific loudness. Когда целевая удельная громкость не является функцией звукового сигнала, модифицирование или получение может явно или неявно рассчитывать удельную громкость или удельную громкость частичных тонов. When the target specific loudness is not a function of the audio signal, obtaining modification or may explicitly or implicitly calculate specific loudness or partial specific loudness of tones. Примеры неявного расчета включают в себя справочную таблицу или «отражающее ряд решений» математическое выражение, в котором удельная громкость и/или удельная громкость частичных тонов определяется по своей природе (термин, отражающий ряд решений, упомянут для описания математического выражения, которое может быть точно представлено с использованием конечного количества стандартных математических операций и функций, таких как возведение в степень и косинус). Examples of implicit calculation include a lookup table or "reflecting the number of decisions" mathematical expression, in which specific loudness and / or the specific volume partials is determined by its nature (the term reflecting a number of decisions, is referred to describe a mathematical expression, which can be accurately represented by using a finite number of standard mathematical operations and functions, such as exponentiation and cosine). К тому же, когда целевая удельная громкость не является функцией звукового сигнала, целевая удельная громкость может быть независящей как от времени, так и от частоты, или она может быть независящей только от времени. Besides, when the target specific loudness is not a function of the audio signal, a target specific loudness may be independent of both time and frequency, or it may be independent of time only.

В еще одном другом аспекте изобретение предусматривает обработку звукового сигнала посредством обработки звукового сигнала или показателя звукового сигнала в соответствии с одной или более последовательностей операций или одним или более параметрами управления последовательностью операций для формирования целевой удельной громкости. In yet another aspect, the invention provides processing an audio signal by processing the audio signal or measure a sound signal in accordance with one or more operating sequences or one or more sequence parameter control operations for generating target specific loudness. Хотя целевая удельная громкость может быть независящей от времени («неизменной»), целевая удельная громкость преимущественно может быть функцией удельной громкости звукового сигнала. Although the target specific loudness may be independent of time ( "unchanged"), the target specific loudness may advantageously be a function of the specific loudness sound signal. Хотя она может быть статическим, независящим от частоты и времени сигналом, типично сам звуковой сигнал является зависящим от частоты и времени, таким образом заставляя целевую удельную громкость быть зависящей от частоты и времени, когда она является функцией звукового сигнала. Although it may be static, independent of frequency and time signal, typically a self audio signal is independent of frequency and time, thereby causing the target specific loudness be dependent on the frequency and the time when it is a function of the audio signal.

Аудио и целевая удельная громкость или представление целевой удельной громкости могут приниматься из передаваемых данных или воспроизводиться с запоминающего носителя. Audio and target specific loudness or representation of target specific loudness may be received from or transmitted data reproduced from the storage medium.

Представление целевой удельной громкости может быть одним или более масштабными коэффициентами, которые масштабируют звуковой сигнал или показатель звукового сигнала. Introduction of the target specific loudness may be one or more scale factors that scale the audio signal or the sound signal component.

Целевая удельная громкость любого из вышеприведенных аспектов изобретения может быть функцией звукового сигнала или показателя звукового сигнала. Target specific volume of any of the above aspects of the invention may be a function of the audio signal or measure the audio signal. Одним из подходящих показателей звукового сигнала является удельная громкость звукового сигнала. One suitable indicators audio signal is the specific volume of the audio signal. Функция звукового сигнала или показателя звукового сигнала может быть масштабированием звукового сигнала или показателя звукового сигнала. beep function or metric audio signal may be scaled audio signal or an audio signal indicator. Например, масштабирование может быть одним или комбинацией из масштабирований: For example, the scaling may be one or a combination of the zoom:

(a) зависящего от времени и частоты масштабного коэффициента Ξ[ b , t ], масштабирующего удельную громкость, как в зависимости (a) the time-dependent and frequency scaling factor Ξ [b, t], the specific loudness scaling as depending

Figure 00000001

(b) зависящего от времени, независящего от частоты масштабного коэффициента Φ[ t ], масштабирующего удельную громкость, как в зависимости (b) the time-dependent, independent of the frequency scale factor Φ [t], the specific loudness scaling as depending

Figure 00000002

(c) независящего от времени, зависящего от частоты масштабного коэффициента Θ[ b ], масштабирующего удельную громкость, как в зависимости (c) independent of time, depending on the frequency scale factor Θ [b], the specific loudness scaling as depending

Figure 00000003

(d) независящего от времени, независящего от частоты масштабного коэффициента α , масштабирующего удельную громкость звукового сигнала, как в зависимости (d) independent of time, independent of frequency scale factor α, the specific loudness scaling the audio signal in dependence

Figure 00000004

в которых in which

Figure 00000005
[ b , t ] - целевая удельная громкость, N [ b , t ] - удельная громкость звукового сигнала, b - показатель частоты, а t - показатель времени. [B, t] - target specific loudness, N [b, t] - specific volume of the audio signal, b - frequency index, and t - time index.

В случае (a) зависящего от времени и частоты масштабного коэффициента масштабирование может определяться по меньшей мере частично отношением требуемой многополосной громкости и многополосной громкости звукового сигнала. In the case of (a) the time-dependent frequency scaling factor and the scaling may be determined at least in part the volume ratio of a desired multiband loudness and multiband audio signal. Такое масштабирование может быть используемым в качестве регулятора динамического диапазона. Such a scaling may be usable as a dynamic range control. Дополнительные подробности аспектов применения изобретения в качестве регулятора динамического диапазона изложены ниже. Further details of aspects of the invention as a dynamic range control are set forth below.

К тому же в случае (a) зависящего от времени и частоты масштабного коэффициента удельная громкость может масштабироваться отношением показателя требуемой спектральной формы к показателю спектральной формы звукового сигнала. Moreover, in the case of (a) the time-dependent and frequency scaling factor specific loudness may be scaled index ratio desired spectral shape to the spectral shape of the indicator tone. Такое масштабирование может применяться для преобразования воспринимаемого спектра звукового сигнала из зависящего от времени воспринимаемого спектра в по существу независящий от времени воспринимаемый спектр. Such scaling may be used to transform the perceived spectrum of the audio signal from the time-dependent perceived spectrum to a substantially time-independent perceived spectrum. Когда удельная громкость масштабируется отношением показателя требуемой спектральной формы к показателю спектральной формы звукового сигнала, такое масштабирование может быть используемым в качестве динамического эквалайзера. When the specific loudness is scaled index ratio desired spectral shape to the spectral shape of the indicator tone, such scaling may be usable as a dynamic equalizer. Дополнительные подробности аспектов применения изобретения в качестве динамического эквалайзера изложены ниже. Further details of aspects of the invention as a dynamic equalizer described below.

В случае (b) зависящего от времени, независящего от частоты масштабного коэффициента, масштабирование может определяться по меньшей мере частично отношением требуемой широкополосной громкости и широкополосной громкости звукового сигнала. In case (b) depending on the time, independent of frequency scaling factor, the scaling may be determined at least in part the volume ratio of a desired wideband loudness and the wideband audio signal. Такое масштабирование может быть используемым в качестве автоматического регулятора усиления или регулятора динамического диапазона. Such a scaling may be usable as an automatic gain control or dynamic range control. Дополнительные подробности аспектов применения изобретения в качестве автоматического регулятора усиления и регулятора динамического диапазона изложены ниже. Further details of aspects of the invention as an automatic gain control and dynamic range control are set forth below.

В случае (a) (зависящего от времени и частоты масштабного коэффициента) или случая (b) (зависящего от времени, независящего от частоты масштабного коэффициента) масштабный коэффициент может быть функцией звукового сигнала или показателем звукового сигнала. In the case of (a) (the time-dependent and frequency scaling factor) or case (b) (depending on time, independent of frequency scaling factor) the scaling factor may be a function of the audio signal or an audio signal indicator.

В обоих, случае (c) независящего от времени, зависящего от частоты масштабного коэффициента или случае (d) зависящего от времени, независящего от частоты масштабного коэффициента, модифицирование или получение может включать в себя хранение масштабного коэффициента, или масштабный коэффициент может приниматься из внешнего источника. In both, the case of (c) independent of time, depending on the frequency scale factor or case (d) the time-dependent, independent of the frequency scale factor, modifying or preparation may include storing the scale factor, or scale factor may be received from an external source .

В любом из случаев (c) и (d) масштабный коэффициент может не быть функцией звукового сигнала или показателя звукового сигнала. In any of the cases (c) and (d) a scaling factor can be a function of the audio signal or measure the audio signal.

В любом из различных аспектов изобретения и его вариантов модифицирование, получение или формирование могут по-разному явно или неявно рассчитывать (1) удельную громкость и/или (2) удельную громкость частичных тонов, и/или (3) целевую удельную громкость. In any of the various aspects of the invention and its modification options, receiving or forming may differently count explicitly or implicitly (1) specific loudness, and / or (2) partial specific loudness of tones, and / or (3) the target specific loudness. Неявные расчеты, например, могут заключать в себе справочную таблицу или отражающее ряд решений математическое выражение. Implicit calculations, for example, may comprise a lookup table or a series of decisions reflecting the mathematical expression.

Параметры модификации могут быть сглаженными во времени. modification parameters can be smoothed over time. Параметрами модификации, например, могут быть (1) множество коэффициентов масштабирования амплитуды, относящихся к полосам частот звукового сигнала, или (2) множество коэффициентов фильтра для управления одним или более фильтрами, такими как многоотводный (с конечной импульсной характеристикой, FIR) КИХ-фильтр или многополюсный (с бесконечной импульсной характеристикой, IIR) БИХ-фильтр. modification parameters, for example, be (1) a plurality of coefficients of the amplitude scale relating to the bands sound frequencies or (2) the set of filter coefficients for controlling one or more filters, such as a rake (finite impulse response, FIR) of FIR filter or multipolar (infinite impulse response, IIR) IIR filter. Коэффициенты масштабирования или коэффициенты фильтра (и фильтры, к которым они применяются) могут быть зависящими от времени. Scaling coefficients or filter coefficients (and the filters to which they apply) may be time-dependent.

При расчете функции удельной громкости звукового сигнала, которая определяет целевую удельную громкость, или инверсии такой функции, последовательность операций или последовательности операций, выполняющие такие расчеты, работают в том, что может быть охарактеризовано как область (психоакустической) громкости восприятия - входными данными и выходными данными расчета являются удельные громкости. When calculating the sound signal specific loudness function which determines a target specific loudness or inversion of such a function, the sequence of operations or sequences of operations, performing such calculations operate in what may be characterized as a region (psychoacoustic) loudness perception - input data and output data the calculation is the specific volume. В противоположность при применении коэффициентов масштабирования амплитуды к полосам частот звукового сигнала или применении коэффициентов фильтра к регулируемой фильтрации звукового сигнала параметры модификации действуют для модифицирования звукового сигнала вне области (психоакустической) громкости восприятия, в том, что может характеризоваться как область электрических сигналов. In contrast, when applying the amplitude scaling factors for frequency bands of an audio signal or filter coefficient applied to the adjustable filtering parameters of the audio signal modification function for modifying the audio signal outside the region (psychoacoustic) loudness perception, that can be characterized as a region of electrical signals. Хотя модификации в отношении звукового сигнала могут производиться в отношении звукового сигнала в области электрических сигналов, такие изменения в области электрических сигналов получаются из расчетов в области (психоакустической) громкости восприятия, из условия, чтобы модифицированный звуковой сигнал имел удельную громкость, которая приближается к требуемой целевой удельной громкости. Although modifications to the audio signal may be made in respect of an audio signal in electric signals, such changes in the electrical signals obtained from the calculations in (psychoacoustic) loudness perception, such that the modified audio signal has a specific loudness that approximates the desired target specific loudness.

Получением параметров модификации из расчетов в области громкости может достигаться больший контроль над громкостью восприятия и спектральным балансом восприятия, чем если бы такие параметры модификации получались в области электрических сигналов. Obtaining modification parameters from calculations in volume can be achieved greater control over perceptual loudness and spectral balance perception than if such modification parameters were obtained in the electrical signals. В дополнение использование психоакустической гребенки фильтров имитации базилярной мембраны или ее эквивалентов при выполнении расчетов в области громкости может обеспечивать более детальное регулирование воспринимаемого спектра, чем в компоновках, которые получают параметры модификации в области электрических сигналов. In addition the use of simulating psychoacoustic filterbank basilar membrane or the equivalents thereof when performing in volume calculations may provide a more detailed control of the perceived spectrum than in arrangements that receive modification parameters in electrical signals.

Каждое из модифицирования, получения и формирования может быть зависимым от одного или более из показателя мешающего звукового сигнала, целевой удельной громкости, оценки удельной громкости немодифицированного звукового сигнала, полученной из удельной громкости или удельной громкости частичных тонов модифицированного звукового сигнала, удельной громкости немодифицированного звукового сигнала и приближения к целевой удельной громкости, полученного из удельной громкости или удельной громкости частичных тонов модифицированного зву Each of modifying, producing, and forming may be dependent on one or more of the indicator of the interfering audio signal, a target specific loudness, estimates the specific loudness of the unmodified audio signal derived from the specific loudness or specific partial tone loudness of the modified audio signal, specific loudness of the unmodified audio signal and approximation to the target specific loudness derived from the specific loudness or partial specific loudness of tones modified ulcer кового сигнала. kovogo signal.

Модифицирование или получение могут получать параметры модификации по меньшей мере частично из одного или более из показателя мешающего звукового сигнала, целевой удельной громкости, оценки удельной громкости немодифицированного звукового сигнала, полученной из удельной громкости или удельной громкости частичных тонов модифицированного звукового сигнала, удельной громкости немодифицированного звукового сигнала и приближения к целевой удельной громкости, полученного из удельной громкости или удельной громкости частичных тонов мо Modification or receiving may receive modification parameters at least in part from one or more of the indicator of the interfering audio signal, a target specific loudness, estimates the specific loudness of the unmodified audio signal derived from the specific loudness or specific loudness partials modified audio signal, specific loudness of the unmodified audio signal and approximation to the target specific loudness derived from the specific loudness or partial specific loudness of tones mo дифицированного звукового сигнала. difitsirovannogo audio signal.

Более точно, модифицирование или получение могут получать параметры модификации по меньшей мере частично из More specifically, modification or receiving may receive modification parameters at least in part from

(1) одного из (1) one of

целевой удельной громкости, и target specific loudness, and

оценки удельной громкости немодифицированного звукового сигнала, полученной из удельной громкости модифицированного звукового сигнала, и estimates the specific loudness of the unmodified audio signal derived from the specific loudness of the modified audio signal, and

(2) одного из (2) one of

удельной громкости немодифицированного звукового сигнала, и the specific loudness of the unmodified audio signal, and

приближения к целевой удельной громкости, полученного из удельной громкости модифицированного звукового сигнала, approximation to the target specific loudness derived from the specific loudness of the modified audio signal,

или, когда должен учитываться мешающий звуковой сигнал, модифицирование или получение могут получать параметры модификации по меньшей мере частично из or when he should be considered interfering sound signal, modifying or receiving may receive modification parameters at least in part from

(1) показателя мешающего звукового сигнала, (1) the indicator of the interfering audio signal,

(2) одного из (2) one of

целевой удельной громкости, и target specific loudness, and

оценки удельной громкости немодифицированного звукового сигнала, полученной из удельной громкости частичных тонов модифицированного звукового сигнала, и estimates the specific loudness of the unmodified audio signal derived from the partial specific loudness of the modified audio signal tones, and

(3) одного из (3) one of

удельной громкости немодифицированного звукового сигнала, и the specific loudness of the unmodified audio signal, and

приближения к целевой удельной громкости, полученного из удельной громкости частичных тонов модифицированного звукового сигнала. approximation to the target specific loudness derived from the partial specific loudness of the modified audio signal tones.

Может применяться компоновка с прямой связью, в которой удельная громкость получается из звукового сигнала и в которой целевая удельная громкость принимается из источника, внешнего по отношению к способу, или из хранения, когда модифицирование или получение включает в себя хранение целевой удельной громкости. arrangement may be used with a direct bond, in which the specific loudness is derived from the audio signal and wherein the target specific loudness is received from a source external to the method or from a storing when the modifying or accepting includes storing a target specific loudness. В качестве альтернативы может применяться компоновка со смешанной прямой связью/обратной связью, в которой приближение к целевой удельной громкости получается из модифицированного звукового сигнала, и в которой целевая удельная громкость принимается из источника, внешнего по отношению к способу, или из хранения, когда модифицирование или получение включает в себя хранение целевой удельной громкости. Alternatively, it may be used an arrangement with a mixed feedforward / feedback control, wherein the approximation to the target specific loudness is derived from the modified audio signal, and wherein the target specific loudness is received from a source external to the method or from a storing when the modifying or obtaining includes storing a target specific loudness.

Модифицирование или получение могут включать в себя одну или более последовательностей операций для получения, явно или неявно, целевой удельной громкости, таковая или таковые из которых рассчитывают, явно или неявно, функцию звукового сигнала или показателя звукового сигнала. Modification or preparation may include one or more sequences of operations for obtaining, explicitly or implicitly, target specific loudness, such or any of which is calculated, either explicitly or implicitly, the function of the audio signal or measure the audio signal. В одном из альтернативных вариантов может применяться компоновка с прямой связью, в которой удельная громкость и целевая удельная громкость получаются из звукового сигнала, получение целевой удельной громкости применяет функцию звукового сигнала или показателя звукового сигнала. In one alternative arrangement may be used with a direct bond, in which specific loudness and target specific loudness derived from the audio signal, obtaining the target specific loudness function applies an audio signal or an audio signal indicator. В одном из альтернативных вариантов, может применяться компоновка со смешанной прямой связью/обратной связью, в которой приближение целевой удельной громкости получается из модифицированного звукового сигнала, а целевая удельная громкость получается из звукового сигнала, получение целевой удельной громкости применяет функцию звукового сигнала или показателя звукового сигнала. In an alternative embodiment, may be used an arrangement with a mixed feedforward / feedback control, wherein the approximation of the target specific loudness is derived from the modified audio signal and the target specific loudness is derived from the audio signal, obtaining the target specific loudness applies sound signal function or metric beep .

Модифицирование или получение могут включать в себя одну или более последовательностей операций для получении, явно или неявно, оценки удельной громкости немодифицированного звукового сигнала в ответ на модифицированный звуковой сигнал, таковая или таковые из которых рассчитывают, явно или неявно, инверсию функции звукового сигнала или показателя звукового сигнала. Modification or preparation may include one or more sequences of operations for obtaining, explicitly or implicitly, estimates the specific loudness of the unmodified audio signal in response to the modified audio signal such or any of which is calculated, either explicitly or implicitly, the inverse of the audio signal is a function or index of sound signal. В одном из альтернативных вариантов применяется компоновка с обратной связью, в которой оценка удельной громкости немодифицированного звукового сигнала и приближение к целевой удельной громкости получаются из модифицированного звукового сигнала, оценка удельной громкости рассчитывается с использованием инверсии функции звукового сигнала или показателя звукового сигнала. In one alternative arrangement is used with a feedback, wherein the evaluation specific loudness of the unmodified audio signal and an approximation to the target specific loudness derived from the modified audio signal, specific loudness rating is calculated using an inversion function tone or sound indicator. В еще одном альтернативном варианте применяется компоновка со смешанной прямой связью/обратной связью, в которой удельная громкость получается из звукового сигнала, а оценка удельной громкости немодифицированного звукового сигнала получается из модифицированного звукового сигнала, получение оценки рассчитывается с использованием инверсии упомянутой функции звукового сигнала или показателя звукового сигнала. In yet another alternative embodiment, applicable arrangement mixed feedforward / feedback control, in which the specific loudness is derived from the audio signal, and the specific loudness rating of the unmodified audio signal derived from the modified audio signal, deriving an estimate is calculated using an inversion of said sound signal function or metric sound signal.

Параметры модификации могут применяться к звуковому сигналу для формирования модифицированного звукового сигнала. modification parameters can be applied to the audio signal to form a modified audio signal.

Еще один аспект изобретения состоит в том, что может быть временное и/или пространственное разделение последовательностей операций или устройств, так что, в действительности, есть кодировщик или кодирование, а также декодер или декодирование. Another aspect of the invention is that there can be a temporary and / or spatial separation of the sequences of operations or units, so that, in fact, have an encoder or encoding, as well as a decoder or decoding. Например, может быть система кодирования/декодирования, в которой модифицирование или получение может передавать и принимать или хранить, а также воспроизводить звуковой сигнал и либо (1) параметры модификации либо (2) целевую удельную громкость или представление целевой удельной громкости. For example, perhaps the encoding / decoding system in which modification or reception may transmit and receive or store and play back audio signal and either (1) modification parameters or (2) the target specific loudness or representation of target specific loudness. В качестве альтернативы, в действительности, может быть только кодировщик или кодирование, в котором есть передача или хранение звукового сигнала и (1) параметров модификации, либо (2) целевой удельной громкости или представления целевой удельной громкости. Alternatively, in fact, can only be an encoder or encoding, in which there is transmission, or storage of the audio signal and (1) modification parameters or (2) the target specific loudness or representation of target specific loudness. В качестве альтернативы, как упомянуто выше, в действительности, может быть только декодер или декодирование, в котором есть прием или воспроизведение звукового сигнала и (1) параметров модификации либо (2) целевой удельной громкости или представления целевой удельной громкости. Alternatively, as mentioned above, it may in fact be only a decoder or decoding, wherein there is a reception or playback audio signal and (1) modification parameters or (2) the target specific loudness or representation of target specific loudness.

ОПИСАНИЕ ЧЕРТЕЖЕЙ DESCRIPTION OF DRAWINGS

Фиг.1 - функциональная структурная схема, иллюстрирующая пример реализации с прямой связью согласно аспектам изобретения. 1 - functional block diagram illustrating an example implementation of feedforward according to aspects of the invention.

Фиг.2 - функциональная структурная схема, иллюстрирующая пример реализации с обратной связью согласно аспектам изобретения. 2 - functional block diagram illustrating an example of a feedback in accordance with aspects of the invention.

Фиг.3 - функциональная структурная схема, иллюстрирующая пример реализации со смешанной прямой связью/обратной связью согласно аспектам изобретения. 3 - functional block diagram illustrating an example of a mixed feedforward / feedback in accordance with aspects of the invention.

Фиг.4 - функциональная структурная схема, иллюстрирующая пример еще одной реализации со смешанной прямой связью/обратной связью согласно аспектам изобретения. 4 - functional block diagram illustrating an example of another implementation of a mixed feedforward / feedback in accordance with aspects of the invention.

Фиг.5 - функциональная структурная схема, иллюстрирующая образ действий, которым немодифицированный звуковой сигнал и параметры модификации, которые определены любой одной из компоновок с прямой связью, обратной связью или со смешанной прямой связью/обратной связью, могут храниться или передаваться для использования, например, в разделенных временным и пространственным образом устройстве или последовательности операций. 5 - functional block diagram illustrating the manner in which the unmodified audio signal and the modification parameters are defined either one of the configurations of feedforward, feedback or mixed feed-forward / feedback may be stored or transmitted for use, for example, separated in time and spatial manner or sequence of operations the device.

Фиг.6 - функциональная структурная схема, иллюстрирующая образ действий, которым немодифицированный звуковой сигнал и целевая удельная громкость или ее представление, которые определены любой одной из компоновок с прямой связью, обратной связью или со смешанной прямой связью/обратной связью, могут храниться или передаваться для использования, например, в разделенных временным и пространственным образом устройстве или последовательности операций. 6 - functional block diagram illustrating the manner in which the unmodified audio signal and the target specific loudness or representation as defined by any one of the configurations of feedforward, feedback or mixed feed-forward / feedback may be stored or transmitted for use, for example, in divided temporal and spatial manner or sequence of apparatus operations.

Фиг.7 - схематическая функциональная структурная схема или схематическая блок-схема последовательности операций способа, показывающая общее представление аспекта настоящего изобретения. Figure 7 - schematic functional block diagram or schematic flow chart of a method showing an overview of aspects of the present invention.

Фиг.8 - идеализированная типовая характеристика линейного фильтра P ( z ), пригодного в качестве фильтра передачи в варианте осуществления настоящего изобретения, в котором вертикальной осью является затухание в децибелах (дБ), а горизонтальной осью является логарифмическая, по основанию 10, частота в Герцах (Гц). 8 - idealized typical response of a linear filter P (z), is suitable as a transmission filter in an embodiment of the present invention in which the vertical axis is attenuation in decibels (dB) and the horizontal axis is a logarithmic base 10 frequency in Hertz (Hz).

Фиг.9 показывает зависимость между шкалой частот ERB (вертикальная ось) и частотой в Герцах (горизонтальная ось). 9 shows the relationship between the ERB frequency scale (vertical axis) and frequency in Hertz (horizontal axis).

Фиг.10 показывает набор идеализированных типовых характеристик слухового фильтра, которые аппроксимируют определение критической полосы по шкале ERB. 10 shows a set idealized auditory filter model characteristics that approximate determination of the critical bands of ERB scale. Горизонтальной шкалой является частота в Герцах, а вертикальной шкалой является уровень в децибелах. The horizontal scale is frequency in Hertz and the vertical scale is level in decibels.

Фиг.11 показывает кривые равной громкости по ISO 226. Горизонтальной шкалой является частота в Герцах (логарифмическая, по основанию 10, шкала), а вертикальной шкалой является уровень звукового давления в децибелах. 11 shows the equal loudness curves of ISO 226. The horizontal scale is frequency in Hertz (logarithmic base 10, the scale) and the vertical scale is sound pressure level in decibels.

Фиг.12 показывает кривые равной громкости по ISO 226, нормализованные фильтром P (z) передачи. 12 shows the equal loudness curves of ISO 226, the normalized filter P (z) transfer. Горизонтальной шкалой является частота в Герцах (логарифмическая, по основанию 10, шкала), а вертикальной шкалой является уровень звукового давления в децибелах. The horizontal scale is frequency in Hertz (logarithmic base 10, the scale) and the vertical scale is sound pressure level in decibels.

Фиг.13a - идеализированный график, показывающий широкополосные и многополосные коэффициенты усиления для масштабирования громкости в 0,25 на сегменте женской речи. 13A - idealized graph showing wideband and multiband amplification factors for scaling the volume of 0.25 to female speech segment. Горизонтальной шкалой являются полосы ERB, а вертикальной шкалой является относительный коэффициент усиления в децибелах (dB). The horizontal scale is ERB bands and the vertical scale is a relative gain factor in decibels (dB).

Фиг.13b - идеализированный график, показывающий удельную громкость соответственно исходного сигнала, модифицированного широкополосным коэффициентом усиления сигнала, и модифицированного многополосным коэффициентом усиления сигнала. 13b - idealized graph showing specific loudness of the original signal, respectively, of a modified broadband signal gain, and the modified multiband signal gain. Горизонтальной шкалой являются полосы ERB, а вертикальной шкалой является удельная громкость (сон/ERB). The horizontal scale is ERB bands and the vertical scale is the specific volume (sleep / ERB).

Фиг.14a - идеализированный график, показывающий: L o [ t ] в качестве функции L i [ t ] для типичной АРУ. 14a - idealized chart showing: L o [t] as a function of L i [t] for typical AGC. Горизонтальной шкалой является log( L i [ t ]), а вертикальной шкалой является log( L o [ t ]). The horizontal scale is log (L i [t]) , and the vertical scale is a log (L o [t]) .

Фиг.14b - идеализированный график, показывающий: L o [ t ] в качестве функции L i [ t ] для типичной DRC. 14b - idealized chart showing: L o [t] as a function of L i [t] for typical DRC. Горизонтальной шкалой является log( L i [ t ]), а вертикальной шкалой является log( L o [ t ]). The horizontal scale is log (L i [t]) , and the vertical scale is a log (L o [t]) .

Фиг.15 - идеализированный график, показывающий типичную функцию сглаживания полос для многополосной DRC. 15 - an idealized graph showing the typical bands smoothing function for multiband DRC. Горизонтальной шкалой является номер полосы, а вертикальной шкалой является выход коэффициента усиления для полосы b. The horizontal scale is the strip number, and the vertical scale is the output of the gain for the band b.

Фиг.16 - схематическая функциональная структурная схема или схематическая блок-схема последовательности операций способа, показывающая общее представление аспекта настоящего изобретения. Figure 16 - a schematic functional block diagram or schematic flow chart of a method showing an overview of aspects of the present invention.

Фиг.17 - схематическая функциональная структурная схема или схематическая блок-схема последовательности операций способа, подобные фиг.1, которая к тому же включает в себя компенсацию шума в среде воспроизведения. Figure 17 - a schematic functional block diagram or schematic flow chart of a method similar to Figure 1, which also includes a noise compensation in a playback environment.

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ BEST MODE FOR CARRYING OUT THE INVENTION

Фиг.с 1 по 4 показывают функциональные структурные схемы, иллюстрирующие возможные примеры реализаций с прямой связью обратной связью и два варианта со смешанной прямой связью/обратной связью, согласно аспектам изобретения. Fig.s 1 to 4 show functional block diagrams illustrating possible examples of implementations feedforward feedback and two variants with a mixed feedforward / feedback, in accordance with aspects of the invention.

Со ссылкой на пример топологии с прямой связью на фиг.1 звуковой сигнал подается в два тракта: (1) сигнальный тракт, содержащий последовательность операций, или устройство 2 («Модифицировать звуковой сигнал»), способные к модификации аудио в ответ на параметры модификации, (2) тракт управления, содержащий последовательность управления, или устройство 4 («Сформировать параметры модификации»), способные к формированию таких параметров модификации. With reference to the example topology feedforward 1 sound signal is supplied to two paths: (1) signal path comprising a sequence of operations or device 2 ( "Modify beep") capable of modifying the audio in response to the modification parameters, (2) control path comprising control sequence or unit 4 ( "Form modification parameters") capable of forming such modification parameters. Модифицировать звуковой сигнал 2 в примере топологии с прямой связью фиг.1 и в каждом из примеров фиг.2-4 можно устройством или последовательностью операций, которые модифицируют звуковой сигнал, например его амплитуду, зависящий от частоты и/или времени образом в соответствии с параметрами M модификации, принятыми из Сформировать параметры модификации, 4, (или из эквивалентных последовательностей операций или устройств 4', 4" и 4''', в каждом из примеров фиг.2-4 соответственно). Сформировать параметры модификации, 4, и его эквиваленты на фиг.2-4 каж Modify the sound signal in Example 2 feedforward topology and 1 in each of Examples 2-4 can be a device or a sequence of operations that modify the audio signal, such as its amplitude depending upon the frequency and / or time manner in accordance with the parameters M modifying taken from Form modification parameters 4 (or equivalent sequences of operations or units 4 ', 4 "and 4' '', in each of examples 2-4, respectively). to generate modification parameters 4, and 2-4 equivalents kazh ый работают по меньше мере частично в области громкости восприятия. Модифицировать звуковой сигнал, 2, работает в области электрических сигналов и формирует модифицированный звуковой сигнал в каждом из примеров фиг.1-4. К тому же в каждом из примеров фиг.1-4, Модифицировать звуковой сигнал, 2, и Сформировать параметры модификации, 4, (или его эквиваленты) модифицируют звуковой сигнал, чтобы уменьшать разницу между его удельной громкостью и целевой удельной громкостью. th working at least partially in the perception of loudness. Modify beep, 2, it operates in the electrical signal and generates a modified audio signal in each of Examples 1-4. In addition, in each of Examples 1-4, modified audio signal 2, and the generated parameter modification 4 (or its equivalents) is modified audio signal to reduce the difference between its specific loudness and a target specific loudness.

В примере с прямой связью фиг.1 последовательность операций или устройство 4 могут включать в себя несколько последовательностей операций и/или устройств: последовательность операций или устройство 6 «Рассчитать целевую удельную громкость», которые рассчитывают целевую удельную громкость в ответ на звуковой сигнал или параметр звукового сигнала, такой как удельная громкость звукового сигнала, последовательность операций или устройство 8 «Рассчитать удельную громкость», которые рассчитывают удельную громкость звукового сигнала в отв In Example 1, the feedforward process, or device 4 may include multiple sequences of operations and / or devices: the sequence of operations or unit 6 "Calculate target specific loudness", which calculate the target specific loudness in response to the sound or sound parameter signal, such as a specific sound volume, the process or apparatus 8 "Calculate the specific volume", which is calculated specific sound volume in holes т на звуковой сигнал или показатель звуковых сигналов, такой как его накачка, и последовательность операций или устройство 10 «Рассчитать параметры модификации», которые рассчитывают параметры модификации в ответ на удельную громкость и целевую удельную громкость. m to audio signal or measure of audio signals, such as its pump and the flow device 10 or "Calculate modification parameters", which are calculated modification parameters in response to the specific loudness and target specific loudness. Рассчитать целевую удельную громкость, 6, может выполнять одну или более функций « F », каждая из которых может иметь параметры функций. Calculate the target specific loudness, 6 may perform one or more functions of «F», each of which may have function parameters. Например, он может рассчитывать удельную громкость звукового сигнала, а затем применять одну или более функций F к ней, чтобы предоставить целевую удельную громкость. For example, he can expect a specific volume of the audio, and then apply one or more functions F to it to provide a target specific loudness. Это схематически показано на фиг.1 в качестве входного сигнала «Выбрать функцию(и) F и параметр(ы) функции(й)» в последовательность операций или устройство 6. Вместо расчета устройством или последовательностью 6 операций целевая удельная громкость может выдаваться последовательностью операций или устройством хранения (схематически показанными в качестве входного сигнала «Хранимые» в последовательность операций или устройство 10), включенными в или ассоциативно связанными со Сформировать параметры модификации, 4, или источником, внешним This is shown schematically in Figure 1 as an input signal "Select function (s) F and the parameter (s) function (s)" in the flowchart or device 6. Instead of calculating device 6 or a sequence of operations a target specific loudness may be issued to a sequence of operations or storage device (shown schematically as the input "Stored" signal in the flowchart or device 10) included in or associated with the generated parameter modification, 4, or source, outside о отношению ко всей последовательности операций, или устройству (схематически показанным в качестве входного сигнала «Внешние» в последовательность операций или устройство 10). relative to the whole of the flowchart or device (shown schematically as the input signal "External" in the flowchart or device 10). Таким образом, параметры модификации основаны, по меньшей мере частично, на расчетах в области (психоакустической) громкости восприятия (то есть по меньшей мере удельной громкости и, в некоторых случаях, расчетах целевой удельной громкости). Thus, the modification parameters are based at least in part on calculations in the field (psychoacoustic) loudness perception (i.e., at least the specific loudness, and in some cases the target specific loudness calculations).

Расчеты, выполняемые последовательностями операций или устройствами 6, 8 и 10 (и последовательностями операций или устройствами 12, 14, 10' в примере фиг.2, 6, 14, 10'' в примере фиг.3, и 8, 12, 10''' в примере фиг.4), могут выполняться явным и/или неявным образом. Calculations performed by successive operations or devices 6, 8 and 10 (and sequences of operations or devices 12, 14, 10 'in Example 2, 6, 14, 10' in Example 3, and 8, 12, 10 ' '' in example 4), may be performed explicitly and / or implicitly. Примеры явного выполнения включают в себя (1) справочную таблицу, чьи записи основаны, целиком или частично, на удельной громкости и/или целевой удельной громкости, и/или расчетах параметров модификации, и (2) отражающее ряд решений математическое выражение, которое, по своей природе, основано, целиком или частично, на удельной громкости и/или целевой удельной громкости, и/или параметрах модификации. Examples of explicit performance include (1) a lookup table whose entries are based in whole or in part on specific loudness and / or target specific loudness and / or calculations of modification parameters, and (2) reflecting the number of decisions a mathematical expression, which, its nature is based in whole or in part on specific loudness and / or target specific loudness and / or modification parameters.

Хотя последовательности операций или устройства 6, 8 и 10 расчета по примеру фиг.1 (и последовательности операций или устройства 12, 14, 10' в примере фиг.2, 6, 14, 10'' в примере фиг.3, и 8, 12, 10''' в примере фиг.4) схематически показаны и описаны как раздельные, это предназначено только для целей пояснения. Although the sequence of operations or devices 6, 8 and 10, the calculation of Example 1 (and the sequence of operations or devices 12, 14, 10 'in Example 2, 6, 14, 10' in Example 3, and 8, 12, 10 '' 'in example 4) are shown schematically and described as separate, this is only for explanatory purposes. Будет понятно, что таковые или все из этих последовательностей операций или устройств могут объединяться в единые последовательности операций или устройстве или по-разному комбинироваться в многочисленных последовательностях операций или устройствах. It will be understood that any or all of the sequences of operations or devices may be combined into a single sequence of operations or device or combined variously in multiple sequences of operations or devices. Например, в компоновке по фиг.9, приведенной ниже, топологии с прямой связью, как в примере по фиг.1, последовательность операций или устройство, которые рассчитывают параметры модификации, делают это в ответ на сглаженную накачку, полученную из звукового сигнала, и целевую удельную громкость. For example, in the arrangement of Figure 9 below, the feedforward topology as in the example of Figure 1, the process or apparatus that calculates modification parameters do so in response to a smoothed pump obtained from the audio signal, and a target specific volume. В примере фиг.9 устройство или последовательность операций, которые рассчитывают параметры модификации неявно, рассчитывают удельную громкость звукового сигнала. In Example 9, a device or a sequence of operations that calculate modification parameters implicitly calculate specific loudness sound signal.

В качестве аспекта настоящего изобретения, в примере по фиг.1 и в других примерах вариантов осуществления изобретения, приведенного в материалах настоящей заявки, целевая удельная громкость ( As an aspect of the present invention, in the example of Figure 1 and in other examples embodiments of the invention given herein, the target specific loudness (

Figure 00000005
[ b , t ]) может рассчитываться масштабированием удельной громкости ( N [ b, t ]) одним или более коэффициентами масштабирования. [B, t]) may be calculated by scaling the specific loudness (N [b, t]) one or more scaling factors. Масштабирование может быть зависящим от времени и частоты масштабным коэффициентом Ξ[ b , t ], масштабирующим удельную громкость, как в зависимости Scaling can be time-dependent and frequency scaling factor Ξ [b, t], the specific loudness scaling as depending

Figure 00000006

зависящим от времени, независящим от частоты масштабным коэффициентом Φ[ t ], масштабирующим удельную громкость, как в зависимости dependent on time, independent of frequency scaling factor Φ [t], the specific loudness scaling as depending

Figure 00000007

независящим от времени, зависящим от частоты масштабным коэффициентом Θ[ b ], масштабирующим удельную громкость, как в зависимости time-independent, frequency-invariant scale factor Θ [b], the specific loudness scaling as depending

Figure 00000008

масштабным коэффициентом α , масштабирующим удельную громкость звукового сигнала, как в зависимости a scale factor α, the specific loudness scaling the audio signal in dependence

Figure 00000009

где b - показатель частоты (например, номер полосы), а t - показатель времени (например, номер кадра). where b - the frequency component (e.g., lane number) and t - time index (e.g., frame number). Также могут применяться многочисленные масштабирования, использующие многочисленные экземпляры конкретного масштабирования и/или комбинации конкретных масштабирований. It may also be used multiple scaling using multiple instances of a particular scale and / or combinations of particular scalings. Примеры таких многочисленных масштабирований приведены ниже. Examples of such multiple scalings are shown below. В некоторых случаях, как дополнительно пояснено ниже, масштабирование может быть функцией звукового сигнала или показателей звукового сигнала. In some cases, as explained further below, the scaling may be a function of the audio signal or audio signal indicators. В других случаях, как также дополнительно пояснено ниже, когда масштабирование не является функцией показателя звукового сигнала, масштабирование может определяться или подаваться иным образом. In other cases, as well as further explained below, when zooming is not a function indicator tone, scaling may be defined or provided otherwise. Например, пользователь мог бы выбирать или применять масштабирование с независящим от времени и частоты масштабным коэффициентом α или с независящим от времени, зависящим от частоты масштабным коэффициентом Θ[ b ]. For example, the user could choose to use or scaling beyond the time and frequency scaling factor α or time-independent, frequency-invariant scale factor Θ [b].

Таким образом, целевая удельная громкость может выражаться в качестве одной или более функций F звукового сигнала или показателя звукового сигнала (удельная громкость является одним из возможных показателей звукового сигнала): Thus, the target specific loudness may be expressed as one or more functions F audio signal or an audio signal indicator (specific volume is one of the possible indicators beep):

Figure 00000010

При условии, что функция или функции F являются обратимыми, удельная громкость ( N [ b , t ]) немодифицированного звукового сигнала может рассчитываться в качестве обратной функции или функций F -1 целевой удельной громкости ( Provided that the function or functions F is invertible, the specific loudness (N [b, t]) of the unmodified audio signal can be calculated as the inverse function or functions F -1 target specific loudness (

Figure 00000005
[ b , t ]): [B, t]):

Figure 00000011

Как будет видно ниже, обратная функция или функции F -1 рассчитываются в примерах с обратной связью и смешанной прямой связью/обратной связью по фиг.2 и 4. As will be seen below, the inverse function or functions F -1 is calculated in the examples with feedback and mixed feedforward / feedback Figures 2 and 4.

Входной сигнал «Выбрать функцию(и) и параметр(ы) функций» для Рассчитать целевую удельную громкость, 6, показан, чтобы служить признаком, что устройство или последовательность 6 операций может рассчитывать целевую удельную громкость применением одной или более функций в соответствии с одним или более параметров функций. Input "Select function (s) and parameter (s) of functions" for calculation target specific loudness, 6 is shown to indicate that the device or a sequence of 6 operations may calculate the target specific loudness using one or more functions in accordance with one or more function parameters. Например, Рассчитать целевую удельную громкость, 8, может рассчитывать функцию или функции « F » удельной громкости звукового сигнала, для того чтобы определять целевую удельную громкость. For example, the target specific loudness calculation, 8 may calculate the function or functions «F» specific loudness audio signal, to determine a target specific loudness. Например, входной сигнал «Выбрать функцию(и) и параметр(ы) функции» может выбирать одну или более конкретных функций, которые попадают в один или более вышеприведенных типов масштабирования наряду с одним или более параметров функций, таких как константы (например, масштабные коэффициенты), имеющие отношение к функциям. For example, the input signal "Select function (s) and parameter (s) of the function" can select one or more specific functions that fall into one or more of the above types of scale along with one or more parameters of the functions, such as a constant (e.g., scale factors ) related to the functions.

Коэффициенты масштабирования, ассоциативно связанные с масштабированием, могут служить в качестве представления целевой удельной громкости ввиду того, что целевая удельная громкость может вычисляться в качестве масштабирования удельной громкости, как указано выше. scaling coefficients associated with scaling, can serve as a representation of the target specific loudness due to the fact that the target specific loudness may be calculated as a scaling of the specific loudness as above. Таким образом, в примере фиг.9, описанном ниже и упомянутом выше, справочная таблица может индексироваться коэффициентами масштабирования и накачками из условия, чтобы расчет удельной громкости и целевой удельной громкости был присущ таблице. Thus, in Example 9, described below, and referred to above, the lookup table may be indexed scaling coefficients and pump such that the calculation of the specific loudness and target specific loudness was characteristic table.

С применением справочной таблицы, отражающей ряд решений математического выражения или некоторой другой технологии, операция Сформировать параметры модификации, 4, (и ее эквивалентные последовательности операций или устройства 4', 4" и 4''' в каждом из примеров фиг.2-4) является такой, что расчеты основаны на области (психоакустической) громкости восприятия, даже если удельная громкость и целевая удельная громкость могут не рассчитываться явным образом. Есть явная удельная громкость либо есть умозрительная, неявная удельная громкость. Подобн By using a lookup table reflecting the number of decisions a mathematical expression, or some other technique, the operation to configure a modification 4 (and its equivalent sequence of operations or devices 4 ', 4 "and 4' '' in each of Examples 2-4) is such that the calculations are based on the field (psychoacoustic) loudness perception, even if the specific loudness and target specific loudness may not be calculated explicitly. there is a clear specific loudness or there is speculative, implicit specific loudness. Like ым образом, есть явная целевая удельная громкость либо есть умозрительная, неявная целевая удельная громкость. В любом случае, расчет параметров модификации стремится сформировать параметры модификации, которые модифицируют звуковой сигнал для уменьшения разности между удельной громкостью и целевой удельной громкостью. th manner, there is an explicit target specific loudness or there is notional, implicit target specific loudness. In any case, the calculation of modification parameters seeks to generate modification parameters that modify the audio signal to reduce the difference between specific loudness and a target specific loudness.

В среде воспроизведения, содержащей вторичный мешающий звуковой сигнал, такой как шум, Рассчитать параметры модификации, 10, (и его эквивалентные последовательности операции или устройства 10', 10'' и 10''' в каждом из примеров 2-4, соответственно), также может принимать в качестве необязательного входного сигнала показатель такого вторичного мешающего звукового сигнала или сам вторичный мешающий сигнал в качестве одного из своих входных сигналов. In a playback environment having a secondary interfering sound signal, such as noise, calculate modification parameters, 10, (and its equivalent sequences of operation or devices 10 ', 10' 'and 10' '' in each of Examples 2-4, respectively), It may also receive as an optional input parameter of such a secondary interfering audio signal or the secondary interfering signal itself as one of its input signals. Такой необязательный входной сигнал показан на фиг.1 (и на фиг.2-4) пунктирной отвесной линией. This optional input is shown in Figure 1 (and 2-4), the dotted vertical line. Показатель вторичного мешающего сигнала может быть его накачкой, такой как в примере по фиг.17, описанном ниже. Indicator secondary interfering signal may be its pumping, such as in the example of Figure 17, described below. Применение показателя мешающего сигнала или самого сигнала (допускается, что мешающий сигнал раздельно доступен для обработки) к последовательности операций или устройствам 10 Рассчитать параметры модификации на фиг.1 (и их эквивалентным последовательностям операций или устройств 10', 10'' и 10''' в каждом из примеров фиг.2-4 соответственно) дает возможность надлежащим образом сконфигурировать такие последовательности операций или устройство, чтобы рассчитывать параметры модификации, которые учитывают мешающий сигнал, как дополнительно пояс Application indicator of the interfering signal or the signal itself (it is assumed that the interfering signal separately available for processing) to a sequence of operations or units 10 calculate modification parameters in Figure 1 (and their equivalent sequences of operations or devices 10 ', 10' 'and 10' '' in each of examples 2-4, respectively) makes it possible to appropriately configure such sequences operations or device to calculate modification parameters that take into account the interfering signal, as further belt нено ниже под заголовком «Компенсация шума». Neno below under the heading "Noise Compensation". В примерах по фиг.2-4 расчет удельной громкости частичных тонов предполагает, что подходящий показатель мешающего сигнала подводится не только в соответственный Рассчитать параметры модификации, 10', 10'' или 10''', но также и в последовательность операций или устройство 12 «Рассчитать приближение удельной громкости немодифицированного аудио» и или последовательность операций или устройство 14 «Рассчитать приближение целевой удельной громкости», для того чтобы содействовать расчету удельной громкости частичных тонов такой функцией или устр In Examples 2-4 of the calculation of partial specific loudness of tones assumes that the appropriate value of the interfering signal is fed not only to a respective modification calculation parameters 10 ', 10' 'or 10' '' but also in the flowchart or device 12 "Calculate approximation of the specific loudness of the unmodified audio" and or sequence of operations or device 14 "Calculate approximation of the target specific loudness", in order to facilitate the calculation of partial specific loudness of tones or a function device йством. ystvom. В примере с прямой связью фиг.1 удельная громкость частичных тонов не рассчитывается явно - Рассчитать параметры модификации, 10, по фиг.1 рассчитывает надлежащие параметры модификации, чтобы сделать удельную громкость частичных тонов модифицированного аудио приближенной к целевой удельной громкости. In Example 1, the feedforward partial specific loudness of tones is not calculated explicitly - Calculate modification parameters 10 of Figure 1 calculates the appropriate modification parameters to make the partial specific loudness of the modified audio approximate colors to a target specific loudness. Это дополнительно пояснено ниже под заголовком «Компенсация шума», упомянутым выше. This is further explained below under the heading "Noise Compensation", mentioned above.

Как упомянуто выше, в каждом из примеров фиг.1-4, параметры M модификации, когда применяются к звуковому сигналу Модификатором 2 звукового сигнала, уменьшают разность между удельной громкостью или удельной громкостью частичных тонов результирующего модифицированного аудио и целевой удельной громкостью. As mentioned above, in each of Examples 1-4, the modification parameters M, when applied to a sound signal modifier 2 audio signal, reduce the difference between the specific loudness or partial specific loudness of tones of the resulting modified audio and the target specific loudness. Умозрительно, удельная громкость модифицированного звукового сигнала хорошо приближается к или является такой же, как целевая удельная громкость. Conceptually, the modified audio signal volume specific well is approaching or is the same as the target specific loudness. Параметры M модификации, например, принимают вид зависящих от времени коэффициентов усиления, применяемых к полосам частот, полученным из гребенки фильтров, или к коэффициентам зависящего от времени фильтра. Modification parameters M, for example, take the form of time-dependent gain applied to the frequency bands derived from a filterbank or the coefficients dependent filter. Соответственно во всех примерах фиг.1-4, Модифицировать звуковой сигнал, 2, например, может быть реализован в качестве множества амплитудных преобразователей масштаба, каждый работает в полосе частот, или зависящего от времени фильтра (например, многоотводного КИХ-фильтра или многополюсного БИХ-фильтра). Accordingly in all examples 1-4, the modified audio signal, 2, for example, may be implemented as a plurality of amplitude scale converters, each operating in a frequency band or time-dependent filter (e.g., a RAKE FIR filter or a multipole IIR filter).

Здесь и где-либо в другом месте в этом документе использование одного и того же номера ссылки указывает, что устройство или последовательность операций могут быть по существу идентичными другому или другим, несущим такой же номер ссылки. Here, and where ever else in this document the use of the same reference number indicates that the device or series of operations may be substantially identical to another or others bearing the same reference number. Номера ссылок, несущие номера со знаком штриха (например, «10'»), указывают, что устройство или последовательность операций подобны по конструкции или функции, но могут быть модификацией другого или других, несущих такой же базовый номер ссылки или его помеченные знаком штриха варианты. Reference numerals carrying numbers with the sign of the stroke (e.g., "10 '") to indicate that the device or sequence of operations similar in structure or function, but may be a modification of another or others bearing the same base reference number or marked with a dash embodiments .

При определенных ограничениях может быть реализована почти равноценная компоновка с обратной связью по примеру с прямой связью фиг.1. Under certain restrictions can be implemented almost equivalent arrangement with feedback of Example 1 feedforward. Фиг.2 изображает такой пример, в котором звуковой сигнал также подводится в последовательность операций или устройство 2 Модифицировать звуковой сигнал в сигнальном тракте. 2 shows an example in which an audio signal is also fed to the operational sequence or device 2 is modified audio signal in the signal path. Последовательность операций или устройство 2 также принимает параметры M модификации из тракта управления, в котором последовательность операций или устройство 4' Сформировать параметры модификации в компоновке с обратной связью принимает в качестве своего входного сигнала модифицированный звуковой сигнал с выхода Модифицировать звуковой сигнал, 2. Таким образом, в примере фиг.2, скорее модифицированное аудио, нежели немодифицированное аудио, подводится в тракт управления. The sequence of operations or unit 2 also receives parameters M modification of the control path, wherein the sequence of operations or device 4 'Generate modification parameters in a feedback arrangement takes as its input the modified audio signal output from audio signal Modify, 2. Thus, in example 2, the modified audio rather than unmodified audio, is supplied to the control path. Последовательность операций или устройство 2 Модифицировать звуковой сигнал и последовательность операций или устройство 4' Сформировать параметры модификации модифицируют звуковой сигнал, чтобы уменьшать разницу между его удельной громкостью и целевой удельной громкостью. The sequence of operations or device 2 is modified audio signal and the sequence of operations or device 4 'Generate modification parameters modify the audio signal to reduce the difference between its specific loudness and a target specific loudness. Последовательность операций или устройство 4' могут включать в себя несколько функций и/или устройств: последовательность операций или устройство 12 «Рассчитать приближение удельной громкости немодифицированного аудио», последовательность операций или устройство 14 «Рассчитать приближение целевой удельной громкости» и последовательность операций или устройство 10' «Рассчитать параметры модификации», которые рассчитывают параметры модификации. The sequence of operations or device 4 'may include several functions and / or devices: the sequence of operations or device 12 "Calculate approximation of the specific loudness of the unmodified audio", the process or device 14 "Calculate approximation of the target specific loudness" and the process or device 10 & apos; "Calculate parameters modification", which calculate modification parameters.

С ограничением, что функция или функции F обратимы, последовательность операций или устройство 12 оценивает удельную громкость немодифицированного звукового сигнала применением обратной функции F -1 к удельной громкости или удельной громкости частичных тонов модифицированного звукового сигнала. With the constraint that the function or functions F are invertible, the process or device 12 estimates the specific loudness of the unmodified audio signal using the inverse function F -1 to the specific loudness or partial specific loudness of the modified audio signal tones. Устройство или последовательность 12 операций могут рассчитывать обратную функцию F -1 , как описано выше. The apparatus 12 or the sequence of operations may calculate the inverse function F -1, as described above. Это схематически показано на фиг.2 в качестве входного сигнала «Выбрать обратную функцию(и) F -l и параметры функции(й)» в последовательность операций или устройство 12. «Рассчитать приближение целевой удельной громкости» 14 действует, рассчитывая удельную громкость или удельную громкость частичных тонов модифицированного звукового сигнала. This is shown schematically in Figure 2 as the input signal "Select inverse function (s) F -l parameters and function (s)" in the flowchart or device 12. "Calculate approximation of the target specific loudness" 14 operates, calculating the specific volume or a specific volume partials modified audio signal. Такая удельная громкость или удельная громкость частичных тонов является приближением целевой удельной громкости. Such specific loudness or partial specific loudness is an approximation of tones target specific loudness. Приближение удельной громкости немодифицированного звукового сигнала и приближение целевой удельной громкости используются посредством Рассчитать параметры модификации, 10', для получения параметров M модификации, которые, если применяются к звуковому сигналу посредством Модифицировать звуковой сигнал, 2, уменьшают разницу между удельной громкостью или удельной громкостью частичных тонов модифицированного звукового сигнала и целевой удельной громкостью. The approximation of the specific loudness of the unmodified audio signal and the approximation of the target specific loudness are used by calculation modification parameters 10 ', to obtain the parameters M modifications which, if applied to the audio signal by a modified sound signal, 2, reduce the difference between the specific loudness or specific loudness partials the modified audio signal and the target specific loudness. Как упомянуто выше, эти параметры M модификации, например, могут принимать вид зависящих от времени коэффициентов усиления, применяемых к полосам частот гребенки фильтров или коэффициентам зависящего от времени фильтра. As mentioned above, these modification parameters M may for example take the form of time-dependent gain applied to the frequency bands of the comb filter or the filter coefficients depending on time. В практических вариантах осуществления Рассчитать параметры модификации, 10'' цепь обратной связи может привносить задержку между вычислением и применением параметров M модификации. In practical embodiments, the modification parameters calculation, 10 '' feedback loop may introduce a delay between the computation and application of the modification parameters M.

Как упомянуто выше, в среде передачи, содержащей вторичный мешающий звуковой сигнал, такой как шум, каждые из Рассчитать параметры модификации, 10', Рассчитать приближение удельной громкости немодифицированного аудио, 12, и Рассчитать приближение целевой удельной громкости, 14, также могут принимать в качестве необязательного входного сигнала показатель такого вторичного мешающего звукового сигнала или сам вторичный мешающий сигнал в качестве одного из своих входных сигналов, и последовательность операций или устройство 12, и последовател As mentioned above, in a medium containing a secondary interfering sound signal, such as noise, each of the calculation modification parameters 10 'Calculate approximation of the specific loudness of the unmodified audio 12 and Calculate approximation of the target specific loudness, 14 can also accept as input optional component of such a secondary interfering audio signal or the secondary interfering signal itself as one of its input signals, and the process or device 12 and the serial ьность операций или устройство 14 каждые могут рассчитывать удельную громкость частичных тонов модифицированного звукового сигнала. nost operations or device 14 may calculate each partial specific loudness of the modified audio signal tones. Такие необязательные входные сигналы показаны на фиг.2 с использованием пунктирных отвесных линий. Such optional inputs are shown in Figure 2 using dotted lines steep.

Как упомянуто выше, возможны примеры реализаций со смешанной прямой связью/обратной связью аспектов изобретения. As mentioned above, examples of possible implementations mixed feedforward / feedback aspect of the invention. Фиг.3 и 4 показывают два примера таких реализаций. 3 and 4 show two examples of such implementations. В примерах фиг.3 и 4, как и в примерах фиг.1 и 2, звуковой сигнал также подводится в последовательность операций или устройство 2 Модифицировать звуковой сигнал в сигнальном тракте, но Сформировать параметры модификации (4'' на фиг.3 и 4''' на фиг.4) в соответственных трактах управления каждые принимают как немодифицированный звуковой сигнал, так и модифицированный звуковой сигнал. In Examples 3 and 4 as in Examples 1 and 2, the audio signal is also fed to the operational sequence or device 2 is modified audio signal in the signal path, but the generated parameter modification (4 '' 3 and 4 ' '' in Figure 4) in the respective control paths each receiving the unmodified audio signal and the modified audio signal. В обоих примерах фиг.3 и 4, Модифицировать звуковой сигнал, 2, и Сформировать параметры модификации (4'' и 4''', соответственно) модифицируют звуковой сигнал, чтобы уменьшать разницу между его удельной громкостью, которая может быть неявной, и целевой удельной громкостью, которая также может быть неявной. In both Examples 3 and 4, the modified audio signal 2, and the generated parameter modification (4 '' and 4 '' ', respectively) modified audio signal to reduce the difference between its specific loudness, which may be implicit, and the target specific loudness, which may also be implicit.

В примере фиг.3 последовательность операций или устройство 4' Сформировать параметры модификации могут включать в себя несколько функций и/или устройств: Рассчитать целевую удельную громкость, 6, как в примере фиг.1, Рассчитать приближение целевой удельной громкости, 14, как в примере с обратной связью фиг.2, и последовательность операций или устройство 10'' «Рассчитать параметры модификации». In Example 3, a flowchart or the device 4 'Generate modification parameters may include several functions and / or devices: Calculate the target specific loudness, 6, as in Example 1, the approximation calculation target specific loudness, 14, as in Example feedback Figure 2, and the sequence of operations or device 10 '' 'calculate modification parameters ". Как в примере фиг.1, в части с прямой связью этого примера со смешанной прямой связью/обратной связью, Рассчитать целевую удельную громкость, 6, может выполнять одну или более функций « F », каждая из которых может иметь параметры функций. As in Example 1, in the feedforward part of this example was mixed with feedforward / feedback calculation a target specific loudness, 6 may perform one or more functions of «F», each of which may have function parameters. Это схематически показано на фиг.3 в качестве входного сигнала «Выбрать функцию(и) F и параметр(ы) функции(й)» в последовательность операций или устройство 6. В части с обратной связью этого примера со смешанной прямой связью/обратной связью модифицированный звуковой сигнал подводится в Рассчитать приближение целевой удельной громкости, 14, как в примере с обратной связью фиг.2. This is shown schematically in Figure 3 as an input the "Select function (s) F and the parameter (s) function (s)" in the flowchart or device 6. The part of the feedback of this example with the mixed feedforward / feedback modified audio signal is applied to calculate target specific loudness approximation 14, as in example 2 with feedback. Последовательность операций или устройство 14 действует в примере фиг.3, как оно это делает в примере фиг.2, рассчитывая удельную громкость или удельную громкость частичных тонов модифицированного звукового сигнала. The sequence of operations or device 14 operates in Example 3 as it does in Example 2, calculating the specific loudness or partial specific loudness of the modified audio signal tones. Такая удельная громкость или удельная громкость частичных тонов является приближением целевой удельной громкости. Such specific loudness or partial specific loudness is an approximation of tones target specific loudness. Целевая удельная громкость (из последовательности операций или устройства 6) и приближение целевой удельной громкости (из последовательности операций или устройства 14) подводятся в Рассчитать параметры модификации, 10'', для получения параметров M модификации, которые, если применяются к звуковому сигналу посредством Модифицировать звуковой сигнал, 2, уменьшают разницу между удельной громкостью немодифицированного звукового сигнала и целевой удельной громкостью. The target specific loudness (from the sequence of operations or the device 6) and the approximation of the target specific loudness (from the sequence of operations or unit 14) are fed to calculation modification parameters, 10 '', to obtain the parameters M modifications which, if applied to the audio signal by a modified sound signal 2, reduce the difference between the specific loudness of the unmodified audio signal and the target specific loudness. Как упомянуто выше, эти параметры M модификации, например, могут принимать вид зависящих от времени коэффициентов усиления, применяемых к полосам частот гребенки фильтров или коэффициентам зависящего от времени фильтра. As mentioned above, these modification parameters M may for example take the form of time-dependent gain applied to the frequency bands of the comb filter or the filter coefficients depending on time. В практических вариантах осуществления цепь обратной связи может привносить задержку между вычислением и применением параметров M модификации. In practical embodiments, the feedback loop may introduce a delay between the computation and application of the modification parameters M. Как упомянуто выше, в среде передачи, содержащей вторичный мешающий звуковой сигнал, такой как шум, каждые из Рассчитать параметры модификации, 10'', и Рассчитать приближение целевой удельной громкости, 14, также могут принимать в качестве необязательного входного сигнала показатель такого вторичного мешающего звукового сигнала или сам вторичный мешающий сигнал в качестве одного из своих входных сигналов, и последовательность операций или устройство 14 могут рассчитывать удельную громкость частичных тонов модифицированного звукового сиг As mentioned above, in a medium containing a secondary interfering sound signal, such as noise, each of the calculation parameters modifications, 10 '', and Calculate approximation of the target specific loudness, 14, may also receive an indication of such a secondary interfering sound as an optional input signal or the secondary interfering signal itself as one of its input signals, and the process or device 14 may calculate the partial specific loudness of the modified audio tones sig нала. Nala. Необязательные входные сигналы показаны на фиг.3 с использованием пунктирных отвесных линий. The optional inputs are shown in Figure 3 with dashed lines steep.

Рассчитать параметры модификации, 10'', может применять устройство или функцию обнаружения ошибок из условия, чтобы разности между его входными сигналами целевой удельной громкости и приближения целевой удельной громкости настраивали параметры модификации, с тем чтобы уменьшать разности между приближением целевой удельной громкости и «реальной» целевой удельной громкостью. Calculate modification parameters, 10 '' may apply the device or error detection function such that the difference between its input signals of the target specific loudness and approaching the target specific loudness tuned modification parameters in order to reduce the difference between the approximation of the target specific loudness and the "real" target specific loudness. Такие настройки уменьшают разницы между удельной громкостью немодифицированного звукового сигнала и целевой удельной громкостью, которая может быть неявной. Such configuration reduces the difference between the specific loudness of the unmodified audio signal and the target specific loudness, which may be implicit. Таким образом, параметры M модификации могут адаптироваться на основании ошибки между целевой удельной громкостью, вычисленной в тракте прямой связи из удельной громкости исходного аудио с использованием функции F , и приближением целевой удельной громкости, вычисленным в тракте обратной связи из удельной громкости или удельной громкости частичных тонов модифицированного аудио. Thus, the parameters M modifications may adapt based on the error between the target specific loudness, computed in the path of direct communication from the specific loudness original audio using the function F, and the approach of the target specific loudness, computed in the feedback path from the specific loudness or specific loudness partials modified audio.

В примере фиг.4 показан альтернативный пример с прямой связью/обратной связью. Example 4 shows an alternative example of feedforward / feedback. Этот альтернативный вариант отличается от примера по фиг.3 тем, что в тракте обратной связи предпочтительнее рассчитываются обратная функция или функции F -l , чем функция или функции F , рассчитываемые в тракте прямой связи. This alternative embodiment differs from the example of Figure 3 in that the feedback path is preferably calculated inverse function or functions F -l, than a function or functions F, calculated in direct communication path. В примере фиг.4 последовательность операций или устройство 4' Сформировать параметры модификации могут включать в себя несколько функций и/или устройств: Рассчитать целевую удельную громкость, 8, как в примере с прямой связью фиг.1, Рассчитать приближение целевой удельной громкости немодифицированного аудио, 12, как в примере с обратной связью фиг.2, и «Рассчитать параметры модификации», 10'''. In Example 4, a flowchart or the device 4 'Generate modification parameters may include several functions and / or devices: Calculate the target specific loudness, 8 as in Example 1, feedforward, Calculate approximation of the target specific loudness of the unmodified audio, 12, as in example 2 with feedback, and "Calculate modification parameters", 10 '' '. Рассчитать удельную громкость, 8, как в примере с прямой связью фиг.1, выдает в качестве входного сигнала в Рассчитать параметры модификации, 10''', удельную громкость немодифицированного звукового сигнала. Calculate the specific volume 8 as in Example 1, feedforward, outputs as an input to calculate modification parameters, 10 '' ', the specific loudness of the unmodified audio signal. Как в примере с обратной связью фиг.2, с ограничением, что функция или функции F обратимы, последовательность операций или устройство 12 оценивает удельную громкость немодифицированного звукового сигнала применением обратной функции F -1 к удельной громкости или удельной громкости частичных тонов модифицированного звукового сигнала. As in Example 2, with feedback, with the constraint that the function or functions F are invertible, the process or device 12 estimates the specific loudness of the unmodified audio signal using the inverse function F -1 to the specific loudness or partial specific loudness of the modified audio signal tones. Входной сигнал «Выбрать обратную функцию(и) и параметр(ы) обратной функции(й)» для Рассчитать приближение удельной громкости немодифицированного аудио, 12, показан, чтобы служить признаком, что устройство или последовательность 12 операций могут рассчитывать обратную функцию F -1 , как описано выше. Input "Select inverse function (u) and the parameter (s) of the inverse function (s)" for the approximation of the specific loudness calculation unmodified audio 12 is illustrated to indicate that the device 12 or the sequence of operations may calculate the inverse function F -1, as described above. Это схематически показано на фиг.4 в качестве входного сигнала «Выбрать обратную функцию(и) F -l и параметр(ы) функции(й)» в последовательность операций или устройство 12. Таким образом, последовательность операций или устройство 12 выдают, в качестве еще одного входного сигнала в Рассчитать параметры модификации, 10''', приближение удельной громкости немодифицированного звукового сигнала. This is shown schematically in Figure 4 as an input signal "Select inverse function (s) F -l parameter (s) function (s)" in the flowchart or device 12. Thus, the process or device 12 outputs, as another input to calculate modification parameters, 10 '' ', the approximation of the specific loudness of the unmodified audio signal.

Как в примерах по фиг.1-3, Рассчитать параметры модификации, 10''', получает параметры M модификации, которые, если применяются к звуковому сигналу посредством Модифицировать звуковой сигнал, 2, уменьшают разность между удельной громкостью немодифицированного звукового сигнала и целевой удельной громкостью, которая является неявной в этом примере. As in the examples of Figures 1-3, modification of the parameters of calculation, 10 '' ', M receives parameters modifications which, if applied to the audio signal by a modified sound signal, 2, reduce the difference between the specific loudness of the unmodified audio signal and the target specific loudness that is implicit in this example. Как упомянуто выше, параметры M модификации, например, могут принимать вид зависящих от времени коэффициентов усиления, применяемых к полосам частот гребенки фильтров или коэффициентам зависящего от времени фильтра. As mentioned above, the modification parameters M may for example take the form of time-dependent gain applied to the frequency bands of the comb filter or the filter coefficients depending on time. В практических вариантах осуществления цепь обратной связи может привносить задержку между вычислением и применением параметров M модификации. In practical embodiments, the feedback loop may introduce a delay between the computation and application of the modification parameters M. Как упомянуто выше, в среде передачи, содержащей вторичный мешающий звуковой сигнал, такой как шум, каждые из Рассчитать параметры модификации, 10''', и Рассчитать приближение удельной громкости немодифицированного аудио, 12, также могут принимать в качестве необязательного входного сигнала показатель такого вторичного мешающего звукового сигнала или сам вторичный мешающий сигнал в качестве одного из своих входных сигналов, и последовательность операций или устройство 12 могут рассчитывать удельную громкость частичных тонов модифицирова As mentioned above, in the transmission medium comprising a secondary interfering sound signal, such as noise, each of the calculation modification parameters, 10 '' ', and Calculate approximation of the specific loudness of the unmodified audio 12 may also receive as an optional input parameter of the signal of the secondary interfering audio signal or the secondary interfering signal itself as one of its input signals, and the process or device 12 may calculate the partial specific loudness of tones modifitsirova нного звукового сигнала. nnogo audio signal. Необязательные входные сигналы показаны на фиг.4 с использованием пунктирных отвесных линий. The optional inputs are shown in Figure 4 with dotted lines steep.

Рассчитать параметры модификации, 10''', может применять устройство или функцию обнаружения ошибок, из условия чтобы разности между его входными сигналами удельной громкости и приближения удельной громкости формировали выходные сигналы, которые настраивают параметры модификации, с тем чтобы уменьшать разности между приближением удельной громкости и «реальной» удельной громкостью. Calculate modification parameters, 10 '' 'may apply the device or error detection function such that the difference between its input signals of the specific loudness and the approximation of the specific loudness generate output signals that configure the modification parameters in order to reduce the difference between the approximation of the specific loudness and "real" specific volume. Так как приближение удельной громкости получается из удельной громкости или удельной громкости частичных тонов модифицированного аудио, которая может рассматриваться как приближение целевой удельной громкости, такие настройки уменьшают разницы между удельной громкостью модифицированного звукового сигнала и целевой удельной громкостью, каковое присуще функции или функциям F -1 . Since the approximation of the specific loudness derived from the specific loudness or partial specific loudness of the modified audio tones which can be considered as an approximation of the target specific loudness, such configuration reduces the difference between the specific loudness of the modified audio signal and the target specific loudness, what is inherent in the function or functions F -1. Таким образом, параметры M модификации могут адаптироваться на основании ошибки между удельной громкостью, вычисленной в тракте прямой связи из исходного аудио, и приближением удельной громкости, вычисленным с использованием обратной функции или функций F -1 , в тракте обратной связи из удельной громкости или удельной громкости частичных тонов модифицированного аудио. Thus, the modification parameters M may be adapted based on the error between the specific loudness, computed in direct communication path from the original audio, and the specific loudness approximation computed using the inverse function or functions F -1, a feedback path from the specific loudness or specific loudness partials modified audio. Благодаря тракту обратной связи, практические реализации могут привносить задержку между вычислением и применением параметров модификации. Due to the feedback path, practical implementations may introduce a delay between the computation and application of the modification parameters.

Хотя параметры M модификации в примерах по фиг.1-4, когда подводятся в последовательность операций или устройство 2 Модифицировать Звуковой сигнал, уменьшают разницу между удельной громкостью звукового сигнала и целевой удельной громкостью, в практических вариантах осуществления соответствующие параметры модификации, формируемые в ответ на один и тот же звуковой сигнал, могут не быть идентичными друг другу. Although the modification parameters M in the examples of Figures 1-4, when summed in the flowchart or device Modify Audio Signal 2, reduce the difference between the specific loudness of sound signal and the target specific loudness, in practical embodiments, appropriate modification parameters generated in response to one the same audio signal can not be identical to each other.

Хотя некритично и несущественно по отношению к аспектам настоящего изобретения, расчет удельной громкости звукового сигнала или модифицированного звукового сигнала преимущественно может применять технологии, изложенные в упомянутой международной патентной заявке № PCT/US2004/016964, опубликованной как WO 2004/111964 A2, в которой расчет осуществляет выбор из группы из двух или более функций модели удельной громкости, одной или комбинации из двух или более функций модели удельной громкости, выбор которых управляется показателем характеристик входн Although not critical and insignificant in relation to aspects of the present invention, the calculation of the specific loudness of the modified audio signal or audio signal can advantageously be applied techniques described in said international patent application № PCT / US2004 / 016964, published as WO 2004/111964 A2, in which the calculation of the next selection of a group of two or more specific loudness model functions, one or a combination of two or more specific loudness model functions, the selection of which is controlled by the input characteristic exponent ого звукового сигнала. th sound. Описание удельной громкости 104 по фиг.1, приведенное ниже, описывает такую компоновку. Description of the specific loudness 104 of Figure 1, shown below, describes such an arrangement.

В соответствии с дополнительными аспектами изобретения немодифицированный звуковой сигнал и либо (1) параметры модификации, либо (2) целевая удельная громкость или представление целевой удельной громкости (например, масштабные коэффициенты, явно или неявно используемые при расчете целевой удельной громкости), могут сохраняться или передаваться для использования, например, в разделенных временным и/или пространственным образом устройствах или последовательностях операций. In accordance with further aspects of the invention, the unmodified audio signal and either (1) modification parameters or (2) the target specific loudness or representation of target specific loudness (e.g., scale factors, either explicitly or implicitly used in the calculation of the target specific loudness) can be stored or transmitted for use, for example, in divided temporal and / or spatial manner or the serial operations. Параметры модификации, целевая удельная громкость или представление целевой удельной громкости могут определяться любым подходящим образом, например, как в одном из примеров компоновки с прямой связью, с обратной связью и со смешанной прямой связью/обратной связью по фиг.1-4, как описано выше. modification parameters, target specific loudness or representation of target specific loudness may be determined in any suitable manner, such as in one example arrangement of feedforward, feedback and mixed feedforward / feedback 1-4, as described above . На практике компоновка с прямой связью, такая как в примере по фиг.1, является наименее сложной и наиболее быстрой ввиду того, что она избегает расчетов, основанных на модифицированном звуковом сигнале. In practice the feedforward arrangement, such as in the example of Figure 1, is the least complex and fastest inasmuch as it avoids calculations based on the modified audio signal. Пример передачи или сохранения немодифицированного аудио и параметров модификации показан на фиг.5 наряду с тем, что пример передачи или сохранения немодифицированного аудио и целевой удельной громкости или представления целевой удельной громкости показан на фиг.6. EXAMPLE transmit or preserve unmodified audio and the modification parameters is shown in Figure 5 along with the fact that the example of transmitting or storing the unmodified audio and the target specific loudness or representation of target specific loudness is shown in Figure 6.

Компоновка, такая как в примере по фиг.5, может использоваться для временного и/или пространственного отделения применения параметров модификации к звуковому сигналу от формирования таких параметров модификации. Arrangement, such as in the example of Figure 5, it may be used for temporal and / or spatial separation of application of the modification parameters to the audio signal from the formation of such modification parameters. Компоновка, такая как в примере по фиг.6, может использоваться для временного и/или пространственного отделения обоих, формирования и применения параметров модификации, от формирования целевой удельной громкости или ее представления. Arrangement, such as in the example of Figure 6 may be used for the temporal and / or spatial separation of both forming and application of the modification parameters of the formation of the target specific loudness or representation. Оба типа компоновок делают возможными простые недорогие компоновки воспроизведения или приема, которые избегают сложности формирования параметров модификации или формирования целевой удельной громкости. Both types of arrangements make possible simple inexpensive reproducing or receiving arrangement, which avoids the complexity of forming or modifying the parameters of formation of the target specific loudness. Хотя компоновка типа по фиг.5 проще, чем компоновка типа по фиг.6, компоновка фиг.6 имеет преимущество, что информация, требуемая для сохранения или передачи, может быть гораздо меньшей, в частности, когда представление целевой удельной громкости, такое как один или более масштабных коэффициентов, сохраняется или передается. Although the arrangement of Figure 5 type simpler than the arrangement of the type of Figure 6, Figure 6 arrangement has the advantage that the information required to store or transmit, may be much smaller, particularly when the presentation target specific loudness, such as one or more scale factors, stored or transmitted. Такое сокращение хранения или передачи информации, в частности, может быть полезным в звуковых средах с низкой скоростью передачи битов. This reduction in storing or transmitting information in particular may be useful in sound environments with low bit rate.

Соответственно дополнительными аспектами настоящего изобретения является предоставление устройства или последовательности операций, которые (1) принимают или воспроизводят, из устройства или последовательности операций сохранения или передачи, параметры M модификации и применяют их к звуковому сигналу, который также принимается, или (2) которые принимают или воспроизводят, из устройства или последовательности операций сохранения или передачи, целевую удельную громкость или представление целевой удельной громкости, формируют парамет Accordingly, further aspects of the present invention is to provide an apparatus or a sequence of operations that (1) receive or reproduce from the device or sequence storing or transmitting operation parameters M modifications and apply them to the audio signal which is also received, or (2) that accept or reproducing, from the device, or storing or transmitting a sequence of operations, a target specific loudness or representation of target specific loudness, form parameters ры M модификации, применяя целевую удельную громкость или ее представление к звуковому сигналу, который также принимается (или к показателю звукового сигнала, такому как его удельная громкость, который может получаться из звукового сигнала), и применяют параметры M модификации к принятому звуковому сигналу. M ry modification using the target specific loudness or a representation to an audio signal which is also received (or sound indicator, such as its specific loudness, which may be obtained from the audio signal), and apply the modification parameters M to the received audio signal. Такие устройства или последовательности операций могут характеризоваться как последовательности операций декодирования или декодеры; Such devices or sequence of operations may be described as the sequence of decoding operations or decoders; наряду с тем, что устройства или последовательности операций, требуемые для формирования сохраняемой или передаваемой информации, могут характеризоваться как последовательности операций кодирования или кодировщики. along with the fact that the device or the sequence of operations required for the formation of transmitted or stored information may be characterized as a sequence encoding operations or encoders. Такие последовательности операций кодирования или кодировщики являются теми частями примеров компоновок фиг.1-4, которые являются используемыми для формирования информации, требуемой соответственными последовательностями операций декодирования или декодерами. Such sequences encoding operations or encoders are those parts layouts examples 1-4 which are used for generating the information required by respective sequences decoding operations or decoders. Такие процессоры декодирования или декодеры могут быть ассоциативно связанными или работающими практически с любым типом последовательности операций или устройства, которые обрабатывают и/или воспроизводят звук. Such decoding processors or decoders may be associated with or working in virtually any type of workflow or device that is treated and / or reproducing sound.

В одном из аспектов изобретения, как в примере по фиг.5, немодифицированный звуковой сигнал и параметры M модификации, например, сформированные последовательностью операций формирования или генератором параметров модификации, таким как Сформировать параметры модификации, 4, по фиг.1, 4' по фиг.2, 4'' по фиг.3 или 4''' по фиг.4 могут подводиться в любое подходящее устройство или функцию 16 сохранения или передачи («Сохранить или Передать»). In one aspect of the invention, as in the example of Figure 5, the unmodified audio signal and the modification parameters M, for example, formed by forming or modifying sequence generator operation parameters, such as generated parameter modification 4 of Figure 1, 4 'of Figure .2 ( "Save or Send") 4 '' of Figure 3, or 4 '' 'of Figure 4 can be supplied in any suitable device or function 16 of preservation or transmission. В случае использования примера с прямой связью по фиг.1 в качестве последовательности операций кодирования или кодировщика, Модифицировать звуковой сигнал, 2, не потребовался бы для формирования модифицированного аудио и мог бы быть опущен, если нет потребности предоставлять модифицированное аудио во временном или пространственном местоположении кодировщика или последовательности операций кодирования. In the case of Example feedforward in Figure 1 as an encoding process or encoder, the modified audio signal 2 would not be required for forming the modified audio and could be omitted if there is no need to provide a modified audio in the temporal or spatial location of the encoder or the coding sequence of operations. Сохранить или передать, 16, например, может включать в себя любые подходящие оптические или твердотельные устройства хранения и воспроизведения или любые подходящие проводные или беспроводные устройства передачи и приема, их выбор не является критичным по отношению к изобретению. Keep or pass 16, e.g., may include any suitable optical or solid state storage and playback devices or any suitable wired or wireless transmission and reception devices, their choice is not critical to the invention. Воспроизведенные или принятые параметры модификации затем могут подводиться в Модифицировать звуковой сигнал, 2, типа, примененного в примерах по фиг.1-4, для того чтобы модифицировать воспроизводимый или принимаемый звуковой сигнал, так что его удельная громкость приближается к целевой удельной громкости, или присуща компоновке, в которой получались параметры модификации. The reproduced or received modification parameters can then be fed into a modified audio signal 2, such as applied in the examples of Figures 1-4, in order to modify the reproduced or received audio signal so that its specific loudness is close to the target specific loudness or inherent arrangement in which the modification parameters were obtained. Параметры модификации могут сохраняться или передаваться любым из различных способов. modification parameters may be stored or transmitted by any of various methods. Например, они могут сохраняться или передаваться в качестве метаданных, сопровождающих звуковой сигнал, они могут отправляться в отдельных трактах или каналах, они могут стенографически кодироваться в аудио, они могут мультиплексироваться и т.п. For example, they may be stored or transmitted as metadata accompanying the audio signal, they may be sent in separate paths or channels, they can be encoded in the audio shorthand, they may be multiplexed, etc. Использование параметров модификации для модификации звукового сигнала может быть необязательным и, если необязательно, их использование может быть выбираемым, например, пользователем. Using the modification parameters to the audio signal modification may be optional and, if optional, their use may be selectable, e.g., by the user. Например, параметры модификации, если применяются к звуковому сигналу, могли бы уменьшать динамический диапазон звукового сигнала. For example, the modification parameters if applied to the audio signal might reduce the dynamic range of the audio signal. Следует ли применять или не применять такое уменьшение динамического диапазона могло бы быть выбираемым пользователем. Whether or not to apply such dynamic range reduction could be selectable by the user.

В еще одном аспекте изобретения, как в примере по фиг.6, немодифицированный звуковой сигнал и целевая удельная громкость или представление целевой удельной громкости могут подводиться в любые подходящие устройство или функцию 16 сохранения или передачи («Сохранить или передать»). In yet another aspect of the invention, as in the example of Figure 6, the unmodified audio signal and the target specific loudness or representation of target specific loudness may be supplied in any suitable device or function 16 of preservation or transmission ( "Save or transfer"). В случае использования конфигурации с прямой связью, такой как пример по фиг.1, в качестве последовательности операций кодирования или кодировщика, ни последовательность операций или устройство типа Рассчитать параметры модификации, 10, ни последовательность операций или устройство типа Модифицировать звуковой сигнал, 2, не потребовались бы и могли бы быть опущены, если нет потребности предоставлять параметры модификации или модифицированное аудио во временном или пространственном местоположении кодировщика или последовательности оп In the case of using a feedforward configuration, such as the example of Figure 1, as the encoding process or an encoder, or the sequence of operations or device type Calculate modification parameters 10, flowchart or audio type device Modify audio signal 2 is not required It would and could be omitted if there is no need to provide parameters modification or modified audio in the temporal or spatial location of the encoder or the sequence op раций кодирования. coding radios. Как в случае примера фиг.5, Сохранить или передать, 16, например, может включать в себя любые подходящие оптические или твердотельные устройства хранения и воспроизведения, или любые подходящие проводные или беспроводные устройства передачи и приема, их выбор не является критичным по отношению к изобретению. As in the case of Example 5, stored or transmitted, 16, for example, may include any suitable optical or solid state storage and playback devices or any suitable wired or wireless transmission and reception devices, their choice is not critical to the invention, . Воспроизведенные или принятые целевая удельная громкость или представление целевой удельной громкости затем могут подводиться, наряду с немодифицированным аудио, в Рассчитать параметры модификации, 10, типа, примененного в примерах по фиг.3, для того чтобы предоставить параметры M модификации, которые затем могут подводиться в Модифицировать звуковой сигнал, 2, типа, применяемого в примерах по фиг.1-4, для того чтобы модифицировать воспроизводимый или принимаемый сигнал, так что его удельная громкость приближается к целевой удельной громко The reproduced or received target specific loudness or representation of target specific loudness may then be fed along with an unmodified audio, a calculation modification parameters 10, such as applied in the examples of figure 3, in order to provide modification parameters M, which can then be fed into modified audio signal 2, of the type used in the examples of Figures 1-4, in order to modify the reproduced or received signal so that its specific loudness is close to the target specific loudly сти или присуща компоновке, в которой получались параметры модификации. STI or inherent in the arrangement in which a modification of the parameters. Хотя целевая удельная громкость или ее представление могут наиболее легко получаться в последовательности операций кодирования или кодировщике примерного типа фиг.10, целевая удельная громкость или ее представление либо приближение к целевой удельной громкости или его представление могут получаться в последовательности операций кодирования или кодировщике примерных типов фиг. Although the target specific loudness or representation can most easily be obtained in the encoding process or encoder 10 is an exemplary type, a target specific loudness or a representation or approximation to the target specific loudness or representation may be obtained in the encoding process or encoder of exemplary types FIG. со 2 по 4 (приближения рассчитываются в последовательностях операций или устройствах 14 по фиг.2 и 3 и в последовательности операций или устройстве 12 по фиг.4). 2 through 4 (approximation calculated in the flowchart or devices 14 of Figures 2 and 3 and in the flowchart or device 12 of Figure 4). Целевая удельная громкость или ее представление могут сохраняться или передаваться любым из различных способов. The target specific loudness or representation may be stored or transmitted by any of the various methods. Например, она может сохраняться или передаваться в качестве метаданных, сопровождающих звуковой сигнал, она может отправляться в отдельных трактах или каналах, она может стенографически кодироваться в аудио, она может мультиплексироваться и т.п. For example, it may be stored or transmitted as metadata accompanying the audio signal, it may be sent in separate paths or channels, it may be encoded in the audio shorthand, it may be multiplexed, etc. Использование параметров модификации, полученных из хранимых или переданных целевой удельной громкости, или представления для модификации звукового сигнала может быть необязательным и, если необязательно, их использование может быть выбираемым, например, пользователем. Using a modification of the parameters derived from the transmitted or stored target specific loudness or representation for an audio signal modification may be optional and, if optional, their use may be selectable, e.g., by the user. Например, параметры модификации, если применяются к звуковому сигналу, могли бы уменьшать динамический диапазон звукового сигнала. For example, the modification parameters if applied to the audio signal might reduce the dynamic range of the audio signal. Следует ли применять или не применять такое уменьшение динамического диапазона могло бы быть выбираемым пользователем. Whether or not to apply such dynamic range reduction could be selectable by the user.

При реализации раскрытого изобретения в качестве цифровой системы наиболее практичной является конфигурация с прямой связью, а потому примеры таких конфигураций подробно описаны ниже, подразумевается, что объем изобретения не ограничен таким образом. When implementing the disclosed invention, the digital system is the most practical configuration of feedforward, and therefore examples of such configurations are described in detail below, it is understood that the invention is not so limited.

На всем протяжении этого документа термины, такие как «фильтр» или «гребенка фильтров», используются в материалах настоящей заявки для включения в состав по существу любой разновидности рекурсивной и нерекурсивной фильтрации, такой как БИХ-фильтры или преобразования, и «фильтрованная» информация является результатом применения таких фильтров. Throughout this document, the terms such as "filter" or "filter bank", are used herein for inclusion in the composition is substantially free of any variety of recursive and non-recursive filtering such as IIR filters or conversion, and "filtered" information result of applying such filters. Варианты осуществления, описанные ниже, применяют гребенки фильтров, реализованные преобразованиями. The embodiments described below, a comb filter is used, realized transformations.

Фиг.7 изображает большие подробности примерного варианта осуществления аспекта изобретения, воплощенного в компоновке с прямой связью. 7 shows greater detail of an exemplary embodiment of the aspect of the invention embodied in the arrangement of feedforward. Аудио сначала проходит через функцию или устройство 100 гребенки фильтров анализа («Гребенка фильтров анализа»), которые разделяют звуковой сигнал на множество полос частот (отсюда фиг.5 показывает многочисленные выходные сигналы из Гребенки фильтров анализа, 100, каждый выходной сигнал представляет полосу частот, которую выходной сигнал проносит через различные функции или устройства вплоть до гребенки фильтров синтеза, которая суммирует полосы в объединенный широкополосный сигнал, как дополнительно описано ниже). Audio first passes through a function or device 100 of the comb filter analysis ( "filterbank analysis") that divide the audio signal into a plurality of frequency bands (hence 5 shows multiple outputs from the analysis filterbank Combs, 100, each output signal is the frequency band, which output carries through various functions or devices until the synthesis of the comb filter which sums the bands to a combined wideband signal, as further described below). Характеристика фильтра, ассоциативно связанного с каждой полосой частот в Гребенке фильтров анализа, 100, предназначена для имитации характеристики в конкретном местоположении базилярной мембраны во внутреннем ухе. filter characteristic associated with the each frequency band in the comb analysis filterbank 100 is designed to mimic the characteristics of a particular location of the basilar membrane in the inner ear. Выходной сигнал каждого фильтра в Гребенке фильтров анализа, 100, затем проходит в пропускающий фильтр или функцию 101 пропускающего фильтра («Пропускающий фильтр»), которые имитируют эффект фильтрации передачи аудио через наружное и среднее ухо. The output signal of each filter in the comb analysis filterbank 100, then passes into or pass filter function 101 pass filter ( "permeable filter") which mimic the effect of filtering transfer of audio through the outer and middle ear. Если должна была измеряться только громкость аудио, пропускающий фильтр мог бы применяться до гребенки фильтров анализа, но, так как выходные сигналы гребенки фильтров анализа используются для синтеза модифицированного аудио, полезно применять пропускающий фильтр после гребенки фильтров. If you should have measured only the volume of the audio, pass filter could be applied to the analysis of the comb filter, but since the output of the comb filter analysis signals are used for the synthesis of the modified audio, it is useful to apply the pass filter after the filterbank. Выходные сигналы Пропускающего фильтра, 101, затем проходят в функцию или устройство 102 накачки («Накачка»), выходные сигналы которых имитируют распределение энергии по базилярной мембране. The output signals of bandpass filters, 101, then pass to a function or device 102 of the pump ( "pump"), the output signals which simulate the distribution of energy along the basilar membrane. Значения энергии накачки могут сглаживаться по времени функцией или устройством 103 сглаживания («Сглаживание»). pumping energy values ​​may be smoothed by a time function or device 103 anti-aliasing ( "Smooth"). Постоянные времени функции сглаживания заданы в соответствии с потребностями желательного применения. The time constants of the smoothing function are set in accordance with the needs of the desired application. Сглаженные сигналы накачки по существу преобразуются в удельную громкость в функции или устройстве 104 удельной громкости («Удельная громкость (SL)»). Smoothed pump signals are substantially transformed into specific loudness as a function or device 104 specific volume ( "Specific loudness (SL)»). Удельная громкость представлена в единицах сонов на единичную частоту. Specific volume is represented in units of sones per unit frequency. Составляющая удельной громкости, ассоциативно связанная с каждой полосой, проходит в функцию или устройство 105 модификации удельной громкости («Модификация SL»). The component of the specific loudness, associated with each strip passes to a function or device 105 specific loudness modification ( "Modification SL»). Модификация 105 SL принимает в качестве своего входного сигнала исходную удельную громкость, а затем выводит требуемую или «целевую» удельную громкость, которая согласно аспекту настоящего изобретения предпочтительно является функцией исходной удельной громкости (смотрите следующий ниже заголовок, озаглавленный «Целевая удельная громкость»). SL Modification 105 takes as its input a specific original volume, and then outputs a desired, or "target" a specific volume, which according to an aspect of the present invention is preferably a source specific loudness function (see the next header below entitled "Target specific volume"). Модификация SL, 105 может работать независимо в каждой полосе, или может существовать взаимная зависимость между или среди полос (частотное сглаживание, как подсказано линиями перекрестных соединений на фиг.7), зависящая от требуемого результата. Modification SL, 105 can operate independently in each band, or may exist interdependence between or among bands (frequency dithering as suggested by the cross-connect lines in Figure 7), depending on the desired result. Принимая в качестве своих входных сигналов сглаженные составляющие полос частот накачки из Накачки, 102, и целевую удельную громкость из Модификации SL, 105, функция или устройство 106 решателя коэффициентов усиления («Решатель коэффициентов усиления») определяет коэффициент усиления, которому необходимо применяться к каждой полосе выходного сигнала Гребенки фильтров анализа, 100, для того чтобы преобразовывать измеренную удельную громкость в целевую удельную громкость. Taking as its inputs the smoothed components of the pumping bands of the pump 102, and a target specific loudness from SL Modification 105, a function or device 106 solver gain factors ( "solver gains") determines the gain to be applied to each band Combs analysis filter output signal 100, in order to convert the measured specific loudness into the target specific loudness. Решатель коэффициентов усиления может быть реализован различными способами. Gain solver may be implemented in various ways. Например, Решатель коэффициентов усиления может включать в себя итерационную последовательность операций, такую как в способе, который раскрыт в упомянутой международной патентной заявке № PCT/US2004/016964, опубликованной как WO 2004/111964 A2, или в качестве альтернативы справочную таблицу. For example, the gains solver may include an iterative sequence of operations, such as in the method disclosed in the aforementioned PCT / US2004 / 016964 International Patent Application №, published as WO 2004/111964 A2, or alternatively a lookup table. Хотя коэффициенты на полосу, формируемые Решателем коэффициентов усиления, 106, могут дополнительно сглаживаться по времени необязательными функцией или устройством 107 сглаживания («Сглаживание»), для того чтобы минимизировать артефакты восприятия, предпочтительно, чтобы временное сглаживание применялось где-то в другом месте во всей последовательности операций или устройстве, как описано где-либо в другом месте. Although the coefficients on the band formed solver gain factors 106, may further be smoothed in time optional function or device 107 of smoothing ( "Smooth"), in order to minimize perceptual artifacts, it is preferable that temporal smoothing applied somewhere else in the whole workflow or device as described elsewhere elsewhere. В заключение коэффициенты усиления применяются к соответственным полосам Гребенки фильтров анализа, 100 через соответственную функцию мультипликативного объединения или объединитель 108, и обработанное или «модифицированное» аудио синтезируется из модифицированных коэффициентами усиления полос в функции или устройстве 110 гребенки фильтров синтеза («Гребенка фильтров синтеза»). In conclusion, the gain factors applied to respective lanes Combs analysis filterbank 100 via a respective function of a multiplicative association or combiner 108 and processed or "modified" audio synthesized from the modified coefficients bands gain function or device 110 synthesis filterbank ( "comb synthesis filter") . В дополнение выходные сигналы из гребенки фильтров анализа могут задерживаться функцией или устройством 109 задержки («Задержка») до применения коэффициентов усиления, для того чтобы компенсировать любое запаздывание, ассоциативно связанное с вычислением коэффициентов усиления. In addition, the output signals of the comb filter can be delayed analysis function or device 109 of delay ( "delay") before the application of the gain in order to compensate for any latency associated with the gain computation. В качестве альтернативы вместо расчета коэффициентов усиления для использования при применении модификаций коэффициентов усиления в полосах частот, Решатели коэффициентов усиления, 106, могут рассчитывать коэффициенты фильтра, которые управляют зависящим от времени фильтром, таким как многоотводный КИХ-фильтр или многополюсный БИХ-фильтр. Alternatively, instead of calculating gains for use in applying gain modifications in frequency bands, the gain solvers 106 may calculate filter coefficients that control a time-dependent filter, such as a RAKE FIR filter or a multipole IIR filter. Для простоты в описании аспекты изобретения, главным образом, описаны в качестве использования коэффициентов усиления, применяемых к полосам частот, подразумевается, что коэффициенты фильтра и зависящие от времени фильтры также могут применяться в практических вариантах осуществления. For simplicity in describing aspects of the invention are mainly described as the amplifier gain factors applied to frequency bands, it is understood that filter coefficients and time-dependent filters can also be used in practical embodiments.

В конкретных вариантах осуществления обработка аудио может выполняться в цифровой области. In specific embodiments, the audio processing can be performed in the digital domain. Соответственно звуковой входной сигнал обозначен дискретной временной последовательностью x [ n ], которая была дискретизирована из источника аудио на некоторой частоте f s выборки. Accordingly, the audio input signal is denoted the discrete time sequence x [n], which has been sampled from the audio source at some sampling frequency f s. Предполагается, что последовательность x [ n ] была надлежащим образом масштабирована, так что среднеквадратическая мощность x [ n ] в децибелах, заданная посредством It is assumed that the sequence x [n] has been appropriately scaled so that the rms power of x [n] in decibels given by

Figure 00000012

равна уровню звукового давления в дБ, на котором аудио прослушивается человеком-слушателем. is the sound pressure level in dB at which the audio is heard by a human listener. В дополнение звуковой сигнал предполагается монофоническим для простоты описания. In addition, a monaural audio signal is assumed for simplicity of description.

Гребенка фильтров анализа, 100, Пропускающий фильтр, 101, Накачка, 102, Удельная громкость, 104, Модификация удельной громкости, 105, Решатель коэффициентов усиления, 106, и Гребенка фильтров синтеза, 110, могут быть описаны более подробно, как изложено ниже. Comb analysis filterbank, 100, permeable filter 101, pump 102, specific volume, 104, modification of the specific loudness 105, the gain solver 106, and a synthesis filter 110 may be described in more detail as follows.

Гребенка фильтров, 100 Comb filters 100

Звуковой входной сигнал подводится в гребенку фильтров или функцию 100 гребенки фильтров анализа («Гребенка фильтров анализа»). The audio input signal fed to the comb filter function 100 or comb analysis filterbank ( "comb filter analysis"). Каждый фильтр в Гребенке фильтров анализа, 100, предназначен для имитации частотной характеристики в конкретном местоположении вдоль базилярной мембраны во внутреннем ухе. Each filter in the comb analysis filterbank 100 is designed to simulate the frequency response at a particular location along the basilar membrane in the inner ear. Гребенка 100 фильтров может включать в себя набор линейных фильтров, чьи полоса пропускания и разнесение постоянны по шкале эквивалентной прямоугольной полосы пропускания (ERB), как определено Муром, Глазбергом и Баером (BCJ Moore, B. Glasberg, T. Baer, «A Model for the Prediction of Thresholds, Loudness, and Partial Loudness», приведенном выше). Comb filter 100 may include a set of linear filters whose bandwidth and spacing are constant on the scale of the equivalent rectangular bandwidth (ERB), as defined by Moore, Glasberg and Baer (BCJ Moore, B. Glasberg, T. Baer, ​​«A Model for the Prediction of Thresholds, Loudness, and Partial Loudness », above).

Хотя шкала частот ERB ближе соответствует человеческому восприятию и показывает улучшенное качество функционирования при создании измерений объективной громкости, которые соответствуют результатам субъективной громкости, шкала частот Барка может применяться с пониженным качеством функционирования. Although the ERB frequency scale is closer to human perception and shows improved quality of operation when creating the objective loudness measurements that match subjective loudness results, Bark frequency scale may be employed with reduced functioning quality.

Для центральной частоты f в герцах ширина одной полосы ERB в герцах может быть приближенно выражена как: For a center frequency f in hertz, the width of one ERB band in hertz may be approximately expressed as:

Figure 00000013

По этой зависимости определяется криволинейная шкала частот из условия, чтобы любая точка по криволинейной шкале, соответствующая ERB в единицах криволинейной шкалы, была равна единице. This dependence is determined by the curved range of frequencies such that any point on the curved scale, the corresponding ERB in units of the curved scale, is equal to unity. Функция для преобразования из линейной частоты в Герцах в эту шкалу частот ERB получается интегрированием аналога уравнения 1: The function for converting from linear frequency in hertz to this ERB frequency scale is obtained by integrating analog equation 1:

Figure 00000014

Также полезно выражать преобразование из шкалы ERB обратно в линейную шкалу частот посредством решения уравнения 2a в отношении f : Also useful to express the transformation from the ERB scale back to the linear frequency scale by solving Equation 2a in relation to f:

Figure 00000015

где e имеет место в единицах шкалы ERB. where e is in units of ERB scale. Фиг.9 показывает зависимость между шкалой ERB и частотой в Герцах. 9 shows the relationship between the ERB scale and frequency in hertz.

Гребенка фильтров анализа, 100, может включать в себя B слуховых фильтров, указываемых ссылкой как полосы, на центральных частотах f c [1]... f c [ B ], равномерно разнесенных вдоль шкалы ERB. Comb analysis filterbank 100 may include B auditory filters, referred to as bands, at center frequencies f c [1] ... f c [B], evenly spaced along the ERB scale. Более точно, More accurately,

Figure 00000016

где ∆ - требуемое разнесение ERB Гребенки фильтров анализа, 100 и где f min и f max - требуемые минимальные и максимальные центральные частоты соответственно. where Δ - the desired ERB spacing combs analysis filterbank 100 and where f min and f max - the desired minimum and maximum center frequencies, respectively. Можно выбрать ∆=1, и, учитывая частотный диапазон, на котором чувствительно человеческое ухо, можно установить f min = 50 Гц и f max =20000 Гц . One can choose Δ = 1, and taking into account the frequency range in which the human ear is sensitive, it is possible to set f min = 50 Hz and f max = 20000 Hz. С такими параметрами, например, применение уравнений 3a-c дает B= 40 слуховых фильтров. With such parameters, for example, application of Equations 3a-c gives B = 40 auditory filters.

Амплитудно-частотная характеристика каждого слухового фильтра может характеризоваться сферической экспоненциальной функцией, как предложено Муром и Глазбергом. The amplitude-frequency characteristic of each of the auditory filter can be characterized by a spherical exponential function, as suggested by Moore and Glasberg. Более точно, амплитудная характеристика фильтра с центральной частотой f c [ b ] может вычисляться в качестве: More specifically, the amplitude filter characteristic with a center frequency f c [b] may be calculated as:

Figure 00000017

где Where

Figure 00000018

Амплитудные характеристики таких B слуховых фильтров, которые приближенно равняются определению критических полос по шкале ERB, показаны на фиг.10. Amplitude characteristics such B auditory filters, which approximate critical bands definition equal scale ERB, shown in Figure 10.

Операции фильтрации Гребенки фильтров анализа, 100, могут удовлетворительно приближенно выражаться с использованием дискретного преобразования Фурье конечной длины, обычно указываемого ссылкой как кратковременное дискретное преобразование Фурье (STDFT), так как реализация, выполняющая фильтры на частоте выборки звукового сигнала, указываемая ссылкой как полночастотная реализация, предполагается дающей большее временное разрешение, чем необходимо для точных измерений громкости. filtering operation Combs analysis filterbank 100 can satisfactorily be approximately expressed by using a discrete Fourier transform of a finite length, commonly referred to as a short-term Discrete Fourier Transform (STDFT), because the realization operate filters on a sampling rate of the audio signal, referred to as a full-range realization It expected to giving greater temporal resolution than is necessary for accurate loudness measurements. Посредством использования STDFT вместо полночастотной реализации может достигаться улучшение эффективности и снижение вычислительной сложности. By STDFT instead of using full-range can be achieved by implementing improved efficiency and reduced computational complexity.

STDFT входного звукового сигнала x [ n ] определено в качестве: STDFT x [n] of the input audio signal is defined as:

Figure 00000019

где k - индекс частоты, t - индекс временного интервала, N - размер ДПФ (дискретного преобразования Фурье, DFT), T - размер скачка, а w [ n ] - длина окна N , нормализованного так, что where k - frequency index, t - time slot index, N - size of DFT (Discrete Fourier Transform, DFT), T - the jump size, and w [n] - the window length N, the normalized so that

Figure 00000020

Отметим, что переменная t в уравнении 5a является дискретным индексом, представляющим временной интервал STDFT, в противоположность измерению времени в секундах. Note that the variable t in Equation 5a is a discrete index representing the time interval STDFT, as opposed to measuring the time in seconds. Каждое приращение в t представляет скачок на T отсчетов вдоль сигнала x [ n ] . Each increment in t represents a jump on T samples along the signal x [n]. Последующие ссылки на индекс t предполагают это определение. Subsequent references to the index t assume this definition. Несмотря на то что разные настройки параметров и формы окна могут использоваться в зависимости от деталей реализаций, для f s =44100 Гц , выбор N =2048, T =1024, и вынуждение w [ n ] быть окном Хенинга обеспечивает достаточный баланс временного и частотного разрешения. Despite the fact that different parameter settings and window shapes may be used depending on the details of implementation, for f s = 44100 Hz, choosing N = 2048, T = 1024, and forcing w [n] be a Hanning window provides an adequate balance of the time and frequency resolution of . STDFT, описанное выше, может быть более эффективным с использованием быстрого преобразования Фурье (БПФ, FFT). STDFT, described above, may be more efficient using the Fast Fourier Transform (FFT, FFT).

Вместо STDFT для реализации гребенки фильтров анализа может использоваться модифицированное дискретное косинусное преобразование (MDCT). STDFT instead to implement the comb may be used modified analysis filter discrete cosine transform (MDCT). MDCT-преобразование, обычно используемое в кодировщиках связанного с восприятием аудио, таких как AC-3 системы Долби. MDCT-transformation normally used in encoders associated with the perception of audio, such as Dolby AC-3 system. Если раскрытая система реализуется с помощью такого перцепционно кодированного аудио, раскрытые измерение и модификация громкости могут более эффективно реализовываться обработкой существующих коэффициентов MDCT кодированного аудио, тем самым устраняя необходимость выполнять преобразование гребенки фильтра анализа. If the disclosed system implemented using such a perceptually encoded audio disclosed measurement and modification of the volume can be more effectively realized by treating existing MDCT coefficients of the encoded audio, thereby eliminating the need to convert the comb filter analysis. MDCT входного звукового сигнала x [ n ] задано посредством: MDCT x [n] of the input audio signal is given by:

Figure 00000021

Обычно размер T скачка выбирается, чтобы быть точно половиной длины N преобразования, так что возможна безукоризненная реконструкция сигнала x [ n ]. Usually T jump size is selected to be exactly half of length N transform, so can be irreproachable reconstruction signal x [n].

Пропускающий фильтр, 101 Pass filter, 101

Выходные сигналы Гребенки фильтров анализа, 100, подводятся в пропускающий фильтр или функцию 101 пропускающего фильтра («Пропускающий фильтр»), которые фильтруют каждую полосу гребенки фильтров в соответствии с передачей аудио через наружное и среднее ухо. Output signals Combs analysis filterbank, 100, are supplied in or pass filter function 101 pass filter ( "permeable filter") which is filtered each band filterbank, in accordance with the transmission of audio through the outer and middle ear. Фиг.8 изображает одну из пригодных амплитудно-частотных характеристик пропускающего фильтра, P( f ), на ширине диапазона слышимых частот. 8 shows one of the suitable amplitude-frequency characteristics of a transmission filter, P (f), on the width of the audible frequency range. Характеристика является единицей ниже 1 кГц, а выше 1 кГц, следуют инверсии порога слышимости, который задан в стандарте ISO226, с пороговым значением, нормализованным для равенства единице на 1 кГц. Characteristic unit is lower than 1 kHz and above 1 KHz, followed by an inversion threshold of audibility which is set in the ISO226 standard, with the threshold normalized to equal unity at 1 kHz.

Накачка, 102 Pumping, 102

Для того чтобы вычислять громкость входного звукового сигнала, необходим показатель кратковременной энергии звуковых сигналов в каждом фильтре Гребенки фильтров анализа, 100, после применения Пропускающего фильтра, 101. Этот зависящий от времени и частоты показатель указывается ссылкой как накачка. In order to calculate the input audio signal volume, requires short-time energy rate sound signal in each filter bank analysis filterbank 100 after application passed the filter 101. This time-dependent and frequency component is referred to as pumping. Выходной сигнал кратковременной энергии каждого фильтра в Гребенке фильтров анализа, 100, может приближенно выражаться в Функции накачки, 102, посредством перемножения характеристик фильтров в частотной области со спектром мощности входного сигнала: The output of short-time energy in each filter combs analysis filterbank 100 may be approximately expressed as functions of the pump 102 by multiplying filter characteristics in the frequency domain with the power spectrum of the input signal:

Figure 00000022

где b - номер полосы, t - номер кадра, а H b [ k ] и P [ k ] - частотные характеристики слухового фильтра и пропускающего фильтра, соответственно дискретизированные на частоте, соответствующей индексу k приемника STDFT или MDCT. where b - band number, t - frame number, and H b [k] and P [k] - frequency characteristics of the auditory filter and transmissive filter, respectively sampled at a frequency corresponding to index STDFT or MDCT receiver k. Должно быть отмечено, что разновидности для амплитудной характеристики слуховых фильтров, иные чем заданные в уравнениях 4a-c, могут использоваться в уравнении 7 для достижения подобных результатов. It should be noted that variations to the amplitude response of the auditory filters other than that specified in equations 4a-c, may be used in equation 7 to achieve similar results. Например, упомянутая международная заявка № PCT/US2004/016964, опубликованная как WO 2004/111964 A2, описывает два альтернативных варианта: слуховой фильтр, характеризуемый функцией БИХ-преобразования 12 ого порядка, и приближение недорогого полосового фильтра «с крутым срезом». For example, said International Application № PCT / US2004 / 016964, published as WO 2004/111964 A2, describes two alternatives: the auditory filter characterized IIR conversion function 12 th order, and an approximation "with a steep cut" low cost bandpass filter.

Итак, выходной сигнал Функции накачки, 102, является представлением в частотной области энергии E в соответственных полосах b ERB за период t времени. Thus, the output of the pump functions, 102, is a representation of the frequency-energy region E in the respective bands b ERB for the period of time t.

Усреднение по времени («Сглаживание»), 103 Time averaging ( "Smooth") 103

Для некоторых применений раскрытого изобретения, как описано ниже, может быть желательным сглаживать накачку E [ b , t ] до ее преобразования в удельную громкость. For some applications of the disclosed invention, as described below, it may be desirable to smooth the pumping E [b, t] to convert it to a specific volume. Например, сглаживание может выполняться рекурсивно в функции 103 сглаживания согласно уравнению: For example, smoothing may be performed recursively smoothing function 103 according to the equation:

Figure 00000023

где постоянные времени λ b в каждой полосе b выбираются в соответствии с требуемым применением. wherein time constants λ b in each band b are selected according to the desired application. В большинстве случаев постоянные времени преимущественно могут выбираться, чтобы быть пропорциональными времени интегрирования человеческого восприятия громкости в пределах полосы b. In most cases the time constants may be advantageously chosen to be proportional to the integration time of human loudness perception within band b. Уотсон и Гендель выполняли эксперименты, демонстрирующие, что это время интегрирования находится в пределах диапазона в 150-175 мс на низких частотах (125-200 Гц) и 40-60 мс на высоких частотах (Charles S. Watson and Roy W. Gengel, «Signal Duration and Signal Frequency in Relation to Auditory Sensitivity» Journal of the Acoustical Society of America, Vol. 46, No. 4 (Part 2), 1969, pp. 989-997 (Чарли С., Уотсон и Рой В. Гендель, «Длительность сигнала и частота сигнала относительно слуховой чувствительности» Журнал Акустического сообщества Америки , том 46, № 4 (часть 2), 1969 год, стр. 989-997)). Watson and Handel performed experiments demonstrating that this integration time is within the range 150-175 ms at low frequency (125-200 Hz) and 40-60 ms at high frequency (Charles S. Watson and Roy W. Gengel, « Signal Duration and Signal Frequency in Relation to Auditory Sensitivity »Journal of the Acoustical Society of America, Vol. 46, No. 4 (Part 2), 1969, pp. 989-997 (Charlie S. Watson and Roy W. Handel "signal and the frequency signal duration relative to the auditory sensitivity" Journal of the acoustical American communities, volume 46, № 4 (part 2), 1969 years, pp. 989-997)).

Удельная громкость, 104 Specific loudness, 104

В преобразователе или функции 104 преобразования удельной громкости («Удельная громкость») каждая полоса накачки преобразуется в значение составляющей удельной громкости, которое измеряется в сонах на ERB. In the converter or conversion function of the specific loudness 104 ( "Specific volume"), each strip is converted into a value of the pumping component specific loudness, which is measured in sones in ERB.

Вначале при вычислении удельной громкости уровень накачки в каждой полосе Initially, in computing specific loudness level of the pump in each band

Figure 00000024
[ b , t ] может преобразовываться в эквивалентный уровень накачки на 1 кГц, как задано кривыми равной громкости по ISO 226 (фиг.11), нормализованным пропускающим фильтром P (z) фиг.12): [B, t] may be transformed into an equivalent level of pumping at 1 kHz as specified by the equal loudness curves of ISO 226 (figure 11), normalized transmissive filter P (z) 12)

Figure 00000025

где T 1kHz ( E , f ) - функция, которая формирует уровень на 1 кГц, который равен по громкости уровню E на частоте f . where T 1kHz (E, f) - a function that generates the level at 1 kHz, which is equal in volume level E at frequency f. На практике, T 1kHz ( E , f ) реализуется в качестве интерполяции справочной таблицы кривых равной громкости, нормализованных пропускающим фильтром. In practice, T 1kHz (E, f) is implemented as a look-up table of interpolation curves of equal volume, normalized transmissive filter. Преобразование эквивалентных уровней на 1 кГц упрощает последующий расчет удельной громкости. Converting equivalent levels at 1 kHz simplifies the following specific loudness calculation.

Затем удельная громкость в каждой полосе может быть вычислена в качестве: Next, the specific loudness in each band may be computed as:

Figure 00000026

где N NB [ b , t ] и N WB [ b , t ] - значения удельной громкости на основании узкополосной или широкополосной модели прохождения сигнала соответственно. where N NB [b, t] and N WB [b, t] - specific loudness values based on a narrowband and wideband signal model, respectively passage. Значение α [ b , t ] - является коэффициентом интерполяции, лежащим между 0 и 1, который вычисляется из звукового сигнала. The value α [b, t] - is the interpolation coefficient lying between 0 and 1 that is computed from the audio signal. Упомянутая международная заявка № PCT/US2004/016964, опубликованная как WO 2004/111964 A2, описывает технологию для расчета α [ b , t ] по спектральной неравномерности накачки. Said international application № PCT / US2004 / 016964, published as WO 2004/111964 A2, describes a technique for calculating α [b, t] from the spectral non-uniformity of pumping. Она также более подробно описывает «узкополосные» и «широкополосные» модели прохождения сигнала. It also describes in more detail "narrowband" and "broadband" signal flow model.

Значения N NB [ b , t ] и N WB [ b , t ] узкополосной и широкополосной удельной громкости могут оцениваться по преобразованной накачке с использованием экспоненциальных функций: Values N NB [b, t] and N WB [b, t] narrowband and wideband specific loudness may be estimated by a converted pumping using exponential functions:

Figure 00000027

где TQ 1kHz - уровень накачки при пороговом значении в тишине для тона в 1 кГц. where TQ 1kHz - pumping level at threshold in quiet for a 1 kHz tone. По кривым равной громкости (фиг.11 и 12) TQ lkHz равен 4,2 дБ. From the curves of equal volume (11 and 12) TQ lkHz equal to 4.2 dB. Отмечаем, что обе из этих функций удельной громкости равны нулю, когда накачка равна пороговому значению в тишине. We note that both of these specific loudness functions are equal to zero when the pump is equal to the threshold in quiet. Для накачек, больших чем пороговое значение в тишине, обе функции монотонно возрастают со степенной зависимостью в соответствии с законом Стивенса об ощущении интенсивности. To pump levels greater than the threshold in quiet, both functions grow monotonically with a power function in accordance with Stevens' law of intensity sensation. Показатель степени для узкополосной функции выбирается, чтобы быть большим, чем таковой у широкополосной функции, заставляя узкополосную функцию возрастать быстрее, чем широкополосная функция. The exponent for the narrowband function is chosen to be greater than that of the wideband function, making the narrowband function increase more rapidly than the wideband function. Отдельный набор показателей степени β и коэффициентов усиления G для узкополосного и широкополосного случаев выбирается, чтобы соответствовать экспериментальным данным о росте громкости для тонов и шума. A separate set of exponents β and gains G for the narrowband and wideband cases, chosen to fit the experimental data on the volume growth for tones and noise.

Мур и Глазберг выдвинули в качестве предположения, что удельная громкость должна быть равной некоторому небольшому значению вместо нуля, когда накачка находится на пороге слышимости. Moore and Glasberg nominated as the assumption that the specific volume must be equal to some small value instead of zero when the pump is at the threshold of audibility. Удельная громкость затем должна монотонно уменьшаться до нуля, по мере того как накачка уменьшается до нуля. Specific volume then should decrease monotonically to zero as the pump decreases to zero. Обоснование состоит в том, что порог слышимости является вероятностным порогом (точкой, в которой тон обнаруживается 50% времени) и что количество тонов, каждый при пороговом значении, представленных совместно, может суммироваться в звук, который слышим в большей степени, чем любой из отдельных тонов. Justification is that the hearing threshold is the probability threshold (the point at which the tone is detected 50% of the time) and the number of tones, each at the threshold represented together, it can be summarized in the sound that we hear in a greater extent than any of the individual tones. В раскрытой заявке пополнение функций удельной громкости этим свойством имеет дополнительное преимущество побуждения решателя коэффициентов усиления, обсужденного ниже, вести себя более уместно, когда накачка находится возле порогового значения. In the disclosed application specific loudness functions replenishment this property has the added advantage of prompting the gain solver, discussed below, to behave more appropriately, when the pump is near threshold. Если удельная громкость определена равной нулю, когда накачка находится на или ниже порогового значения, то уникального решения для решателя коэффициентов усиления не существует для накачек на или ниже порогового значения. If the specific loudness is defined to be zero when the pump is at or below the threshold value, then a unique solution for the gain solver does not exist for the pump levels at or below the threshold. Если, с другой стороны, удельная громкость определена монотонно повышающейся для всех значений накачки, больших чем или равных нулю, как предложено Муром и Глазбергом, то уникальное решение существует. If, on the other hand, the specific volume is defined for all monotonically rising pumping values ​​greater than or equal to zero, as suggested by Moore and Glasberg, then there exists a unique solution. Масштабирование громкости, большее чем единица, всегда будет иметь следствием коэффициент усиления, больший чем единица, и наоборот. Volume Zoom, more than one, will always have the effect of a gain greater than one, and vice versa. Функции удельной громкости в уравнениях 11a и 11b могут быть видоизменены, чтобы иметь требуемое свойство, согласно: Functions specific loudness in equations 11a and 11b can be modified to have a desired property, in accordance with:

Figure 00000028

где константа λ является большей, чем единица, показатель η степени является меньшим, чем единица, а константы K и C выбираются так, что функция удельной громкости и ее первая производная являются непрерывными в точке where λ is a constant greater than one, the degree of index η is smaller than one, and the constants K and C are chosen so that the specific loudness function and its first derivative are continuous at the point

Figure 00000029
1kHz [ b , t ] = λTQ 1kHz . 1kHz [b, t] = λTQ 1kHz.

Из удельной громкости, общая или «полная» громкость L [ t ] задается суммой удельной громкости по всем полосам 6: Because specific loudness, the overall or "full" loudness L [t] is given by the sum of the specific loudness across all bands 6:

Figure 00000030

Модификация удельной громкости, 105 Modification of the specific loudness, 105

В функции 105 модификации удельной громкости («Модификация удельной громкости») целевая удельная громкость, указываемая ссылкой как In function 105 specific loudness modification ( "Modification specific loudness") the target specific loudness, referred to as a

Figure 00000031
[ b , t ], может рассчитываться по удельной громкости из SL 104 (фиг.7) различными способами, зависящими от требуемого применения всего устройства или последовательности операций. [B, t], may be calculated from the specific loudness from SL 104 (Figure 7) in various ways, depending on the desired application of the entire device or sequence of operations. Как более подробно описано ниже, целевая удельная громкость может рассчитываться с использованием масштабного коэффициента α , например, в случае регулировки уровня громкости. As described in more detail below, the target specific loudness may be calculated using the scale factor α, for example, in the case of volume control. Смотрите уравнение 16, приведенное ниже, и его ассоциативно связанное описание. See Equation 16, shown below, and its associated description. В случае автоматической регулировки усиления (АРУ) и регулировки динамического диапазона (DRC) целевая удельная громкость может рассчитываться с использованием отношения требуемой выходной громкости ко входной громкости. In the case of automatic gain control (AGC) and dynamic range adjustment (DRC) the target specific loudness may be calculated using the ratio of desired output loudness to input loudness. Смотрите уравнения 17 и 18, приведенные ниже, и их ассоциативно связанные описания. See equations 17 and 18 below, and their associated descriptions. В случае динамической коррекции целевая удельная громкость может рассчитываться с использованием зависимости, изложенной в уравнении 23, и ее ассоциативно связанном описании. In the case of dynamic correction of the target specific loudness may be calculated using the function set out in Equation 23, and its associated description.

Решатель коэффициентов усиления, 106 Gain solver 106

В этом примере для каждой полосы b и каждого интервала t времени, Решатель коэффициентов усиления, 106, принимает в качестве своих входных сигналов сглаженную накачку In this example, for each band b, and each time interval t, the gain solver 106 receives as its inputs the smoothed pumping

Figure 00000032
[ b , t ] и целевую удельную громкость [B, t] and the target specific loudness
Figure 00000033
[ b , t ] и формирует коэффициенты G [ b , t ] усиления, используемые впоследствии для модификации аудио. [B, t] and generates coefficients G [b, t] amplification subsequently used to modify the audio. С допущением, что функция Ψ{·} представляет нелинейное преобразование из накачки в удельную громкость, из условия чтобы With the assumption that the function Ψ {·} represents the nonlinear conversion of the pump in a specific volume, such that

Figure 00000034

Решатель коэффициентов усиления находит G [ b , t ], так что Solver gain is G [b, t], so that

Figure 00000035

Решатели коэффициентов усиления, 106, определяют зависящие от частоты и времени коэффициенты усиления, которые, когда применяются к исходной накачке, дают в результате громкость, которая в соответствии с идеалом равна требуемой целевой удельной громкости. The gain solvers 106 are determined depending on the frequency and time gain factors which when applied to the pumping source, result in volume, which, in accordance with the ideal equal to the desired target specific loudness. На практике, Решатели коэффициентов усиления определяют зависящие от часты и времени коэффициенты усиления, которые, когда применяются к варианту в частотной области звукового сигнала, дают в результате модификацию звукового сигнала, для того чтобы уменьшать разность между его удельной громкостью и целевой удельной громкостью. In practice, the gain solvers is determined depending on the frequent and time gain factors which when applied to an embodiment in the frequency domain audio signal result in a modification of the audio signal to reduce the difference between its specific loudness and a target specific loudness. Умозрительно модификация является такой, что модифицированный звуковой сигнал имеет удельную громкость, которая является хорошим приближением целевой удельной громкости. Conceptually, the modification is such that the modified audio signal has a specific loudness, which is a good approximation of the target specific loudness. Решение для уравнения 14a может быть реализовано многообразием способов. 14a solution to the equation can be implemented variety of ways. Например, если существует отражающее ряд решений математическое выражение для инверсии удельной громкости, представленной посредством Ψ -1 {·}, то коэффициенты усиления могут вычисляться непосредственно перекомпоновкой уравнения 14a: For example, if there are a number of solutions reflecting mathematical expression for the specific loudness inversion represented by Ψ -1 {·}, then the gain coefficients can be calculated directly recomposition 14a equation:

Figure 00000036

В качестве альтернативы, если отражающего ряд решений математического выражения для Ψ -1 {·} не существует, может использоваться итерационный подход, в котором в течение каждой итерации уравнение 14a оценивается с использованием текущей оценки коэффициентов усиления. Alternatively, if the number of decisions reflecting mathematical expression for Ψ -1 {·} does not exist, an iterative approach may be used, wherein for each iteration of equation 14a is estimated using estimates of the current gain. Результирующая удельная громкость сравнивается с требуемой целевой, и коэффициенты усиления обновляются на основании ошибки. The resulting specific loudness is compared with the desired target and the gains are updated based on the error. Если коэффициенты усиления обновляются надлежащим образом, они будут сходиться к требуемому решению. If the gains are updated properly, they will converge to the desired solution. Другой способ заключает в себе предварительное вычисление функции Ψ -1 {·} для диапазона значений накачки в каждой полосе, чтобы создавать справочную таблицу. Another method comprises the preliminary calculation of the function Ψ -1 {·} for pumping a range of values in each band to create a look-up table. Из этой справочной таблицы получают приближение обратной функции Ψ -1 {·}, а коэффициенты усиления, в таком случае, могут вычисляться из уравнения 14b. From this look-up table is prepared approximation of the inverse function Ψ -1 {·}, and the gain factors, in that case, can be calculated from equation 14b. Как упомянуто ранее, целевая удельная громкость может быть представлена масштабированием удельной громкости; As mentioned earlier, the target specific loudness may be a scaling of the specific loudness is represented;

Figure 00000037

Подстановка уравнения 13 в 14c, а затем, 14c в 14b дает альтернативное выражение для коэффициентов усиления: Substituting Equation 13 in 14c, and then, in 14c 14b gives an alternative expression for the gains:

Figure 00000038

Мы видим, что коэффициенты усиления могут безукоризненно выражаться в качестве функции накачки We see that the gains can be perfectly expressed as a function of the pump

Figure 00000039
[ b , t ] и масштабирования Ξ [ b , t ] удельной громкости. [B, t] scaling and Ξ [b, t] specific loudness. Поэтому, коэффициенты могут вычисляться посредством оценки по 14d или эквивалентной справочной таблицы без явного вычисления когда-либо удельной громкости или целевой удельной громкости в качестве промежуточных значений. Therefore, the coefficients can be calculated by evaluating 14d on the reference table or equivalent without explicit computation ever specific loudness or a target specific loudness as intermediate values. Однако, эти значения вычисляются неявно благодаря использованию уравнения 14d. However, these values ​​are calculated indirectly through the use of 14d equation. Могут быть изобретены другие эквивалентные способы для вычисления параметров модификации через явное или неявное вычисление удельной громкости и целевой удельной громкости, и это изобретение подразумевается покрывающим все такие способы. It can be devised other equivalent methods for computing the modification parameters through explicit or implicit computation of the specific loudness and target specific loudness, and this invention is intended to cover all such methods.

Гребенка фильтров синтеза, 110 Comb synthesis filterbank 110

Как описано выше, Гребенка фильтров анализа, 100, может быть эффективно реализована благодаря использованию кратковременного дискретного преобразования Фурье (STDFT) или модифицированного дискретного косинусного преобразования, а STDFT или MDCT могут использоваться подобным образом для реализации Гребенки фильтров синтеза, 110. Более точно, с допущением, что X [ k , t ] представляет STDFT или MDCT входного аудио, как определено ранее, STDFT или MDCT обработанного (модифицированного) аудио в Гребенке фильтров синтеза, 110, могут рассчитываться в качестве As described above, the comb analysis filterbank 100 may be implemented efficiently by using short discrete Fourier transform (STDFT) or the modified discrete cosine transform, and the STDFT or MDCT may be used similarly to implement synthesis filter bank 110. More specifically, assuming that X [k, t] represents the STDFT or MDCT of the input audio, as previously defined, STDFT or MDCT processed (modified) audio synthesis filterbank, 110, can be calculated as

Figure 00000040

где S b [ k ] - характеристика фильтра синтеза, ассоциативно связанная с полосой b , а d - задержка, ассоциативно связанная с блоком 109 задержки на фиг.7. wherein S b [k] - synthesis filter characteristics associated with the band b, and d - the delay associated with the delay unit 109 in Figure 7. Форма фильтров S b [ k ] синтеза может выбираться такой же, как фильтры, используемые в гребенке фильтров анализа, H b [ k ], или они могут модифицироваться, чтобы обеспечивать безупречную реконструкцию в отсутствии любой модификации коэффициентами усиления (то есть когда G[ b , t ]=1). Filter Shape S b [k] synthesis may be selected the same as the filters used in the comb analysis filterbank, H b [k], or they may be modified to provide perfect reconstruction in the absence of any modification gain coefficients (i.e., when G [b , t] = 1). Конечное обработанное аудио, в таком случае, может формироваться посредством обратного преобразования Фурье или модифицированного косинусного преобразования X [ k , t ] и синтеза с добавлением перекрытия, как знакомо специалисту в данной области техники. The final processed audio, in this case, may be formed by an inverse Fourier transform or a modified cosine transform X [k, t] and with the addition of synthetic overlapping as is familiar to those skilled in the art.

Целевая удельная громкость The target specific loudness

Поведение компоновок, воплощающих аспекты изобретения, таких как примеры по фиг.1-7, главным образом, диктуется образом действий, которым рассчитывается целевая удельная громкость Behavior arrangements embodying aspects of the invention, such as the examples of Figures 1-7 mainly dictated by way of action by which the target specific loudness is calculated

Figure 00000041
[ b , t ]. [B, t]. Хотя изобретение не ограничено никакими конкретными функцией или обратной функцией для расчета целевой удельной громкости, несколько таких функций и подходящих применений для них будут описаны далее. Although the invention is not limited to any specific function, or an inverse function to calculate the target specific loudness, and several of these functions suitable for applications which will be described hereinafter.

Независящая от времени и независящая от частоты функция, пригодная для регулировки громкости Independent of time and independent of the function of frequency, suitable to adjust the volume

Стандартный регулятор громкости настраивает громкость звукового сигнала применением широкополосного коэффициента усиления к аудио. Standard volume control adjusts the sound volume using the broadband gain to the audio. Обычно коэффициент усиления привязан к ручке или ползунку, которые настраиваются пользователем до тех пор, пока громкость аудио не находится на требуемом уровне. Typically the gain linked to the handle or crosshead, which are configured by the user as long as the audio volume is not at the required level. Аспект настоящего изобретения предусматривает более психоакустически совместимый способ реализации такого регулятора. An aspect of the present invention provides a method psychoacoustically compatible implementation of such control. Согласно этому аспекту изобретения предпочтительнее, чем обладание широкополосным коэффициентом усиления, привязанным к регулятору уровня громкости, который имеет результатом изменение коэффициента усиления на одинаковую величину по всем полосам частот, которое может вызывать изменение в воспринимаемом спектре, коэффициент масштабирования удельной громкости взамен ассоциативно связан с настройкой регулятора уровня громкости, с тем чтобы коэффициент усиления на каждой из многочисленных полос частот изменялся на величину, которая According to this aspect of the invention, rather than possessing a wideband gain, tied to the volume control level that results in a change of the gain by the same amount for all the frequency bands, which may cause a change in the perceived spectrum of specific loudness scaling factor instead it is associated with adjustment knob volume, so that the gain at each of multiple frequency bands changed by an amount which читывает модель человеческого слуха, так что в соответствии с идеалом нет никакого изменения воспринимаемого спектра. I used to read a model of the human ear, so that in accordance with the ideal there is no change in the perceived spectrum. В контексте этого аспекта изобретения и примерного его применения «постоянный» или «независящий от времени» подразумеваются предусматривающими изменения в настройке коэффициента масштабирования регулятора уровня громкости, время от времени, например, пользователем. In the context of this aspect of the invention and its exemplary application of the "permanent" or "time-independent" means providing for changes in the zoom ratio setting volume control, from time to time, for example, by the user. Такая «независимость от времени» иногда указывается ссылкой как «почти независящий от времени», «квазистационарный», «кусочно независящий от времени», «кусочно стационарный», «ступенчато независящий от времени» и «ступенчато стационарный». This "independence of time" is sometimes referred to as "almost independent of the time", "quasi-stationary", "piecewise independent of time", "piecewise stationary", "step by step independent of the time" and "step-stationary". При условии такого масштабного коэффициента, α , целевая удельная громкость может рассчитываться в качестве измеренной удельной громкости, умноженной на α . Provided such a scale factor, α, the target specific loudness may be calculated as the measured specific volume multiplied by α.

Figure 00000042

Так как полная громкость L [ t ] является суммой удельной громкости N [ b , t ] по всем полосам b , вышеприведенная модификация также масштабирует полную громкость коэффициентом α , но она делает это способом, который сохраняет одинаковый воспринимаемый спектр в конкретный момент времени для изменений настройки регулятора уровня громкости. Since the total loudness L [t] is the sum of the specific loudness N [b, t] across all bands b, the above modification also scales the full volume coefficient α, but it does so in a way which retains the same perceived spectrum at a given time to adjust the change volume control. Другими словами, в любой конкретный момент времени изменение настройки регулятора уровня громкости имеет результатом изменение воспринимаемой громкости, но никакого изменения в воспринимаемом спектре модифицированного аудио в сравнении с воспринимаемым спектром немодифицированного аудио. In other words, at any given point in time change the volume control setting is the result of the change in perceived loudness, but no change in the perceived spectrum of the modified audio versus the perceived spectrum of the unmodified audio. Фиг.13a изображает результирующие многополосные коэффициенты усиления G [ b , t ] по всем полосам « b » в конкретный момент времени « t », когда α =0,25 для звукового сигнала, состоящего из женской речи. 13A shows the resulting multiband gains G [b, t] across all bands «b» at particular time «t», when α = 0,25 for an audio signal consisting of female speech. Для сравнения, также начерчен широкополосный коэффициент усиления, требуемый для масштабирования исходной полной громкости посредством 0,25 (горизонтальная линия), как в стандартном регуляторе уровня громкости. For comparison, also drafted broadband gain, required for scaling the initial full volume by 0.25 (the horizontal line), as in the conventional volume control. Многополосный коэффициент G [ b , t ] увеличивается в полосах низких и высоких частот по сравнению с полосами средних частот. Multiband coefficient G [b, t] is increased in the low and high frequencies compared with stripes midrange. Это совместимо с кривыми равной громкости, указывающими, что человеческое ухо менее чувствительно на низких и высоких частотах. This is consistent with the equal loudness curves, indicating that the human ear is less sensitive at low and high frequencies.

Фиг.13b изображает удельную громкость для исходного звукового сигнала, модифицированного широкополосным коэффициентом усиления сигнала, который модифицировался в соответствии с регулятором уровня громкости предшествующего уровня техники, и модифицированного многополосным коэффициентом усиления сигнала, который модифицировался в соответствии с этим аспектом изобретения. 13b shows a specific volume for the original audio signal, the modified broadband signal gain which has been modified in accordance with the volume control of the prior art, and the modified multi-band gain signal, which is modified in accordance with this aspect of the invention. Удельная громкость модифицированного многополосным коэффициентом усиления сигнала является таковой у исходного сигнала, масштабированной на 0,25. Specific multiband loudness of the modified signal gain is that of the original signal, scaled by 0.25. Удельная громкость модифицированного широкополосным коэффициентом усиления сигнала изменила его спектральную форму по отношению к таковой у исходного немодифицированного сигнала. The specific loudness of the modified signal broadband gain changed its spectral shape relative to that of the original unmodified signal. В этом случае удельная громкость, в относительном смысле, теряет громкость как на низких, так и на высоких частотах. In this case, the specific loudness, in relative terms, loses volume both at low and at high frequencies. Это воспринимается как потускнение аудио по мере того, как понижается его уровень громкости, проблема, которая не возникает при многополосном модифицированном сигнале, чья громкость регулируется коэффициентами усиления, полученными в области громкости восприятия. It is perceived as a dulling of audio as its volume decreases, a problem that does not occur when the modified multiband signal whose volume is adjustable gain factors obtained in the perception of loudness.

Наряду с искажением воспринимаемого спектрального баланса, ассоциативно связанным с традиционным регулятором уровня громкости, существует вторая проблема. Along with the distortion of the perceived spectral balance associated with the conventional volume control, there is a second problem. Свойство восприятия громкости, которое отражается в модели громкости, отраженной в уравнениях 11a-11d, состоит в том, что громкость сигнала на любой частоте уменьшается быстрее по мере того, как уровень сигнала подходит к порогу слышимости. Property of loudness perception, which is reflected in the volume model reflected in Equations 11a-11d, is that the volume of the signal at any frequency decreases faster as the signal level approaches the threshold of hearing. Как результат электрическое затухание, требуемое для передачи такого же затухания громкости более тихому сигналу, является меньшим, чем таковое, требуемое для более громкого сигнала. As a result, the electrical damping required to transmit the same volume quieter signal attenuation is less than that required for a louder signal. Традиционный регулятор уровня громкости придает постоянное затухание независимо от уровня сигнала, а потому тихие сигналы становятся «слишком тихими» по отношению к более громким сигналам по мере того, как уровень громкости убавляется. Traditional volume control gives a constant attenuation regardless of the signal level, and are quiet because signals become "too quiet" with respect to signals louder in proportion as the volume decreases. Во многих случаях это имеет следствием потерю деталей в аудио. In many cases this results in loss of detail in the audio. Рассмотрим запись кастаньет в реверберирующем помещении. Consider castanets record in reverberant room. В такой записи основной «удар» кастаньет слишком громок по сравнению с реверберирующими эхо-сигналами, но это реверберирующие эхо-сигналы, которые передают размер помещения. In such recording main "kick" castanet too loud compared to the reverberant echoes, but this reverberant echoes that transmit room size. По мере того как уровень громкости убавляется традиционным регулятором уровня громкости, реверберирующие эхо-сигналы становятся тише относительно основного удара и в итоге исчезают ниже порога слышимости, оставляя «сухое» звучание кастаньет. As the volume level decreases conventional volume control, reverberant echoes become quieter relative to the main pin and eventually disappear below the threshold of audibility, leaving the "dry" castanets sound. Основанный на громкости регулятор уровня громкости предотвращает исчезновение более тихих частей записей посредством подъема более тихих реверберирующих частей записи относительно более громкого основного удара, так что относительная громкость между этими частями остается постоянной. Based on the volume of the volume control prevents disappearance quieter parts by lifting records quieter parts reverberating recording relatively loud core pin so that the relative volume of these parts remains constant. Для того чтобы достичь этого эффекта, многополосные коэффициенты усиления G [ b , t ] должны меняться во времени со скоростью, которая соизмерима с человеческим временным разрешением восприятия громкости. In order to achieve this effect, the multiband gains G [b, t] must vary in time at a rate which is commensurate with the temporal resolution of the human loudness perception. Так как многополосные коэффициенты усиления G [ b , t ] вычисляются в качестве функции сглаженной накачки Since the multiband gains G [b, t] is calculated as a function of the smoothed pump

Figure 00000043
[ b , t ], выбор постоянных λ b времени в уравнении 8 предписывает, насколько быстро коэффициенты усиления могут меняться во времени в каждой полосе b. [B, t], the choice of constant λ b in the equation of time 8 prescribes how quickly the gain factors may change over time in each band b. Как упомянуто ранее, эти постоянные времени могут выбираться пропорциональными времени интегрирования человеческого восприятия громкости в пределах полосы b и, таким образом, давать надлежащее изменение G [ b , t ] со временем. As mentioned previously, these time constants can be chosen proportional to the integration time of human loudness perception within band b, and thus give the proper change in G [b, t] over time. Должно быть отмечено, что, если временные ограничения выбираются ненадлежащим образом (слишком быстрыми либо слишком медленными), то неприятные по восприятию артефакты могут привноситься в обработанное аудио. It should be noted that, if the time limits are selected properly (too fast or too slow), then the perception of unpleasant artifacts can bring to the processed audio.

Независящая от времени и зависящая от частоты функция, пригодная для постоянной амплитудной коррекции Independent of time and frequency-dependent function is suitable for constant amplitude correction

В некоторых применениях кто-то может пожелать применять постоянную амплитудную коррекцию восприятия к аудио, в каковом случае целевая удельная громкость может вычисляться применением независящего от времени, но зависящего от частоты масштабного коэффициента Θ[ b ], как в зависимости In some applications, one may wish to apply a constant amplitude correction to the audio perception, in which case the target specific loudness may be calculated using the time-independent, but frequency dependent scale factor Θ [b], both depending

Figure 00000044

в которой wherein

Figure 00000045
[ b , t ] - целевая удельная громкость, N [ b , t ] - удельная громкость звукового сигнала, b - показатель частоты, а t - показатель времени. [B, t] - target specific loudness, N [b, t] - specific volume of the audio signal, b - frequency index, and t - time index. В этом случае масштабирование может изменяться от полосы к полосе. In this case, the scaling may vary from band to band. Такое применение, например, может быть полезным для подчеркивания части спектра, доминируемой речевыми частотами для того, чтобы повышать разборчивость. Such an application may for example be useful to emphasize parts of the spectrum dominated speech frequencies to improve intelligibility.

Независящая от частоты и зависящая от времени функция для автоматической регулировки усиления и регулировки динамического диапазона Independent of the frequency and time-dependent function for automatic gain control and dynamic range adjustment

Технологии автоматической регулировки усиления и регулировки динамического диапазона (АРУ и DRC) широко известны в области звуковой обработки. Technology automatic gain control and dynamic range adjustment (AGC and DRC) are well known in the field of audio processing. В абстрактном смысле обе технологии измеряют уровень звукового сигнала некоторым образом, а затем модифицируют сигнал коэффициентом усиления на величину, которая является функцией измеренного уровня. In an abstract sense, both techniques measure the level of an audio signal in some manner and then gain modified signal to a value which is a function of the measured level. Для случая АРУ сигнал модифицируется коэффициентом усиления, так что его измеренный уровень ближе к выбранному пользователем контрольному уровню. For the case of an AGC gain signal is modified so that it is closer to the measured level of a selected user control level. С помощью DRC сигнал модифицируется коэффициентом усиления, так что диапазон измеренного уровня сигнала преобразуется в некоторый требуемый диапазон. Using the DRC signal is modified by a gain so that the range of the measured signal level is converted into some desired range. Например, кто-то может пожелать сделать тихие части аудио более громкими, а громкие части более тихими. For example, someone may wish to make a quiet part of the audio louder and loud parts quieter. Такая система описана Робинсоном и Гундри (Charles Robinson and Kenneth Gundry, «Dynamic Range Control via Metadata», 107 th Convention of the AES, Preprint 5028, September 24-27, 1999, New York (Чарльз Робинсон и Кеннет Гундри, «Регулировка динамического диапазона посредством метаданных», 107 ая конвенция AES, препринт 5028, 24-27 сентября 1999 года, Нью-Йорк)). Such a system is described by Robinson and Gundry (Charles Robinson and Kenneth Gundry, « Dynamic Range Control via Metadata», 107 th Convention of the AES, Preprint 5028, September 24-27, 1999, New York (Charles Robinson and Kenneth Gundry, "Dynamic Adjustment range by metadata ", the AES 107 th Convention, preprint 5028, 24-27 September 1999, New York)). Традиционные реализации АРУ и DRC обычно используют простое измерение уровня звукового сигнала, такое как сглаженная пиковая или среднеквадратическая (rms) амплитуда, для получения модификации коэффициента усиления. Conventional implementation of AGC and DRC typically use a simple measurement of the sound level, such as a flattened peak or mean squared (rms) the amplitude, for modifying the gain. Такие простые измерения до некоторой степени могут коррелировать с воспринимаемой громкостью аудио, но аспекты настоящего изобретения предусматривают более значимые по восприятию АРУ и DRC посредством модификаций коэффициентом усиления с измерением громкости на основании психоакустической модели. Such simple measure to some extent can be correlated with the perceived loudness of audio, but aspects of the present invention provide a significant perception of AGC and DRC modifications by the gain with the volume measurement based on a psychoacoustic model. К тому же многие традиционные системы АРУ и DRC применяют модификацию коэффициента усиления с помощью широкополосного коэффициента усиления, тем самым навлекая на себя вышеупомянутые тембровые (спектральные) искажения в обработанном аудио. In addition, many traditional AGC and DRC systems apply gain modification using a broadband gain, thereby incurring the above-mentioned timbre (spectral) distortions in the processed audio. Аспекты настоящего изобретения, с другой стороны, используют многополосный коэффициент усиления для придания формы удельной громкости некоторым образом, который снижает или минимизирует такие искажения. Aspects of the present invention, on the other hand, use multi-band gain for imparting specific loudness shape in a manner that reduces or minimizes such distortions.

Оба применения, АРУ и DRC, применяющие аспекты настоящего изобретения, характеризуются функцией, которая преобразует или отображает входную широкополосную громкость L i [ t ] в требуемую выходную широкополосную громкость L o [ t ], где громкость измеряется в единицах громкости восприятия, таких как соны. Both applications, AGC and DRC, employing aspects of the present invention are characterized by a function that converts or maps the input wideband loudness L i [t] in the desired output wideband loudness L o [t], where the volume is measured in the perception of volume units such as Saone. Входная широкополосная громкость L i [ t ] является функцией удельной громкости N [ b , t ] входного звукового сигнала . The input wideband loudness L i [t] is a function of the specific loudness N [b, t] of the input audio signal. Хотя она может быть такой же, как полная громкость входного звукового сигнала, она может быть сглаженным во времени вариантом полной громкости звукового сигнала. Although it may be the same as the total volume of the input audio signal, it may be smoothed in time one full volume audio signal.

Фиг.14a и 14b изображает примеры функций отображения, типичных для АРУ и DRC соответственно. 14a and 14b illustrates examples of mapping functions typical of AGC and DRC respectively. При условии такого отображения, в котором L o [ t ] является функцией от L i [ t ], целевая удельная громкость может рассчитываться в качестве Provided such a display, wherein L o [t] is a function of L i [t], the target specific loudness may be calculated as

Figure 00000046

Исходная удельная громкость N [ b , t ] звукового сигнала просто масштабируется отношением требуемой выходной широкополосной громкости ко входной широкополосной громкости, чтобы давать выходную удельную громкость Initial specific loudness N [b, t] sound signal simply scaled ratio desired output wideband loudness to input wideband loudness to produce output specific loudness

Figure 00000047
[ b , t ]. [B, t]. Для системы АРУ входная широкополосная громкость L i [ t ] обычно должна быть показателем долговременной полной громкости аудио. For AGC input wideband loudness L i [t] should normally be an indicator of long-term full-volume audio. Это может достигаться сглаживанием полной громкости L [ t ] по времени для формирования L i [ t ]. This can be achieved by smoothing the full volume L [t] over time to form L i [t].

По сравнению с АРУ система DRC реагирует на более кратковременные изменения в громкости сигнала, а потому L i [ t ] может просто делаться равной L [ t ]. Compared with DRC AGC system responds to a momentary change in the volume signal, and therefore L i [t] may simply be made equal to L [t]. Как результат масштабирование удельной громкости, заданное посредством L o [ t ]/ L i [ t ], может быстро флуктуировать, приводя к нежелательным артефактам в воспринимаемом аудио. As a result of the specific loudness scaling given by L o [t] / L i [t], can fluctuate rapidly, resulting in undesirable artifacts in perceptual audio. Одним из типичных артефактов является слышимая модуляция части частотного спектра некоторой другой относительно несвязанной частью спектра. One typical artifacts audible modulation is part of the frequency spectrum relative to some other unrelated part of the spectrum. Например, подборка классической музыки могла бы содержать высокие частоты, доминируемые продолжительной струнной нотой, наряду с тем, что низкие частоты содержат громко громыхающие литавры. For example, a selection of classical music might contain high frequencies dominated long string note, along with the fact that the low frequencies contain a loud rumbling timpani. Всякий раз, когда ударяют литавры, общая громкость L i [ t ] повышается, и система DRC применяет затухание к взятой в целом удельной громкости. Whenever strike drums, the total volume L i [t] is increased and DRC applies a damping system taken as a whole to specific loudness. Струны, в таком случае, слышатся «опустошаемыми» и наполняемыми в зависимости от литавров. String, in this case, heard "emptied" and fills depending on kettledrums. Такая перекрестная пульсация в спектре также является проблемой при традиционной системе с широкополосной DRC, и типичное решение влечет за собой применение DRC независимо по отношению к разным полосам частот. Such cross ripple in the spectrum is also a problem with the conventional system with broadband DRC, and a typical solution involves the use of DRC independently with respect to different frequency bands. Система, раскрытая здесь, по своей природе является многополосной вследствие гребенки фильтров и расчета удельной громкости, которые применяют модель громкости восприятия, а потому модификация системы DRC для работы многополосным образом в соответствии с аспектами настоящего изобретения является относительно простой и описана далее. The system disclosed herein is inherently multi-band filterbank due to the specific loudness calculation and that use a model of loudness perception, and therefore DRC modification system for multiband manner in accordance with aspects of the present invention is relatively simple and is described hereinafter.

Зависящая от времени и зависящая от частоты функция, пригодная для регулировки динамического диапазона The time-dependent and frequency-dependent function is suitable for adjusting the dynamic range

Система DRC может быть расширена для работы многополосным или зависящим от частоты образом предоставлением входной и выходной громкости возможности независимо меняться с полосой b . DRC can be extended for a multiband or frequency dependent manner providing input and output capabilities independently vary the volume with the band b. Эти значения многополосной громкости указываются ссылкой как L i [ b , t ] и L o [ b , t ], и в таком случае целевая удельная громкость может быть задана согласно These values multiband loudness is referred to as L i [b, t] and L o [b, t], and in this case, the target specific loudness may be set according to the

Figure 00000048

где L o [ b , t ] была рассчитана по или отображена из L i [ b , t ], как проиллюстрировано на фиг.14b, но независимо для каждой полосы b . wherein L o [b, t] was calculated or mapped from L i [b, t], as illustrated in Figure 14b, but independently for each band b. Входная многополосная громкость L i [ b , t ] является функцией удельной громкости N [ b , t ] входного звукового сигнала. Multiband input loudness L i [b, t] is a function of the specific loudness N [b, t] of the input audio signal. Хотя она может быть такой же, как удельная громкость входного звукового сигнала, она может быть сглаженным во времени и/или сглаженным по частоте вариантом удельной громкости звукового сигнала. Although it may be the same as the specific loudness of the input audio signal, it may be smoothed over time and / or frequency one smoothed specific loudness sound signal.

Наиболее простой способ расчета L i [ b , t ] состоит в том, чтобы устанавливать ее равной удельной громкости N [ b , t ] . The most straightforward way of calculating L i [b, t] is to set it equal to the specific loudness N [b, t]. В этом случае DRC скорее выполняется независимо в каждой полосе в гребенке слуховых фильтров модели громкости восприятия, чем в соответствии с одинаковым отношением входной к выходной громкости для всех полос, как только что описано выше под заголовком «Независящая от частоты и зависящая от времени функция, пригодная для автоматической регулировки усиления и регулировки динамического диапазона». In this case, the DRC rather performed independently in each band in the comb auditory filter model loudness perception than in accordance with the same ratio of the input to the output volume for all bands, as just described above under the heading «-independent on the frequency and time-dependent function, suitable for automatic gain control and dynamic range adjustment. " В практическом варианте осуществления, применяющем 40 полос, разнесение этих полос по оси частот является относительно частым, для того чтобы давать точный показатель громкости. In a practical embodiment, applying, 40 bands, separation of the bands in the frequency axis is relatively frequent, in order to give an accurate loudness. Однако применение масштабного коэффициента DRC независимо к каждой полосе может заставлять обработанное аудио звучать «раздробленно». However, the use of scale factor regardless DRC to each band may cause the processed audio sound "fragmented". Чтобы избежать этой проблемы, можно предпочесть рассчитывать L i [ b , t ] сглаживанием удельной громкости N [ b , t ] по полосам, так что применяемая величина DRC от одной полосы к следующей не меняется настолько радикально. To avoid this problem, we can choose to calculate L i [b, t] smoothing specific loudness N [b, t] of the bands, so that the value of DRC applied from one band to the next does not vary as drastically. Это может достигаться определением фильтра Q ( b ) сглаживания полос, а затем сглаживанием удельной громкости по всем полосам c согласно стандартной сверточной сумме: This may be achieved by defining a filter Q (b) smoothing strips, and then smoothing the specific loudness across all bands c according to the standard convolution sum:

Figure 00000049

при этом N [ c , t ] - удельная громкость звукового сигнала, а Q ( bc ) - сдвигаемая по полосам характеристика сглаживающего фильтра. wherein N [c, t] - specific volume of the audio signal and Q (bc) - shifts the bands characteristic of the smoothing filter. Фиг.15 изображает один из примеров такого сглаживающего полосы фильтра. 15 shows one example of such smoothing filter.

Если функция DRC, которая рассчитывает L i [ b , t ] в качестве функции от L o [ b , t ], является фиксированной для каждой полосы b , то тип изменения, вносимого в каждую полосу удельной громкости N [ b , t ], будет меняться в зависимости от спектра аудио, являющегося обрабатываемым, даже если общая громкость сигнала остается той же самой. If the DRC function that calculates L i [b, t] as a function of L o [b, t], is fixed for each band b, the type of changes made to each band specific loudness N [b, t], will vary depending on the audio spectrum, which is to be treated, even if the total volume of the signal remains the same. Например, звуковой сигнал с громким басом и тихим сопрано может содержать бас срезанным, а сопрано повышенным. For example, a loud sound signal with the bass and treble may comprise a low bass cut, and soprano increased. Сигнал с тихим басом и громким сопрано может заставлять происходить противоположное. The signal from the soft loud bass and treble may cause the opposite occurs. Результирующим эффектом является изменение тембра или воспринимаемого спектра аудио, а это может быть желательным в определенных применениях. The net effect is to change the tone or the perceived spectrum of the audio, and it may be desirable in certain applications.

Однако кто-то может пожелать выполнять многополосную DRC, не модифицируя нормальный воспринимаемый спектр аудио. However, someone may wish to carry out multi-band DRC, without modifying the normal range of the perceived audio. Кто-то мог пожелать, чтобы средняя модификация в каждой полосе была приблизительно одинаковой наряду с прежним предоставлением возможности кратковременных изменений модификаций для независимой работы между или среди полос. Someone might wish to mean a modification in each strip was approximately the same along with the former providing the possibility of short-term changes in modifications to operate independently between or among bands. Желательный эффект может достигаться вынуждением среднего поведения DRC в каждой полосе быть таким же, как таковое у некоторого среднего эталонного поведения. The desired effect can be achieved by compulsion average behavior DRC to each band be the same as that of a secondary standard behavior. Можно выбирать это эталонное поведение в качестве требуемого DRC для широкополосной входной громкости L i [ t ]. It is possible to choose this reference behavior as desired DRC for the wideband input loudness L i [t]. Пусть функция L o [ t ] = DRC { L i [t]} представляет требуемое отображение DRC для широкополосной громкости. Let the function L o [t] = DRC { L i [t]} represents the required mapping DRC for the wideband loudness. В таком случае пусть In this case, let

Figure 00000050
[ b , t ] представляет усредненный по времени вариант многополосной входной громкости L i [ b , t ]. [B, t] represents the time-averaged version of the multiband input loudness L i [b, t]. Многополосная выходная громкость в таком случае может рассчитываться в качестве Multiband output volume may then be calculated as

Figure 00000051

Отметим, что многополосная входная громкость сначала масштабируется, чтобы быть в таком же среднем диапазоне, как широкополосная входная громкость. Note that the first multiband input loudness is scaled to be in the same mid-range as wideband input loudness. Затем применяется функция DRC, предназначенная для широкополосной громкости. Then the function is applied DRC, designed for wideband volume. Наконец, результат подвергается уменьшению масштаба обратно, в средний диапазон многополосной громкости. Finally, the result is subjected to a decrease in the scale back in the middle range of the multiband loudness. С помощью этой формулировки многополосной DRC сохраняется пониженная спектральная пульсация наряду с одновременным сохранением среднего воспринимаемого спектра аудио. With this wording multiband DRC maintain a lower spectral ripple along while maintaining the average perceived spectrum of the audio.

Зависящая от частоты и зависящая от времени функция, пригодная для динамической коррекции The frequency-dependent and time-dependent function, suitable for the dynamic correction

Еще одним применением аспектов настоящего изобретения является преднамеренная трансформация зависящего от времени воспринимаемого спектра аудио в целевой независящий от времени спектр, по-прежнему наряду с сохранением исходного динамического диапазона аудио. Another application aspect of the present invention is the intentional transformation of the time-dependent perceived audio spectrum in the target range independent of time, still while maintaining the original audio dynamic range. На эту обработку могут указывать ссылкой как динамическую коррекцию (DEQ). In this processing can be referred to as a dynamic correction (DEQ). При традиционной статической коррекции простая постоянная фильтрация применяется к аудио, для того чтобы изменять его спектр. In the traditional static correction just constantly filtering is applied to the audio, to change its range. Например, можно применять постоянный подъем баса и сопрано. For example, it is possible to apply the constant rising of bass and soprano. Такая обработка не принимает во внимание текущий спектр аудио, а потому может быть неподходящей для некоторых сигналов, то есть сигналов, которые уже содержат относительно большую величину баса или сопрано. Such treatment does not take into account the current range of audio, and therefore may be unsuitable for some signals, ie signals that already contain a relatively large amount of bass or treble. При DEQ спектр сигнала измеряется, и сигнал затем динамически модифицируется, для того чтобы трансформировать измеренный спектр в по существу статическую требуемую форму. When DEQ signal spectrum is measured and the signal is then dynamically modified in order to transform the measured spectrum into a substantially static desired shape. Что касается аспектов настоящего изобретения, такая требуемая форма задается по полосам в гребенке фильтров и указывается ссылкой как EQ [ b ]. With regard to aspects of the present invention, such a desired shape is given by the bands in a comb filter and referred to as EQ [b]. В практическом варианте осуществления измеренный спектр должен представлять среднюю спектральную форму аудио, которая может формироваться сглаживанием удельной громкости N [ b , t ] по времени. In a practical embodiment, the measured spectrum should represent the average spectral shape of the audio, which may be formed by smoothing the specific loudness N [b, t] over time. Сглаженную удельную громкость могут указывать ссылкой как Smoothed specific loudness may be referred to as

Figure 00000052
[ b , t ]. [B, t]. Как при многополосной DRC, кто-то может не пожелать, чтобы модификация DEQ радикально менялась от одной полосы к следующей, а потому функция сглаживания полос может применяться для формирования сглаженного по полосам спектра As with the multiband the DRC, one may not wish to DEQ modification radically changed from one strip to the next, and therefore the function of smoothing strips can be used to form the smoothed spectrum bands
Figure 00000053
[ b , t ]: [B, t]:

Figure 00000054

Для того чтобы сохранить исходный динамический диапазон аудио, требуемый спектр EQ [ b ] должен быть нормализован, чтобы иметь такую же общую громкость, как измеренная спектральная форма, заданная посредством In order to preserve the original dynamic range of the audio, the desired spectrum EQ [b] should be normalized to have the same overall loudness as the measured spectral shape given by

Figure 00000053
[ b , t ]. [B, t]. Эту нормализованную спектральную форму могут указывать ссылкой как This normalized spectral shape may be referred to as
Figure 00000053
EQ [ b , t ]: EQ [b, t]:

Figure 00000055

В заключение целевая удельная громкость рассчитывается в качестве In conclusion, the target specific loudness is calculated as

Figure 00000056

где β - заданный пользователем параметр, находящийся в диапазоне от нуля до единицы, указывающий степень DEQ, которая должна применяться. where β - user-defined parameter, which is in the range from zero to one, indicating the degree of DEQ, which should be applied. Глядя на уравнение 23, кто-то заметит, что когда β =0, исходная удельная громкость является немодифицированной, а когда β =1, удельная громкость масштабируется отношением требуемой спектральной формы к измеренной спектральной форме. Looking at equation 23, one will notice that, when β = 0, the original specific loudness is unmodified, but when β = 1, the specific loudness is scaled ratio of the desired spectral shape to the measured spectral shape.

Один из удобных способов формирования требуемой спектральной формы EQ [ b ] предназначен, чтобы пользователь устанавливал ее равной One of the convenient ways of forming the desired spectral shape EQ [b] destined to user sets it equal to

Figure 00000053
[ b , t ], которая измерена для некоторой части аудио, чей спектральный баланс находит приятным пользователь. [B, t], which is measured for a certain piece of audio whose spectral balance the user likes. В практическом варианте осуществления, например, как показанный на фиг.16, пользователь может снабжаться кнопкой или другим подходящим исполнительным механизмом 507, который, когда приведен в действие, вызывает фиксацию текущего показателя спектральной формы In a practical embodiment, for example as shown in Figure 16, the user may be provided with a button or other suitable actuating mechanism 507 which, when actuated, causes a fixation of the current indicator spectral shape
Figure 00000053
[ b , t ] аудио, а затем сохраняет этот показатель в качестве предустановки (в Фиксации и хранении предустановки целевой удельной громкости, 506), которая позже может загружаться в EQ [ b ], когда задействована DEQ (как посредством выбора 508 предустановки). [B, t] audio, and then stores this parameter as the preset (stored in Record and the preset target specific loudness, 506), which later may be loaded into EQ [b], when activated DEQ (both preset by selecting 508). Фиг.16 - упрощенный вариант фиг.7, в котором только одна линия показана для представления многочисленных полос из Гребенки фильтров анализа, 100, в Гребенку фильтров синтеза, 110. Пример фиг.17 также предусматривает Модификацию удельной громкости (SL) динамической EQ, 505, которая обеспечивает модификацию в отношении удельной громкости, измеренной функцией или устройством 104, в соответствии с динамической коррекцией, как поясненная выше. Figure 16 - a simplified version of Figure 7, in which only one line is shown to represent multiple bands of Combs analysis filterbank 100, a synthesis filterbank, 110. EXAMPLE 17 also provides for modification of the specific loudness (SL) of the dynamic EQ, 505 which provides a modification in respect of the specific loudness measuring function or device 104 in accordance with the dynamic correction as explained above.

Комбинированная обработка combined treatment

Кто-то может пожелать объединить всю описанную ранее обработку, включая регулировку уровня громкости (VC), АРУ, DRC и DEQ в единую систему. Someone may want to combine all the previously described process, including volume adjustment (VC), AGC, DRC, DEQ into a single system. Так как каждая из этих последовательностей операций может быть представлена в качестве масштабирования удельной громкости, все из них легко объединяются, как изложено ниже: Since each of the sequences of operations can be represented as a scaling of the specific loudness, all of them are easily combined as follows:

Figure 00000057

где Ξ * [ b , t ] представляет масштабные коэффициенты, ассоциативно связанные с последовательностью операций «*». where Ξ * [b, t] represents the scaling factors associated with "*" flowchart. Единый набор коэффициентов G [ b , t ] усиления затем может рассчитываться для целевой удельной громкости, который представляет комбинированную обработку. A single set of coefficients G [b, t] may then be calculated gain for the target specific loudness, which is a combined treatment.

В некоторых случаях масштабные коэффициенты одной или комбинации последовательностей операций модификации громкости могут флуктуировать слишком быстро со временем и создавать артефакты в результирующем обработанном аудио. In some cases, the scale factors of one or a combination of sequences volume modification operations may fluctuate over time, too fast and create artifacts in the resulting processed audio. Поэтому может быть желательным сглаживать некоторые подмножества этих коэффициентов масштабирования. Therefore, it may be desirable to smooth some subset of these scaling factors. Вообще, масштабные коэффициенты из VC и DEQ равномерно меняются со временем, но может потребоваться сглаживание комбинации масштабных коэффициентов АРУ и DRC. In general, the scale factors of the VC and DEQ change uniformly with time, but may require a combination of smoothing the scale factors AGC and DRC. Пусть комбинация этих масштабных коэффициентов представлена посредством Let the combination of the scale factors is represented by

Figure 00000058

Основная идея за сглаживанием состоит в том, что комбинированные масштабные коэффициенты должны быстро реагировать, когда удельная громкость повышается, и что масштабные коэффициенты должны сильнее сглаживаться, когда удельная громкость уменьшается. The basic idea of ​​smoothing is that the combined scale factor must respond quickly when the specific volume is increased, and that the scale factors should be strongly mitigated when the specific volume decreases. Эта идея соответствует широко известной практике использования быстрого наступления и медленного освобождения в конструкции звуковых компрессоров. This idea corresponds to a well-known practice of using fast attack and slow release in the design of audio compressors. Надлежащие постоянные времени для сглаживания масштабных коэффициентов могут рассчитываться сглаживанием по времени сглаженного по полосам варианта удельной громкости. Appropriate time constants to smooth the scale factors can be calculated by smoothing time-smoothed version of the bands of the specific volume. Прежде всего вычисляется сглаженный по полосам вариант удельной громкости: First of all the bands is calculated smoothed version of the specific volume:

Figure 00000059

при этом N [ c , t ] - удельная громкость звукового сигнала, а Q ( bc ) - сдвигаемая по полосам характеристика сглаживающего фильтра, как в уравнении 19, приведенном выше. wherein N [c, t] - specific volume of the audio signal and Q (bc) - shifted by the smoothing filter characteristic bands, as in Equation 19, above.

Сглаженный по времени вариант этой сглаженной по полосам удельной громкости затем рассчитывается в качестве The smoothed time-smoothed version of the specific loudness of the bands is then calculated as

Figure 00000060

где зависимый от полосы коэффициент сглаживания λ [ b , t ] задан согласно wherein the band-dependent smoothing factor λ [b, t] is set according to the

Figure 00000061

Сглаженные комбинированные масштабные коэффициенты затем рассчитываются как Smoothed combined scale factors is then calculated as

Figure 00000062

где λ M [ b , t ] - сглаженный по полосам вариант λ [ b , t ]: where λ M [b, t] - a smoothed version of the bands λ [b, t]:

Figure 00000063

Сглаживание по полосам коэффициентов сглаживания предохраняет сглаженные по времени масштабные коэффициенты от радикального изменения по полосам. Smoothing the bands smoothing coefficients protects smoothed by time scale factors of a radical change of the bands. Описанное сглаживание по времени и полосам масштабных коэффициентов имеет результатом обработанное аудио, содержащее меньшее количество нежелательных относящихся к восприятию артефактов. Described smoothing in time and scale factors strips results in the processed audio, comprising a minimal amount of undesirable artifacts related to perception.

Компенсация шума noise compensation

Во многих средах воспроизведения аудио существует фоновый шум, который мешает аудио, которое желает прослушивать слушатель. In many audio playback environments there exists background noise that interferes with the audio that is willing to listen to the listener. Например, слушатель в движущемся автомобиле может быть проигрывающим музыку через встроенную стереофоническую систему, и шум от двигателя и дороги может значительно изменять восприятие музыки. For example, a listener in a moving automobile may be playing music through the integrated stereo system and noise from the engine and road may significantly alter the perception of the music. В частности, для частей спектра, в которых энергия шума значительна относительно энергии музыки, воспринимаемая громкость музыки снижается. In particular, for parts of the spectrum in which the noise is significant relative to the energy of the music energy, the perceived loudness of music is reduced. Если уровень шума достаточно высок, музыка полностью скрывается. If the noise level is high enough, the music disappears completely. Что касается аспекта настоящего изобретения, кто-то захотел бы выбрать коэффициенты G [ b , t ] усиления, с тем чтобы удельная громкость обработанного аудио в присутствии мешающего шума была равной целевой удельной громкости With regard to aspects of the present invention, one would want to select the coefficients G [b, t] gain, so that the specific volume of the processed audio in the presence of the interfering noise was equal to the target specific loudness

Figure 00000064
[ b , t ]. [B, t]. Для достижения этого результата можно использовать концепцию громкости частичных тонов, как определено Муром и Глазбергом ранее. To achieve this result, you can use the concept of partial tones volume as defined by Moore and Glasberg earlier. Допустим, что кто-то способен получать измерение шума самого по себе и измерение аудио самого по себе. Let's say that someone is capable of receiving the measurement noise by itself and the measurement of the audio itself. Пусть E N [ b , t ] представляет накачку от шума, и пусть E A [ b , t ] представляет накачку от аудио. Let E N [b, t] is pumping from noise and let E A [b, t] represents the pumping of the audio. Объединенная удельная громкость аудио и шума, в таком случае, задается посредством The combined specific loudness of audio and noise in this case is given by

Figure 00000065

где снова Ψ{·} представляет нелинейное преобразование из накачки в удельную громкость. where again Ψ {·} represents the nonlinear conversion of the pump in a specific volume. Можно допустить, что слух слушателя разделяет объединенную удельную громкость между удельной громкостью частичных тонов аудио и удельной громкостью частичных тонов шума некоторым способом, который сохраняет объединенную удельную громкость: It can be assumed that the listening ear separates the combined specific loudness between the specific volume of the partial tones of the audio and the specific volume of noise in some way partials that preserves the combined specific loudness:

Figure 00000066

Удельная громкость частичных тонов аудио, N A [ b , t ], является значением, которое желательно контролировать, а потому необходимо вычислять это значение. Specific audio volume partials, N A [b, t] , is a value that is desirable to control, and therefore it is necessary to calculate this value. Удельная громкость частичных тонов шума может быть приближенно выражена в качестве Partial specific loudness of noise tones can be approximately expressed as

Figure 00000067

где E TN [ b , t ] - маскируемое пороговое значение в присутствии шума, E TQ [ b ] - порог слышимости в тишине на полосе b , и k - показатель степени между нулем и единицей. wherein E TN [b, t] - masked threshold in the presence of noise, E TQ [b] - hearing threshold in silence at the band b, and k - exponent between zero and one.

Объединяя уравнения 31-33, приходим к выражению для удельной громкости частичных тонов аудио: Combining equations 31-33, we get the expression for the specific volume partials audio:

Figure 00000068

Отмечают, что, когда накачка аудио равна маскируемому пороговому значению шума ( E A [ b , t ]= E TN [ b , t ]), удельная громкость частичных тонов аудио равна громкости сигнала на пороговом значении в тишине, каковое является требуемым результатом. Note that when the pump is an audio masked threshold noise (E A [b, t] = E TN [b, t]), the specific volume of the audio signal is equal to the volume of the partial tones in quiet threshold value, which is the desired result. Когда накачка аудио гораздо больше, чем у шума, второй член в уравнении 34 исчезает, и удельная громкость аудио приблизительно равна такой, какая могла бы быть, если бы шум отсутствовал. When pumping the audio is much more than the noise, the second term in equation 34 disappears, and the specific volume of the audio approximates for what might have been if there was no noise. Другими словами, в то время как аудио становится гораздо громче чем шум, шум скрывается за аудио. In other words, while the audio becomes much louder than the noise, the noise is hidden behind the audio. Показатель k выбирается опытным путем, чтобы давать максимальное соответствие данным о громкости тона в шуме в качестве функции отношения сигнал-шум. K-selected empirically, to give maximum relevant data on the volume of tone in noise as a function of signal to noise ratio. Мур и Глазберг обнаружили, что значение k =0,3 является подходящим. Moore and Glasberg found that the value of k = 0,3 is suitable. Маскируемое пороговое значение шума может быть приближенно выражено в качестве функции восприятия собственно шума: Maskable noise threshold can be approximately expressed as a function of the actual perception of noise:

Figure 00000069

где K [ b ] - константа, которая увеличивается в полосах нижних частот. where K [b] - constant, which increases in the lower frequency bands. Таким образом, удельная громкость частичных тонов аудио, заданная уравнением 34, может быть представлена абстрактно, в качестве функции накачки аудио и накачки шума: Thus, the specific volume of the partial audio tones defined by equation 34 can be represented abstractly as a function of the pump pumping audio and noise:

Figure 00000070

Модифицированный решатель коэффициентов усиления в таком случае может использоваться для расчета коэффициентов усиления G [ b , t ] из условия, чтобы удельная громкость частичных тонов обработанного аудио в присутствии шума была равна целевой удельной громкости: The modified gain solver coefficients may then be used to calculate the gain G [b, t] such that the partial specific loudness of tones processed audio in the presence of noise is equal to the target specific loudness:

Figure 00000071

Фиг.17 изображает систему по фиг.7 с исходным Решателем коэффициентов усиления, 106 замещенным описанным Решателем коэффициентов усиления с компенсацией шума, 206, (отметим, что многочисленные вертикальные линии между блоками, представляющими многочисленные полосы гребенки фильтров, были замещены одиночной линией для упрощения схемы). 17 shows the system of Figure 7 with the initial gain solver 106 described substituted solver gains with noise compensation, 206, (note that many vertical lines between blocks represent numerous filterbank bands were replaced by a single line to simplify the circuit ). В дополнение фигура изображает измерение накачки шума (Гребенкой фильтров анализа, 200, Пропускающим фильтром 201, Накачкой, 202, и Сглаживанием, 203, некоторым образом, соответствующим работе блоков 100, 101, 102 и 103), которое подается в новый решатель 206 коэффициентов усиления наряду с накачкой аудио (из Сглаживания, 103) и целевой удельной громкостью (из Модификации SL, 105). In addition, the figure shows the measurement noise of the pump (COMB analysis filter 200, bandpass filters 201, pump 202 and smoothing 203 in a manner relevant to the operation of blocks 100, 101, 102 and 103), which is fed to a new solver 206 gain along with pumping audio (from smoothing, 103) and the target specific loudness (from SL Modification 105).

В своем наиболее основном режиме работы Модификация SL, 105, по фиг.17 может просто устанавливать целевую удельную громкость In its most basic mode of operation SL Modification 105 of 17 may simply set the target specific loudness

Figure 00000072
[ b , t ] равной исходной удельной громкости аудио, N [ b , t ] . [B, t] equal to the original specific loudness of audio, N [b, t]. Другими словами, Модификация SL предусматривает независящий от частоты масштабный коэффициент α , масштабирующий удельную громкость звукового сигнала, при этом α =1. In other words, SL modification provides a frequency independent scaling factor α, the specific loudness scaling the audio signal, with α = 1. С помощью компоновки, такой как на фиг.17, коэффициенты усиления рассчитываются так, что воспринимаемый спектр громкости обработанного аудио в присутствии шума равен спектру громкости аудио в отсутствие шума. With arrangement such as in Figure 17, the gains are calculated so that the perceived loudness spectrum of the processed audio in the presence of noise is equal to the volume of audio spectrum in the absence of noise. Дополнительно, любая одна или комбинация таковых из описанных ранее технологий для вычисления целевой удельной громкости в качестве функции исходной, в том числе VC, АРУ, DRC и DEQ, могут использоваться в соединении с системой модификации громкости с компенсацией шума. Additionally, any one or a combination of those techniques previously described for calculation of the target specific loudness as a function of source, including VC, AGC, DRC, and DEQ, may be used in conjunction with the system volume modification with noise compensation.

В практическом варианте осуществления измерение шума может быть получено с микрофона, размещенного в или возле среды, в которую будет воспроизводиться аудио. In a practical embodiment, the noise measurement may be obtained from a microphone placed in or near the environment into which the audio will be played. В качестве альтернативы может использоваться предопределенный набор шаблонных накачек шума, которые аппроксимируют ожидаемый спектр шума при различных условиях. Alternatively it can be used a predetermined set of template noise of pump that approximate the anticipated noise spectrum under various conditions. Например, шум в салоне автомобиля может предварительно анализироваться при различных скоростях езды, а затем сохраняться в качестве справочной таблицы шумовой накачки в зависимости от скорости. For example, noise in vehicle interior can be pre-analyzed at various driving speeds and then stored as a lookup table, the noise of the pump depending on the speed. Шумовая накачка, подаваемая в Решатель коэффициентов усиления, 206, по фиг.17, в таком случае, приближенно выражается по этой справочной таблице, по мере того как изменяется скорость автомобиля. Noise pumping is supplied to the gain solver 206, in Figure 17, in this case, this is expressed approximately by the lookup table as the vehicle speed changes.

Приближения к удельной громкости Approximation to specific loudness

Несмотря на то что раскрытое изобретение работает наилучшим образом, когда используется точное измерение удельной громкости, некоторые применения могут требовать использования более грубой аппроксимации, для того чтобы снижать вычислительную сложность. Despite the fact that the disclosed invention works best when used precise measurement of the specific volume, some applications may require the use of a rough approximation, in order to reduce computational complexity. С подходящим приближением по-прежнему может достигаться приемлемая оценка и модификация воспринимаемой громкости. The correct approach is still able to achieve an acceptable evaluation and modification of perceived loudness. Такое приближение должно пытаться сохранить, по меньшей мере частично, несколько ключевых аспектов восприятия громкости. Such an approach should try to maintain, at least partially, several key aspects of perception of loudness. Во-первых, приближение должно, по меньшей мере грубо, фиксировать изменение чувствительности в восприятии громкости в зависимости от частоты. Firstly, the approach should be, at least roughly, to fix the sensitivity of a change in the perception of loudness depending on the frequency. В общих чертах, приближение должно отображать меньшую чувствительность на нижних и верхних частотах по сравнению со средними частотами. In general, the approximation should show less sensitivity to low and high frequencies compared with average frequencies. Во-вторых, приближение должно демонстрировать нелинейный рост громкости в зависимости от уровня сигнала. Secondly, the approach must demonstrate non-linear volume increase depending on the signal level. Более точно, рост удельной громкости должен быть наиболее быстрым для низкоуровневых сигналов возле порога слышимости, а затем уменьшаться до постоянной скорости роста по мере того, как повышается уровень сигнала. More precisely, the increase of the specific volume to be the fastest for low level signals near the threshold of hearing, and then reduced to a constant speed of growth as the signal level rises. Наконец, приближение должно демонстрировать свойство суммирования громкости, означающее, что для постоянного уровня сигнала полная громкость (интегрирование удельной громкости по частоте) увеличивается по мере того, как увеличивается ширина полосы пропускания сигнала. Finally, the approximation should demonstrate loudness summation property, which means that a constant signal level for the full volume (the volume specific integration frequency) increases as the increasing width of the signal bandwidth.

Один из способов для уменьшения сложности вычисления удельной громкости, по-прежнему наряду с сохранением желательных свойств восприятия громкости, состоит в том, чтобы использовать гребенку фильтров с меньшим количеством полос, и в которой полосы могут не быть равномерно разнесенными по ступенчатой шкале критических полос. One way to reduce the complexity of computing specific loudness, still while maintaining the desired properties of loudness perception, is to use a comb filter with fewer bands, and wherein the bands can not be uniformly spaced stepped scale of critical bands. Например, можно использовать 5-полосную гребенку фильтров с полосами, равномерно распределенными по линейной шкале частот, в противоположность 40 полосам, описанным ранее. For example, a 5-band filter bank with strips distributed uniformly on a linear frequency scale, as opposed to strips 40 described previously. Существует много технологий для эффективной реализации таких гребенок фильтров, например, модулированные косинусом гребенки фильтров (PP Vaidyanthan, MultiRate Systems and Fitter Banks, 1993 Prentice Hall (П. П. Вайдьянтан, Многоступенчатые системы и гребенки фильтров , 1993 год, Прентис-Холл)). There is a lot of technology for the effective implementation of filter banks, for example, the cosine modulated filter banks (PP Vaidyanthan, MultiRate Systems and Fitter Banks, 1993 Prentice Hall (PP Vaydyantan, multistage systems and filter banks, in 1993, Prentice Hall)) . В качестве общего примера рассмотрим гребенку фильтров с B полосами, где каждая полоса описывается импульсной характеристикой h b [ n ] во временной области. As a general example, consider a comb filter with B bands, wherein each band is described by the impulse response h b [n] in the time domain. К тому же, допустим, что гребенка фильтров является почти совершенной реконструкцией, имея в виду, что: Moreover, assume that the filter bank is a near-perfect reconstruction, bearing in mind that:

Figure 00000073

Частотная характеристика каждой полосы b может характеризоваться центральной частотой f b и шириной Δ f b полосы пропускания в Герцах. The frequency response of each band b may be characterized by a center frequency f b and a width Δ f b bandwidth in Hertz. Эквивалентная центральная частота и ширина полосы пропускания в единицах ERB, в таком случае, задаются согласно Equivalent center frequency and bandwidth ERB in units, in this case, are set according to the

Figure 00000074

Если количество полос B относительно мало, то ширина e b полосы пропускания каждой полосы, вероятно, будет большей, чем 1 ERB. If the number of strips B is relatively small, the width e b bandwidth of each band is likely to be greater than 1 ERB.

С допущением, что x b [ n ] =h b [ n ] * x [n] представляет звуковой сигнал, ассоциативно связанный с каждой полосой, сглаженный сигнал накачки On the assumption that x b [n] = h b [n] * x [n] represents an audio signal associated with the each lane smoothed pump signal

Figure 00000075
[ b , n ] может вычисляться подобно уравнениям 7 и 8, с вычислением сглаженной среднеквадратической мощности x b [ n ], взвешенной частотной характеристикой пропускающего фильтра, дискретизированного на частоте f b , и инверсией ширины полосы пропускания в единицах ERB: [B, n] can be computed like the equations 7 and 8, with the calculation of a smoothed mean square power x b [n], weighted frequency characteristic pass filter, sampled at the frequency f b, inversion and bandwidth ERB in units of:

Figure 00000076

Взвешивание накачки полосы b посредством 1/ e b эффективно распределяет энергию в пределах такой полосы, равномерно по всем критическим полосам, отнесенным к группе в пределах нее. Band b by pumping Weigh 1 / e b effectively distributes the energy within such a band, evenly over all critical bands, referred to a group within it. В качестве альтернативы кто-то мог бы назначать всю энергию на критическую полосу, чья центральная частота наиболее близка к центральной частоте f b полосы, но распределение энергии равномерно является лучшим приближением для большинства реальных звуковых сигналов. Alternatively, one could assign all the energy per critical band whose center frequency is closest to the center frequency f b bands, but the energy distribution is uniform, the best approximation for most real-world audio signals.

С накачкой With pump

Figure 00000077
[ b , n ], можно приступать к вычислению удельной громкости N [ b , n ], целевой удельной громкости [B, n], can proceed to the calculation of specific loudness N [b, n], the target specific loudness
Figure 00000078
[ b , n ] и коэффициентов усиления G [ b , n ], как обсуждено выше, за исключением того, что здесь общее количество полос может быть гораздо меньшим, тем самым снижая сложность. [B, n] and the gain G [b, n], as discussed above, except that here the total number of lanes can be much smaller, thereby reducing the complexity. К тому же, одной модификации необходимо производиться в вычислении общей громкости L [ n ]: удельная громкость должна взвешиваться количеством ERB в пределах полосы b, в то время как она суммируется по полосам: Moreover, a modification must be made to calculate the total volume L [n]: the specific volume to be weighted amount ERB within band b, while it is summed across bands:

Figure 00000079

В заключение модифицированный сигнал y [ n ] может формироваться суммированием каждого из полосных сигналов, взвешенных коэффициентом усиления из соответственной полосы: In conclusion, the modified signal y [n] can be generated by summing each of the bandpass signals, weighted gain of the respective strips:

Figure 00000080

Для простоты описания вышеприведенные вычисления показаны выполняемыми для каждого периода n выборки сигнала x [ n ]. For ease of description, the above calculation shows is performed for each sampling period n signal x [n]. На практике, однако, накачка может быть подвергнута понижающей дискретизации по времени до гораздо меньшей частоты, а затем вся последующая обработка громкости может выполняться на этой пониженной частоте. In practice, however, the pump may be subjected to a downsampling by time to a much lower frequency, and then all subsequent processing of the volume may be performed at this low frequency. Когда коэффициенты усиления применяются в конце, они затем могут быть подвергнуты повышающей дискретизации посредством интерполяции до применения к полосовым сигналам. When the gain coefficients are applied at the end, they can then be subjected to the interpolation by the upsampled before being applied to bandpass signals.

Вышеприведенное является только одним из примеров грубого приближения к удельной громкости, которое является подходящим для раскрытого изобретения. The above is only one example of a coarse approximation to the specific loudness, which is suitable for the disclosed invention. Возможны другие приближения, и изобретение подразумевается покрывающим использование всех таких приближений. Other approximations are possible, and the invention is intended to cover the use of all such approximations.

Реализация implementation

Изобретение может быть реализовано в аппаратных средствах или программном обеспечении либо сочетании обоих (например, программируемых логических матрицах). The invention may be implemented in hardware or software, or a combination of both (e.g., programmable logic arrays). Если не указан иной способ действий, алгоритмы, включенные в качестве части изобретения, по своей природе не имеют отношения к какому бы то ни было конкретному компьютеру или другому устройству. Unless otherwise specified, the algorithms included as part of the invention, by their nature have nothing to do with what else a specific computer or other device. В частности, различные машины общего применения могут использоваться с программами, написанными в соответствии с доктринами, приведенными в материалах настоящей заявки, или может быть более удобным сконструировать более специализированное устройство (например, интегральные схемы) для выполнения требуемых этапов способа. In particular, various general purpose machines may be used with programs written in accordance with the teachings set forth in herein, or it may be more convenient to construct more specialized apparatus (e.g., integrated circuits) to perform the required method steps. Таким образом, изобретение может быть реализовано в одной или более компьютерных программ, выполняющихся в одной или более программируемых компьютерных системах, каждая из которых содержит по меньшей мере один процессор, по меньшей мере одну систему хранения данных (в том числе энергозависимую и энергонезависимую память и/или запоминающие элементы), по меньшей мере одно устройство или порт ввода и по меньшей мере одно устройство или порт вывода. Thus, the invention may be implemented in one or more computer programs running on one or more programmable computer systems each comprising at least one processor, at least one data storage system (including volatile and nonvolatile memory and / or storage elements), at least one input device or port, and at least one output device or port. Управляющая программа применяется к входным данным для выполнения функций, описанных в материалах настоящей заявки, и формирует выходную информацию. The control program is used to input data to perform the functions described herein, and generates output information. Выходная информация подводится в одно или более устройств вывода известным образом. The output information is applied to one or more output devices in a known manner.

Каждая такая программа может быть реализована на любом желательном компьютерном языке (включая машинные, компоновочные или высокоуровневые процедурные, логические или объектно-ориентированные языки программирования) для общения с компьютерной системой. Each such program may be implemented in any desired computer language (including machine, layout, or high level procedural, logical, or object oriented programming languages) to communicate with a computer system. В любом случае, язык может быть компилируемым или интерпретируемым языком. In any case, the language may be a compiled or interpreted language.

Каждая такая компьютерная программа предпочтительно хранится на или загружается в запоминающие носители или устройство (например, твердотельную память или носители, либо магнитные или оптические носители), удобочитаемые программируемым компьютером общего применения или специального назначения, для конфигурирования и управления компьютером, когда запоминающие носители или устройства считываются компьютерной системой, чтобы выполнять процедуры, описанные в материалах настоящей заявки. Each such computer program is preferably stored on or downloaded to the storage media or device (e.g., solid state memory or media, or magnetic or optical media) readable programmable general purpose computer, or special purpose, for configuring and operating the computer when the storage media or device is read a computer system to perform the procedures described herein. Обладающая признаками изобретения система также может считаться реализуемой в качестве машиночитаемого запоминающего носителя, сконфигурированного компьютерной программой, где запоминающий носитель, сконфигурированный таким образом, побуждает компьютерную систему работать специальным и предопределенным образом для выполнения функций, описанных в материалах настоящей заявки. The inventive system may also be considered implemented as computer-readable memory medium configured by a computer program, where the storage medium so configured causes a computer system to run a special and predefined manner to perform the functions described herein.

Было описано некоторое количество вариантов осуществления изобретения. It described a number of embodiments. Тем не менее, будет понятно, что различные модификации могут быть произведены, не выходя из сущности и объема изобретения. However, it will be understood that various modifications may be made without departing from the spirit and scope of the invention. Например, некоторые из этапов, описанных в материалах настоящей заявки, могут быть независимыми от очередности и, таким образом, могут выполняться в очередности, отличной от той, которая описана. For example, some of the steps described herein may be independent of the sequence and thus may be performed in an order different from that described.

Claims (26)

1. Способ для регулировки конкретной характеристики громкости звукового сигнала, в котором конкретная характеристика громкости является либо приближением удельной громкости, которое является показателем громкости восприятия как функции частоты и времени, либо приближением удельной громкости частичных тонов, которое является показателем громкости восприятия сигнала в присутствии вторичного мешающего сигнала, как функции частоты и времени, состоящий в том, что 1. A method for adjusting the specific characteristics of the sound volume, wherein the volume is a particular characteristic or specific loudness approximation, which is an indication of loudness perception as a function of time and frequency, specific loudness approximation or partial tones, which signal is indicative of the perception of volume in the presence of a secondary interfering signal as a function of frequency and time, consisting in that
получают приближение к целевой удельной громкости, получают зависящие от частоты параметры модификации, используемые для модифицирования звукового сигнала, для того, чтобы уменьшать разность между его конкретной характеристикой громкости и приближением к целевой удельной громкости, и prepared approximation to the target specific loudness is obtained depending on the frequency of modification parameters used for modifying the audio signal to reduce the difference between its specific loudness characteristic and an approximation to the target specific loudness, and
a) применяют параметры модификации к звуковому сигналу для уменьшения разницы между его конкретной характеристикой громкости и приближением к целевой удельной громкости, либо a) modification parameters apply to the audio signal to reduce the difference between its specific loudness characteristic and an approximation to the target specific loudness or
b) передают или хранят параметры модификации и звуковой сигнал для разделенного временным образом и/или разделенного пространственным образом применения параметров модификации к звуковому сигналу, чтобы уменьшать разность между его конкретной характеристикой громкости и приближением к целевой удельной громкости. b) transmit or store parameters modifications and audio signal to time division manner and / or spatially separated manner of application of the modification parameters to the audio signal to reduce the difference between its specific loudness and characteristic approximation to the target specific loudness.
2. Способ по п.1, в котором приближение к целевой удельной громкости не является функцией звукового сигнала. 2. The method of claim 1, wherein the approximation to the target specific loudness is not a function of the audio signal.
3. Способ по п.2, в котором упомянутое модифицирование или упомянутое получение заключается в том, что принимают приближение к целевой удельной громкости из источника, внешнего по отношению к способу. 3. The method of claim 2, wherein said modifying or said preparation is that taking an approximation to the target specific loudness from a source external to the method.
4. Способ по п.2, в котором упомянутое модифицирование или упомянутое получение включают в себя обработку, которая явным образом рассчитывает приближение к удельной громкости и/или приближение к удельной громкости частичных тонов. 4. The method of claim 2, wherein said modifying or said preparation include processing which explicitly calculates an approximation to specific loudness and / or approaching the partial specific loudness of tones.
5. Способ по п.2, в котором упомянутое модифицирование или упомянутое получение включают в себя обработку, которая неявным образом рассчитывает приближение к удельной громкости и/или приближение к удельной громкости частичных тонов. 5. The method of claim 2, wherein said modifying or said preparation include processing that implicitly calculates specific loudness approximation to and / or approaching the partial specific loudness of tones.
6. Способ по п.5, в котором обработка применяет справочную таблицу из условия, чтобы обработка, по своей природе, определяла приближение к удельной громкости и/или приближение к удельной громкости частичных тонов. 6. The method of claim 5, wherein the processing uses a lookup table such that the processing, by nature, is approximate to the specific loudness and / or approaching the partial specific loudness of tones.
7. Способ по п.5, в котором приближение к удельной громкости и/или приближение к удельной громкости частичных тонов, по своей природе, определяется отражающим ряд решений математическим выражением, применяемым обработкой. 7. The method of claim 5, wherein the approximation of the specific loudness and / or approaching the partial specific loudness of tones in nature, reflecting the number of solutions is determined by a mathematical expression, processing is applied.
8. Способ по пп.2-7, в котором приближение к целевой удельной громкости является независящим от времени и частоты. 8. The method of claims 2-7, wherein the approximation to the target specific loudness is independent of time and frequency.
9. Способ по пп.2-7, в котором приближение к целевой удельной громкости является независящим от времени. 9. The method of claims 2-7, wherein the approximation to the target specific loudness is independent of time.
10. Способ по п.1, в котором приближение к целевой удельной громкости является функцией звукового сигнала или показателя звукового сигнала. 10. The method of claim 1, wherein the approximation to the target specific loudness is a function of the audio signal or measure the audio signal.
11. Способ по п.10, в котором показателем звукового сигнала является приближение к удельной громкости звукового сигнала. 11. The method of claim 10, wherein the indicator of the audio signal is the specific loudness approximation to the audio signal.
12. Способ по п.10 или 11, в котором функцией звукового сигнала или показателя звукового сигнала является одно или более масштабирований звукового сигнала или показателя звукового сигнала. 12. The method of claim 10 or 11, wherein the function of the audio signal or an audio signal indicator is one or more scalings audio signal or an audio signal indicator.
13. Способ для регулирования конкретной характеристики громкости звукового сигнала, в котором конкретная характеристика громкости является либо приближением удельной громкости, которое является показателем громкости восприятия как функции частоты и времени, либо приближением удельной громкости частичных тонов, которое является показателем громкости восприятия звукового сигнала в присутствии вторичного мешающего сигнала как функции частоты и времени, состоящий в том, что 13. A method for adjusting the specific characteristics of the sound volume, wherein the specific volume is a characteristic of an approximation of the specific loudness, which is indicative of the perception of loudness as a function of frequency and time, or partial specific loudness approximation of tones, which is indicative of the perception of sound volume in the presence of a secondary the interfering signal as a function of frequency and time, which consists in the fact that
принимают из передаваемых данных или воспроизводят с запоминающего носителя звуковой сигнал и received from or transmitted data reproduced from the storage medium the audio signal and
a) зависящие от частоты параметры модификации для модифицирования звукового сигнала, параметры модификации были получены из приближения к целевой удельной громкости, или a) frequency dependent modification parameters for modifying an audio signal modification parameters were derived from the approximation to the target specific loudness or
b) приближение к целевой удельной громкости или представление приближения к такой целевой удельной громкости, и b) approximation to the target specific loudness or representation of the approximation to a target specific loudness, and
модифицируют звуковой сигнал в ответ на а) принятые параметры модификации, либо b) параметры модификации, полученные из приближения к целевой удельной громкости или ее представления, для того чтобы уменьшать разность между конкретной характеристикой громкости звукового сигнала и приближением к целевой удельной громкости. modifying the audio signal in response to a) modifying the received parameters, or b) the modification parameters are derived from the approximation to the target specific loudness or a representation of it, in order to reduce the difference between specific loudness characteristic of the audio signal and an approximation to the target specific loudness.
14. Способ по п.13, в котором приближение к целевой удельной громкости не является функцией звукового сигнала. 14. The method of claim 13, wherein the approximation to the target specific loudness is not a function of the audio signal.
15. Способ по п.14, в котором упомянутое модифицирование или упомянутое получение заключается в том, что принимают приближение к целевой удельной громкости из источника, внешнего по отношению к способу. 15. The method of claim 14, wherein said modifying or said preparation is that taking an approximation to the target specific loudness from a source external to the method.
16. Способ по п.14, в котором упомянутое модифицирование или упомянутое получение включают в себя обработку, которая явным образом рассчитывает приближение к удельной громкости и/или приближение к удельной громкости частичных тонов. 16. The method of claim 14, wherein said modifying or said preparation include processing which explicitly calculates an approximation to specific loudness and / or approaching the partial specific loudness of tones.
17. Способ по п.14, в котором упомянутое модифицирование или упомянутое получение включают в себя обработку, которая неявным образом рассчитывает приближение к удельной громкости и/или приближение к удельной громкости частичных тонов. 17. The method of claim 14, wherein said modifying or said preparation include processing that implicitly calculates specific loudness approximation to and / or approaching the partial specific loudness of tones.
18. Способ по п.17, в котором обработка применяет справочную таблицу из условия, чтобы обработка, по своей природе, определяла приближение к удельной громкости и/или приближение к удельной громкости частичных тонов. 18. The method of claim 17, wherein the processing uses a lookup table such that the processing, by nature, is approximate to the specific loudness and / or approaching the partial specific loudness of tones.
19. Способ по п.17, в котором приближение к удельной громкости и/или приближение к удельной громкости частичных тонов, по своей природе, определяется отражающим ряд решений математическим выражением, применяемым обработкой. 19. The method of claim 17, wherein the approximation of the specific loudness and / or approaching the partial specific loudness of tones in nature, reflecting the number of solutions is determined by a mathematical expression, processing is applied.
20. Способ по любому одному из пп.14-19, в котором приближение к целевой удельной громкости является независящим от времени и частоты. 20. The method according to any one of claims 14-19, wherein the approximation to the target specific loudness is independent of time and frequency.
21. Способ по любому одному из пп.14-19, в котором приближение к целевой удельной громкости является независящим от времени. 21. The method according to any one of claims 14-19, wherein the approximation to the target specific loudness is independent of time.
22. Способ по п.13, в котором приближение к целевой удельной громкости является функцией звукового сигнала или показателя звукового сигнала. 22. The method of claim 13, wherein the approximation to the target specific loudness is a function of the audio signal or measure the audio signal.
23. Способ по п.22, в котором показателем звукового сигнала является приближение к удельной громкости звукового сигнала. 23. The method of claim 22, wherein the indicator of the audio signal is the specific loudness approximation to the audio signal.
24. Способ по п.22 или 23, в котором функцией звукового сигнала или показателя звукового сигнала является одно или более масштабирований звукового сигнала или показателя звукового сигнала. 24. The method of claim 22 or 23, wherein the function of the audio signal or an audio signal indicator is one or more scalings audio signal or an audio signal indicator.
25. Устройство для регулирования конкретной характеристики громкости звукового сигнала, выполненное с возможностью осуществления всех этапов способа по любому одному из пп.1-24. 25. An apparatus for controlling a specific sound volume characteristics configured to implement all steps of the method according to any one of claims 1-24.
26. Машиночитаемый носитель, содержащий записанную на нем компьютерную программу, при этом компьютерная программа при исполнении ее компьютером приводит к осуществлению упомянутым компьютером всех этапов способа по любому одному из пп.1-24. 26. A computer readable medium having recorded thereon a computer program, the computer program in the performance of its computer leads to the implementation of the said computer all the steps of the method according to any one of claims 1-24.
RU2008143336/09A 2006-04-04 2007-03-30 Calculation and adjustment of audio signal audible volume and/or spectral balance RU2426180C2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US78953906P true 2006-04-04 2006-04-04
US60/789,539 2006-04-04

Publications (2)

Publication Number Publication Date
RU2008143336A RU2008143336A (en) 2010-05-10
RU2426180C2 true RU2426180C2 (en) 2011-08-10

Family

ID=38325459

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2008143336/09A RU2426180C2 (en) 2006-04-04 2007-03-30 Calculation and adjustment of audio signal audible volume and/or spectral balance

Country Status (8)

Country Link
EP (1) EP2002429B1 (en)
JP (1) JP4981123B2 (en)
CN (1) CN101421781A (en)
BR (1) BRPI0709877A2 (en)
ES (1) ES2400160T3 (en)
RU (1) RU2426180C2 (en)
TW (1) TWI471856B (en)
WO (1) WO2007120453A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2589298C1 (en) * 2014-12-29 2016-07-10 Александр Юрьевич Бредихин Method of increasing legible and informative audio signals in the noise situation
US9997167B2 (en) 2013-06-21 2018-06-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Jitter buffer control, audio decoder, method and computer program
RU2662683C2 (en) * 2013-06-21 2018-07-26 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Using the quality management time scale converter, audio decoder, method and computer program
RU2667627C1 (en) * 2013-12-27 2018-09-21 Сони Корпорейшн Decoding device, method, and program
RU2670182C2 (en) * 2013-03-13 2018-10-18 Конинклейке Филипс Н.В. Apparatus and method for improving audibility of specific sounds to user

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT371246T (en) 2003-05-28 2007-09-15 Dolby Lab Licensing Corp A method, apparatus and computer program for calculation and adjustment of the perceived loudness of an audio signal
US8199933B2 (en) 2004-10-26 2012-06-12 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
CA2581810C (en) 2004-10-26 2013-12-17 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
AT441920T (en) 2006-04-04 2009-09-15 Dolby Lab Licensing Corp Volume measurement of sound signals and change in mdct-range
TWI517562B (en) 2006-04-04 2016-01-11 Dolby Lab Licensing Corp Method, apparatus, and computer program for scaling the overall perceived loudness of a multichannel audio signal by a desired amount
JP5129806B2 (en) 2006-04-27 2013-01-30 ドルビー ラボラトリーズ ライセンシング コーポレイション Audio gain control using auditory event detection based on specific loudness
EP2082480A2 (en) 2006-10-20 2009-07-29 Dolby Laboratories Licensing Corporation Audio dynamics processing using a reset
US8521314B2 (en) 2006-11-01 2013-08-27 Dolby Laboratories Licensing Corporation Hierarchical control path with constraints for audio dynamics processing
AT535906T (en) 2007-07-13 2011-12-15 Dolby Lab Licensing Corp Sound processing means of auditory scene analysis and spectral asymmetry
KR101597375B1 (en) 2007-12-21 2016-02-24 디티에스 엘엘씨 System for adjusting perceived loudness of audio signals
CA2720636C (en) 2008-04-18 2014-02-18 Dolby Laboratories Licensing Corporation Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
TWI416328B (en) 2008-04-29 2013-11-21 Novatek Microelectronics Corp Method and related apparatus for controlling audio data sources for multimedia device
WO2010033384A1 (en) 2008-09-19 2010-03-25 Dolby Laboratories Licensing Corporation Upstream quality enhancement signal processing for resource constrained client devices
JP5273688B2 (en) * 2008-09-19 2013-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション Upstream of the signal processing for the client devices within the small cell radio network
TWI491277B (en) * 2008-11-14 2015-07-01 That Corp Dynamic volume control and multi-spatial processing protection
WO2010075377A1 (en) 2008-12-24 2010-07-01 Dolby Laboratories Licensing Corporation Audio signal loudness determination and modification in the frequency domain
KR101489544B1 (en) * 2009-01-09 2015-02-03 엘에스아이 코포레이션 Systems and methods for adaptive target search
TWI503816B (en) * 2009-05-06 2015-10-11 Dolby Lab Licensing Corp Adjusting the loudness of an audio signal with perceived spectral balance preservation
US20120123769A1 (en) * 2009-05-14 2012-05-17 Sharp Kabushiki Kaisha Gain control apparatus and gain control method, and voice output apparatus
DK2433437T3 (en) * 2009-05-18 2015-01-12 Oticon As Signal Enhancement using wireless streaming
WO2010138311A1 (en) 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Equalization profiles for dynamic equalization of audio data
WO2010138309A1 (en) * 2009-05-26 2010-12-02 Dolby Laboratories Licensing Corporation Audio signal dynamic equalization processing control
US8538042B2 (en) 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
TWI525987B (en) * 2010-03-10 2016-03-11 Dolby Lab Licensing Corp System for combining loudness measurements in a single playback mode
EP2381574B1 (en) * 2010-04-22 2014-12-03 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an input audio signal
JP5126281B2 (en) * 2010-04-27 2013-01-23 ソニー株式会社 Music playback device
TWI496461B (en) 2010-12-03 2015-08-11 Dolby Lab Licensing Corp Adaptive processing with multiple media processing nodes
CN102044249B (en) * 2010-12-10 2012-05-30 北京中科大洋科技发展股份有限公司 Method suitable for controlling consistency of sound volume of file broadcasting system
CN102610229B (en) * 2011-01-21 2013-11-13 安凯(广州)微电子技术有限公司 Method, apparatus and device for audio dynamic range compression
US8930182B2 (en) * 2011-03-17 2015-01-06 International Business Machines Corporation Voice transformation with encoded information
EP2530835B1 (en) * 2011-05-30 2015-07-22 Harman Becker Automotive Systems GmbH Automatic adjustment of a speed dependent equalizing control system
DK2820863T3 (en) * 2011-12-22 2016-08-01 Widex As Method for operating a hearing aid and a hearing aid
CN104221284B (en) 2012-04-12 2017-05-24 杜比实验室特许公司 A system and method for leveling loudness variation of the audio signal
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
CN103428607A (en) * 2012-05-25 2013-12-04 华为技术有限公司 Audio signal playing system and electronic device
ITTO20120530A1 (en) * 2012-06-19 2013-12-20 Inst Rundfunktechnik Gmbh Dynamikkompressor
CN103841241B (en) * 2012-11-21 2017-02-08 联想(北京)有限公司 Method and apparatus for adjusting sound volume
CN103050119B (en) * 2012-12-30 2015-06-17 安徽科大讯飞信息科技股份有限公司 Self-adaptive detection method for synchronism of lamplight/motor and sound
CN104080024B (en) * 2013-03-26 2019-02-19 杜比实验室特许公司 Volume leveller controller and control method and audio classifiers
AP201508800A0 (en) * 2013-04-05 2015-10-31 Dolby Lab Licensing Corp Companding apparatus and method to reduce quantization noise using advanced spectral extension
JP6201460B2 (en) * 2013-07-02 2017-09-27 ヤマハ株式会社 Mixing management device
CN104681034A (en) * 2013-11-27 2015-06-03 杜比实验室特许公司 Audio signal processing method
EP2879131A1 (en) * 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
WO2015080994A1 (en) * 2013-11-27 2015-06-04 Dolby Laboratories Licensing Corporation Audio signal processing
CN106105262A (en) 2014-02-18 2016-11-09 杜比国际公司 Device and method for tuning a frequency-dependent attenuation stage
US9615185B2 (en) * 2014-03-25 2017-04-04 Bose Corporation Dynamic sound adjustment
US9503803B2 (en) 2014-03-26 2016-11-22 Bose Corporation Collaboratively processing audio between headset and source to mask distracting noise
CN104393848B (en) * 2014-10-27 2017-08-04 广州酷狗计算机科技有限公司 Method and apparatus for adjusting sound volume
EP3286929A1 (en) 2015-04-20 2018-02-28 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
CN107925390A (en) 2015-08-24 2018-04-17 杜比实验室特许公司 Volume-levelling processing
US9590580B1 (en) * 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
CN106817324A (en) * 2015-11-30 2017-06-09 腾讯科技(深圳)有限公司 Frequency response correction method and device
CN105916095B (en) * 2016-05-31 2017-08-04 音曼(北京)科技有限公司 Voice feedback delay network optimization method
CN106101925A (en) * 2016-06-27 2016-11-09 联想(北京)有限公司 Control method and electronic device
CN106354469A (en) * 2016-08-24 2017-01-25 北京奇艺世纪科技有限公司 Loudness regulation method and device
TWI590239B (en) 2016-12-09 2017-07-01 Acer Inc Voice signal processing apparatus and voice signal processing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3006259B2 (en) * 1992-01-17 2000-02-07 ソニー株式会社 hearing aid
JPH07122953A (en) * 1993-10-22 1995-05-12 Matsushita Electric Ind Co Ltd Signal level compression device
CA2286051C (en) * 1997-04-16 2003-03-11 Dspfactory Ltd. Filterbank structure and method for filtering and separating an information signal into different bands, particularly for audio signals in hearing aids
TW358925B (en) * 1997-12-31 1999-05-21 Ind Tech Res Inst Improvement of oscillation encoding of a low bit rate sine conversion language encoder
AU4278300A (en) * 1999-04-26 2000-11-10 Dspfactory Ltd. Loudness normalization control for a digital hearing aid
AUPQ952700A0 (en) * 2000-08-21 2000-09-14 University Of Melbourne, The Sound-processing strategy for cochlear implants
US7242784B2 (en) * 2001-09-04 2007-07-10 Motorola Inc. Dynamic gain control of audio in a communication device
DE10308483A1 (en) * 2003-02-26 2004-09-09 Siemens Audiologische Technik Gmbh A method for automatic gain adjustment in a hearing aid as well as hearing aid
US7551745B2 (en) * 2003-04-24 2009-06-23 Dolby Laboratories Licensing Corporation Volume and compression control in movie theaters
AT371246T (en) * 2003-05-28 2007-09-15 Dolby Lab Licensing Corp A method, apparatus and computer program for calculation and adjustment of the perceived loudness of an audio signal
TWI233090B (en) * 2003-07-24 2005-05-21 Inventec Multimedia & Telecom System and method of language translation for multimedia data
US20050069153A1 (en) * 2003-09-26 2005-03-31 Hall David S. Adjustable speaker systems and methods
CA2581810C (en) * 2004-10-26 2013-12-17 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2670182C2 (en) * 2013-03-13 2018-10-18 Конинклейке Филипс Н.В. Apparatus and method for improving audibility of specific sounds to user
US9997167B2 (en) 2013-06-21 2018-06-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Jitter buffer control, audio decoder, method and computer program
RU2662683C2 (en) * 2013-06-21 2018-07-26 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Using the quality management time scale converter, audio decoder, method and computer program
US10204640B2 (en) 2013-06-21 2019-02-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Time scaler, audio decoder, method and a computer program using a quality control
RU2667627C1 (en) * 2013-12-27 2018-09-21 Сони Корпорейшн Decoding device, method, and program
RU2589298C1 (en) * 2014-12-29 2016-07-10 Александр Юрьевич Бредихин Method of increasing legible and informative audio signals in the noise situation

Also Published As

Publication number Publication date
TWI471856B (en) 2015-02-01
BRPI0709877A2 (en) 2011-07-26
ES2400160T3 (en) 2013-04-08
WO2007120453A1 (en) 2007-10-25
EP2002429A1 (en) 2008-12-17
EP2002429B1 (en) 2012-11-21
RU2008143336A (en) 2010-05-10
JP2009532739A (en) 2009-09-10
JP4981123B2 (en) 2012-07-18
CN101421781A (en) 2009-04-29
TW200746049A (en) 2007-12-16

Similar Documents

Publication Publication Date Title
Johnston Transform coding of audio signals using perceptual noise criteria
JP5498525B2 (en) Parameter display of spatial audio
AU2011201348B2 (en) Audio Gain Control using Specific-Loudness-Based Auditory Event Detection
US8645129B2 (en) Integrated speech intelligibility enhancement system and acoustic echo canceller
CA2488689C (en) Acoustical virtual reality engine and advanced techniques for enhancing delivered sound
JP4694835B2 (en) How to improve the clarity of the hearing aid and the sound
JP4377302B2 (en) Performance enhancing apparatus of source coding systems
JP2931101B2 (en) Adaptive gain and filtering circuit for audio playback apparatus
JP3515903B2 (en) Dynamic bit allocation method and apparatus for audio coding
US8144882B2 (en) Sound tuning method
US9197181B2 (en) Loudness enhancement system and method
KR101597375B1 (en) System for adjusting perceived loudness of audio signals
JP5185254B2 (en) Audio signal loudness measurement and improvement in Mdct region
US9253586B2 (en) Devices, methods and computer program products for controlling loudness
KR100636213B1 (en) Method for compensating audio frequency characteristic in real-time and sound system thereof
EP1619793B1 (en) Audio enhancement system and method
US9014386B2 (en) Audio enhancement system
Kates Principles of digital dynamic-range compression
JP3777904B2 (en) Digital telephone to adjust the digital input signal in accordance with the user's hearing
US20060126865A1 (en) Method and apparatus for adaptive sound processing parameters
RU2494477C2 (en) Apparatus and method of generating bandwidth extension output data
CN101411060B (en) Loudness modification of multichannel audio signals
US8321206B2 (en) Transient detection and modification in audio signals
US20050157891A1 (en) Method of digital equalisation of a sound from loudspeakers in rooms and use of the method
CN102137326B (en) Method and apparatus for maintaining speech audibility in multi-channel audio signal