WO2014148845A1 - 오디오 신호 크기 제어 방법 및 장치 - Google Patents

오디오 신호 크기 제어 방법 및 장치 Download PDF

Info

Publication number
WO2014148845A1
WO2014148845A1 PCT/KR2014/002362 KR2014002362W WO2014148845A1 WO 2014148845 A1 WO2014148845 A1 WO 2014148845A1 KR 2014002362 W KR2014002362 W KR 2014002362W WO 2014148845 A1 WO2014148845 A1 WO 2014148845A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
size
control
weight
signal size
Prior art date
Application number
PCT/KR2014/002362
Other languages
English (en)
French (fr)
Inventor
최병호
김제우
신화선
조충상
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20130030136A external-priority patent/KR101482946B1/ko
Priority claimed from KR1020130036431A external-priority patent/KR101583293B1/ko
Priority claimed from KR1020130036523A external-priority patent/KR101602273B1/ko
Priority claimed from KR1020130036468A external-priority patent/KR101583294B1/ko
Priority claimed from KR1020130036475A external-priority patent/KR101603992B1/ko
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to JP2016505384A priority Critical patent/JP2016514856A/ja
Priority to US14/778,877 priority patent/US20160049162A1/en
Publication of WO2014148845A1 publication Critical patent/WO2014148845A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/034—Automatic adjustment
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/002—Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals

Definitions

  • the present invention relates to a method and apparatus for controlling the magnitude of an audio signal reproduced in a multimedia.
  • Fig. 1 the environmental noise that causes discomfort when a person listens, multimedia sound and music that entertains the person, and conversation and information exchange between people. There is a sound that occurs when.
  • Sounds around people can be painful, fun, or provide a variety of information, depending on the size and type of sound. This is because the human auditory structure perceives sound through the sound pressure level of the sound delivered to the air, so that the sound magnitude and intensity are useful figures that define the auditory fatigue caused by the sound and the physical characteristics of the sound.
  • Loudness is the subjective sound volume perceived by the human auditory system when a sound is transmitted to the human ear, and the intensity of the sound is the intensity of the objective sound delivered to the human auditory system. It is the power of sound and is usually measured in well-known decibels. In general, the conversation between people is 60 to 70 dB, the traffic and the noisy streets are about 80 dB, and people generally feel comfortable in the range of about 70 dB.
  • the commercial audio source market has expanded rapidly with the popularization of multimedia devices, and the audio source has a dynamic range of the maximum reproducible maximum and minimum acoustic difference of the audio source in order to attract people's attention as the competition in the field intensifies. It drastically decreased, and the maximum value of the waveform increased, which significantly increased the audio sound volume. This was compounded by the idea that the louder the audio sound size, the more people will perceive it as good music.
  • the present invention provides a method and apparatus for efficiently controlling the size of an audio signal provided in various multimedia environments.
  • An object of the present invention is to provide an apparatus and method for controlling an audio signal size to a standard for recording and pre-produced broadcast programs.
  • the present invention provides an apparatus and method for controlling an audio signal size to a standard while preventing a gate delay caused by an interpolation of gate weights.
  • the present invention provides an apparatus and method capable of controlling the size of an audio signal of a real-time / live acquired audio signal to a standard.
  • an apparatus and method that can control the size of the audio signal to the standard for the recording and pre-produced broadcast program.
  • an apparatus and method that can control the size of the audio signal to the standard for the real-time / live acquired broadcast program.
  • an apparatus and method that can control the audio signal size while minimizing audible audio quality degradation due to the normalization of the audio signal size.
  • an apparatus and method for providing a new audio control function in consideration of normalization of an audio signal magnitude are provided.
  • an audio signal size control method includes: measuring a first audio signal size, which is a size of an input audio signal, using the preset initial peak weight; Scaling the audio signal, measuring a second audio signal size that is the size of the scaled audio signal, and using the first audio signal size, the second audio signal size, and a target audio signal size, the input Controlling the magnitude of the audio signal.
  • the controlling may include a first difference that is a difference between the first audio signal size and the second audio signal size and a second difference that is a difference between the first audio signal size and the target audio signal size. Calculating an 'audio signal size control ratio' by dividing by, calculating a first weight using the calculated 'audio signal size control ratio', and calculating the first weight and the preset initial peak weight Multiplying to calculate a new peak weight and scaling the input audio signal using the calculated new peak weight.
  • the method may further include comparing a third difference between the audio signal size of the scaled audio signal and the target audio signal size with a preset error range using the calculated new Peek weight.
  • the audio signal of the scaled audio signal using the calculated new peak weight is set as the second audio signal.
  • the method may further include controlling the size of.
  • the audio signal size control apparatus measures the first audio signal size which is the size of the input audio signal, the initial Peek preset to the input audio signal
  • the input is performed by using an audio signal size measuring unit measuring a second audio signal size, which is a size of a scaled audio signal by applying a weight, and the first audio signal size, the second audio signal size, and a target audio signal size.
  • an audio signal size control unit for controlling the size of the audio signal.
  • the first signal which is a difference between the first audio signal size and the second audio signal size, is divided by the second difference that is a difference between the first audio signal size and the target audio signal size.
  • a weight control ratio ' a first weight is calculated using the calculated audio signal size control ratio, and a weight to calculate a new peak weight by multiplying the calculated first weight by the preset initial peak weight.
  • the apparatus may further include a calculator, and the audio signal size controller may control the size of the input audio signal by scaling the input audio signal using the calculated new peak weight.
  • the audio signal size controller may compare the third difference between the audio signal size of the scaled audio signal and the target audio signal size with a preset error range using the calculated new peak weight.
  • the audio signal size control unit may adjust the size of the audio signal of the scaled audio signal using the calculated new peak weight to the second audio signal size.
  • the size of the input audio signal can be controlled.
  • a method of controlling an audio signal size by applying a first gate block and a second gate block having a predefined gate size to an input audio signal, Magnitude of a first audio signal corresponding to a gate block measuring the magnitude of a second audio signal corresponding to the second gate block, corresponding to the first gate block using the measured magnitude of the first audio signal Calculating a first gate weight and calculating a second gate weight corresponding to the second gate block by using the measured magnitude of the second audio signal; a gate at the first gate block and the second gate block Detecting a frame in which a handover has occurred, and using the calculated first and second weights, frame weights from the detected frames Teopol step of illustration and perform scaling on the input audio signal by using the interpolation of the frame weight, the first and second gate weights includes the step of controlling the size of the audio signal.
  • the second gate block may be a gate block moved while overlapping a predetermined size within the first gate block.
  • the first and second gate blocks may include at least one frame, and the frame may determine a data size received at one time.
  • the number of interpolated frame weights may vary.
  • the audio signal size control apparatus for achieving the above object, by applying a first gate block, a second gate block having a predefined gate size to the input audio signal, An audio signal size measuring unit measuring a size of a second audio signal corresponding to the second gate block, the first audio signal corresponding to the first gate block by using the measured size of the first audio signal
  • a weight calculator configured to calculate a first gate weight corresponding to the first gate block, and calculate a second gate weight corresponding to the second gate block by using the measured magnitude of the second audio signal, and the first gate block
  • a detector configured to detect a frame in which the gate handover has occurred in the second gate block and the calculated first and second weights.
  • an audio signal size control unit for interpolating frame weights from the detected frames and performing scaling on the input audio signal using the interpolated frame weights and the first and second gate weights. do.
  • the second gate block may be a gate block moved while overlapping a predetermined size within the first gate block.
  • the first and second gate blocks may include at least one frame, and the frame may determine a data size received at one time.
  • the number of interpolated frame weights may vary.
  • an audio signal amplitude control method may include selecting one of a manual loudness control mode, a half automatic loudness control mode, and an automatic loudness control mode related to control of an input audio signal. Receiving, if the selected control mode is a half automatic loudness control mode, calculating the control information necessary for the control of the input audio signal and the step of displaying the calculated control information.
  • the control information may include at least one of Momentary audio signal size information, shortterm (3s) audio signal size information, integrated audio signal size information, played audio signal size information, Remained audio signal size information, and Recommended Control Factor information. Can be.
  • the played audio signal size information is audio signal size information on an audio signal output up to now, and the remained audio signal size information is audio signal size information that is insufficient or exceeds the size of the played audio signal compared to a target audio signal size.
  • the recommended control factor information may be weight information for controlling the audio signal size calculated using the retained audio signal size information.
  • the audio signal size control apparatus for achieving the above object, one of the Manual Loudness control mode, Half automatic Loudness control mode, Automatic Loudness control mode associated with the control of the input audio signal
  • the control information may include at least one of Momentary audio signal size information, shortterm (3s) audio signal size information, integrated audio signal size information, played audio signal size information, Remained audio signal size information, and Recommended Control Factor information. Can be.
  • the played audio signal size information is audio signal size information on an audio signal output up to now, and the remained audio signal size information is audio signal size information that is insufficient or exceeds the size of the played audio signal compared to a target audio signal size.
  • the recommended control factor information may be weight information for controlling the audio signal size calculated using the retained audio signal size information.
  • a method of controlling an audio signal size comprising: measuring a first audio signal size which is a size of an input audio signal; Scaling the input audio signal using a preset initial peak weight, and measuring a second audio signal size that is a size of the scaled audio signal; Detecting a third audio signal size by applying the first audio signal size to a preset mapping table for maintaining a sound deviation of an audio signal to be output; And controlling the magnitude of the input audio signal using the first audio signal magnitude, the second audio signal magnitude, and the third audio signal magnitude.
  • the input audio signal may be an audio signal input in real time.
  • the preset mapping table is a table for performing mapping using linear mapping in an area where the first audio signal size is smaller than a preset value, and in a region where the first audio signal size is larger than a preset value.
  • iLKFS may be the first audio signal magnitude
  • oLKFS may be the third audio signal magnitude
  • w may be a changeable weight value
  • the controlling may include a first difference that is a difference between the first audio signal size and the second audio signal size and a second difference that is a difference between the first audio signal size and the third audio signal size. Calculating an 'audio signal magnitude control ratio' by dividing by '; Calculating a first weight using the calculated 'audio signal size control ratio'; Calculating a new peak weight by multiplying the calculated first weight by the preset initial peak weight; And scaling the input audio signal by using the calculated new peak weight.
  • the audio signal size control apparatus for achieving the above object, measuring the first audio signal size that is the size of the input audio signal, the input using a preset initial Peek weight
  • the scaled audio signal measure the size of the second audio signal which is the size of the scaled audio signal, and apply the first audio signal size to a preset mapping table for maintaining sound deviation of the audio signal to be output.
  • the input audio signal may be an audio signal input in real time.
  • the preset mapping table is a table for performing mapping using linear mapping in an area where the first audio signal size is smaller than a preset value, and in a region where the first audio signal size is larger than a preset value.
  • iLKFS may be the first audio signal magnitude
  • oLKFS may be the third audio signal magnitude
  • w may be a changeable weight value
  • the first difference that is the difference between the first audio signal magnitude and the second audio signal magnitude is divided by the second difference that is the difference between the first audio signal magnitude and the third audio signal magnitude.
  • Signal amplitude control ratio ' a first weight is calculated using the calculated audio signal amplitude control ratio, and a new peak weight is calculated by multiplying the calculated first weight by the predetermined initial peak weight.
  • the apparatus may further include a weight calculator, and the audio signal size controller may control the size of the input audio signal by scaling the input audio signal using the calculated new peak weight.
  • the audio signal size may be automatically controlled to meet the standard with respect to the recording and the previously produced broadcast program. Accordingly, when the user fixes the volume of the multimedia device and listens to multiple audio sources, it is possible to effectively reduce inconvenience and high auditory fatigue due to size differences occurring between the audio sources.
  • the gate weights may be interpolated from the frame in which the gate hand over occurs so that the gate delay due to the interpolation of the gate weights does not occur.
  • the number of gate weights interpolated may be variably controlled.
  • the user by providing information necessary for controlling the audio signal size, the user can more easily control the audio signal size.
  • the audio signal size of the real-time / live acquired audio signal may be controlled to meet the standard.
  • 1 is a diagram for explaining various auditory fatigue factors occurring in daily life.
  • FIG. 2 is a diagram illustrating examples of waveforms of an audio signal.
  • 3 is a diagram illustrating a distortion phenomenon according to audio data clipping.
  • FIG. 4 is a diagram for describing hearing loss caused by audio and noise.
  • FIG. 5 is a diagram for explaining audio signal magnitude normalization of a digital broadcast program.
  • FIG. 6 is a diagram illustrating a method of measuring the magnitude of an audio signal.
  • FIG. 7 is a graph illustrating an example of a frequency response characteristic of a pre-filter.
  • FIG 8 is a graph illustrating an example of a frequency response characteristic of an RLB filter.
  • FIG. 9 is a diagram for explaining an example of a structure of a broadcast system for recording and pre-produced broadcast programs.
  • FIG. 10 is a diagram illustrating a first embodiment of a method of controlling the size of an audio signal.
  • FIG. 11 is a diagram for specifically describing a first embodiment of a method of controlling the size of an audio signal.
  • FIG. 12 is a diagram illustrating a basic structure of a loudness control ratio calculation based on a Peek value for adjusting the size of an audio signal.
  • FIG. 13 is a diagram illustrating an example of a structure of a real-time broadcasting system.
  • FIG. 14 is a diagram illustrating a second embodiment of a method of controlling the size of an audio signal.
  • FIG. 15 is a diagram for describing a second embodiment of a method of controlling the size of an audio signal in detail.
  • FIG. 16 is a diagram for describing a method in which a Live LD control step is added to the last stages of the first and second embodiments.
  • FIG. 17 is a diagram illustrating a third embodiment of a method for compensating for sound quality deterioration caused by controlling the size of an audio signal.
  • FIG. 18 is a diagram illustrating a fourth embodiment of a method of controlling the size of an audio signal in a terminal.
  • 19 is a flowchart specifically illustrating an audio signal size control method of an audio signal size control apparatus according to a first embodiment of the present invention.
  • FIG. 20 is a diagram for describing a method of measuring audio signal size to which an audio gating method mentioned in ITU-R 1770-2 is added.
  • 21 is a diagram illustrating a gate handover to explain a method for controlling audio signal size according to a fifth embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a method of controlling audio signal size according to a fifth embodiment of the present invention.
  • FIG. 23 is a diagram illustrating linear interpolation as an example of interpolation according to the fifth embodiment of the present invention.
  • FIG. 24 is a diagram illustrating an example of information provided in a Half Automatic Loudness control mode according to a second embodiment of the present invention.
  • FIG. 25 is a diagram illustrating a method of calculating a recommended control factor among information provided in a half automatic loudness control mode according to a second embodiment of the present invention.
  • FIG. 26 is a diagram illustrating a method for controlling audio signal size in an automatic loudness control mode according to a second embodiment of the present invention.
  • FIG. 27 is a diagram illustrating a method for designing a mapping curve for calculating a mapped audio signal magnitude (LKFS) according to FIG. 26.
  • 28 to 30 are diagrams comparing waveforms of an input audio signal with waveforms of a normalized audio signal.
  • components expressed as means for performing the functions described in the detailed description include all types of software including, for example, a combination of circuit elements or firmware / microcode, etc. that perform the functions. It is intended to include all methods of performing a function which are combined with appropriate circuitry for executing the software to perform the function.
  • the invention, as defined by these claims, is equivalent to what is understood from this specification, as any means capable of providing such functionality, as the functionality provided by the various enumerated means are combined, and in any manner required by the claims. It should be understood that.
  • 3 is a diagram illustrating a distortion phenomenon according to audio data clipping.
  • the waveform of the sound source exceeds the allowable data resolution range in the digital data, the waveform of the sound source is shaved, and this phenomenon is audio data clipping.
  • the audio data clipping phenomenon distorts an audio signal, and when comparing the frequency characteristic of a simple sine waveform (FIG. 3 (b)) with that of the clipped sine waveform (FIG. 3 (d)). It can be seen that a signal distortion component, which was not present in the sine wave without clipping as shown by the dotted line in FIG. 3 (d), is generated by the audio data clipping.
  • an embodiment of the present invention relates to a method for accurately measuring audio sound volume and adjusting sound volume in a multimedia device.
  • FIG. 5 is a diagram for explaining normalization of an audio signal size of a digital broadcast program.
  • the audio signal sizes (eg, Channel1: -23.4LKFS and Channel2: -8.5LKFS) of two music contents show significant differences. This difference causes considerable inconvenience for broadcast viewers.
  • standardization work is underway under the TTA's PG803 WG8034, "Digital Broadcast Program Volume Level Standard.”
  • the goal of standardization is to adjust the channel / broadcast program having a significant difference in size according to the standardized volume standard as shown in FIG. 5 so as to have a normalized audio signal size (eg, Channel1: -24LKFS, Channel2: -24LKFS). To set the standard for printing.
  • a normalized audio signal size eg, Channel1: -24LKFS, Channel2: -24LKFS.
  • the standard will be linked with the broadcasting law, if the importance and availability of the standard is very high, the standard will propose an audio signal standard and standard for the domestic situation based on ITU-1770-1 / 2, an international audio signal measurement standard. We will conduct techniques to help you comply and analyze the current digital broadcast signal size.
  • FIG. 6 is a diagram illustrating a method of measuring the magnitude of an audio signal.
  • the audio signal size measurement method standardized in the ITU-R is measured through LKFS (loudness, K weighted, relative to nominal full scale) as shown in FIG. 6.
  • the first module of the algorithm (Pre-filter) is configured as a second-order IIR filter to take into account the acoustic effects of the human head.
  • FIG. 7 is a graph illustrating an example of a frequency response characteristic of a pre-filter.
  • the frequency characteristic of the filter removes a region below 1 kHz based on about 1 kHz and passes the region over 1 kHz.
  • Filter coefficients for commonly used 48 kHz data are based on the spherical head model of ITU-R BS. Provided at 1770-1.
  • FIG 8 is a graph illustrating an example of a frequency response characteristic of an RLB filter.
  • the second module applies a weight filter based on the human auditory characteristics. This filter is based on the characteristics having different sensitivity in the frequency domain for the sound of human hearing as shown in (a) of FIG.
  • FIG. 8A shows that about 20 dB at 250 Hz and about 1 dB at 1 kHz based on the minimum level are perceived by a human with the same audio sound volume. Therefore, the filter response to consider the human hearing is designed to have a band-by-band weighting filter to have a filter response similar to the reverse application of the same audio sound loudness contour defined in ISO 226 as shown in (b) of FIG. 8.
  • the RLB weighted filter has a second order IIR filter structure and provides filter coefficients for 48kHz data in the ITU-R document.
  • the result of passing the weight filter is converted into the following equation in the mean-square energy module of FIG. 6.
  • the weighted energy is summed by applying the weight of each channel to the energy of each channel as shown in the following equation, and then converted to decibels by applying it to the logarithmic equation.
  • the unit for the loudness obtained by the following formula is LKFS (loudness, K weighted, relative to nominal full scale).
  • N is the number of channels and G is the weight for the channel.
  • the loudness measurement value should be -3.01 LKFS.
  • the first is the development of an objective audio signal sizing algorithm that is close to the audio volume level perceived by humans, such as ITU-R1770-1.
  • audio signal size is measured based on ITU-1770-1 / 2, and based on this, the audio signal size normalization reference value and error range are presented.
  • ITU-1770-1 / 2 the audio signal size normalization reference value and error range are presented.
  • Japan is active, but other countries are still in its infancy or only in parts such as commercial advertising.
  • the standardization and regulation legislation defines normalized mood, margin of error, and scope of application, but it does not provide a way to comply with these standards. That is, only the goals that must be achieved are presented, and no method is presented.
  • Audio gating is a method for measuring the audio volume except for the portion where the audio volume is low.
  • the audio volume measurement gating block is one cycle, and 75% overlap with neighboring blocks. It also does not measure for samples that do not satisfy the block size at the end of the file.
  • the mean square in block units is calculated as in the following formula.
  • the audio volume of each gated block is calculated as follows based on the same formula as before.
  • ITU-R 1770-2 When Gating is applied to each block, ITU-R 1770-2 considers only signals above -70LKFS and measures LFKS for the signal to which Gating is applied as follows.
  • FIG. 9 is a diagram for explaining an example of a structure of a broadcast system for recording and pre-produced broadcast programs.
  • audio data acquired in the field is stored in an Ingest server, and the stored file is transferred to an editing system.
  • editing is performed for each part such as well-known video / sound effects, audio noise reduction, and video / audio synchronization.
  • Audio signal size normalization for recording and pre-produced broadcast programs in accordance with audio signal size regulation can be performed in an editing system and a comprehensive editing system.
  • the audio system controls the audio data independently, so it can be done as an editing system post-process.
  • FIG. 10 is a diagram illustrating a first embodiment of a method of controlling the size of an audio signal.
  • the demultiplexer may select audio data by demuxing a previously recorded broadcast program file (S101).
  • the normalization determination unit may determine whether the audio data is pre-normalized (S102).
  • normalization means normalizing by adjusting the audio signal size according to a standardized audio signal size standard as shown in FIG. 5.
  • the audio data on which the normalization is performed may be stored in the storage device (S103).
  • the audio decoder may decode the audio data (S104).
  • the audio signal size controller may perform normalization of the audio signal size using the decoded audio data (S105).
  • the audio encoder may encode audio data on which normalization is performed (S106).
  • the multiplexer may multiplex the encoded audio data with other data not selected by the demultiplexer (S107). Accordingly, the storage unit may store audio data in which the audio signal size is normalized (S103).
  • Data stored in the storage unit may be provided to the delivery room (S108).
  • steps S101, S104, S106, S106, and S107 may be omitted depending on the format of the audio data. For example, depending on whether audio data is compressed, steps S104 and S106 may be omitted.
  • the analysis of the program production step is first performed. Based on this, it is possible to measure and control the required audio volume according to the audio volume regulation.
  • FIG. 11 is a diagram for specifically describing a first embodiment of a method of controlling the size of an audio signal.
  • FIG. 12 is a diagram illustrating a basic structure of a loudness control ratio calculation based on a Peek value for adjusting the size of an audio signal. In the following description, FIGS. 11 to 12 will not be described in detail with reference to FIG. 10.
  • control information may be provided to control the recorded broadcast program.
  • target LKFS values and audio signal magnitude error ranges provided by regulations and legislation of various countries may be provided.
  • the US / Japan has a range of 24LKFS (Target LKFS) +/- 2dB (error range)
  • Europe has a range of 23LKFS (Target LKFS) +/- 1dB (error range).
  • the audio gating part is the first mentioned in ITU-R 1770-2.
  • ATSC in the US is using the AC-3 audio system and stores the "dialnorm" parameter in the metadata parameter.
  • the dialnorm the audio audio signal size of the anchor element is input.
  • the audio audio signal of the reference point or element is input.
  • the anchor element represents the standard audio signal size for the center of the current broadcast program.
  • the broadcast program is finally balanced based on the anchor element.
  • LKFS value is stored in dialnorm, and variable space is 5bits and can store -1 ⁇ -31LKFS value.
  • an algorithm for designing a method using a Peek value to provide an algorithm for acquiring an audio signal size conversion weight factor corresponding to a desired target LKFS may be provided.
  • the exact loudness (LD) control ratio cannot be obtained for the reasons described above only by the LKFS (original) and the target LKFS of the input audio.
  • a Peek-based control ratio may be calculated using a Peeking method to obtain an LD control ratio considering two filters.
  • the Peeking method may mean a method of obtaining a Peeked LKFS by controlling the loudness of an audio signal using a Peek-based control ratio. That is, the audio signal amplitude controller receives the input audio data (S105-1), the peak weight (ex.0.9) (S105-2), the target values LKFS (S105-3) and the LKFS error range 105-4, and receives the audio signal.
  • a control ratio (Loudness control ratio) for controlling the size can be calculated (S105-5), the LD control ratio can be calculated (S105-6).
  • a wight factor for approaching the target LKFS using the LKFS of the input audio data calculated based on the input audio data, the Peek LKFS calculated by applying the Peek weight to the input audio data, and the received Target LKFS. (LD control ratio) can be calculated.
  • the audio signal size controller may perform normalization by adjusting the size of the input audio signal by using the calculated control ratio.
  • the audio signal size can be controlled to meet the standard with respect to the recorded and pre-produced broadcast program.
  • FIG. 13 is a diagram illustrating an example of a structure of a real-time broadcasting system.
  • a live broadcast system shows a lot of difference from a recorded broadcast system.
  • Relay system does not include Ingest server and does not use part-by-part editing system. Instead, in a live broadcast system, the relay system integrates and performs these functions.
  • the relay system video / sound editing and effects are performed, and the sub-control room (general editing room), which manages the entire production of the program, is controlled through the audio instruction to be broadcast live.
  • the sub-control room general editing room
  • the tuned program is transmitted from the main control room.
  • the live broadcast data received through the satellite is transmitted to the main control room by performing additional operations such as audio sound and subtitle insertion in the sub-control room (general editing room). Therefore, more variables exist to precisely control the audio volume of live broadcasts.
  • FIG. 14 is a diagram illustrating a second embodiment of a method of an apparatus for controlling the size of an audio signal.
  • a signal acquired by a microphone and a signal received by a satellite (hereinafter, referred to as a live broadcast signal) may be considered.
  • the demultiplexer may select audio data by demuxing the live broadcast signal (S201).
  • the audio decoder may decode the selected audio data (S203).
  • the audio signal size controller may perform normalization of the audio signal size using the decoded audio data.
  • the audio signal size controller may analyze the audio signal size of the live audio data and control the live audio signal size to perform normalization.
  • the audio signal magnitude controller may perform normalization using an audio signal magnitude control value manually input from a user (S205).
  • the audio encoder may encode audio data on which normalization has been performed (S207).
  • the multiplexer may multiplex the encoded audio data with other data not selected by the demultiplexer (S208).
  • the data may be provided to the delivery room (S209).
  • steps S201, S203, S205, S207, and S208 may be omitted depending on the format of the audio data.
  • the audio signal size control system demuxes the file and then decodes the audio signal if the audio data is a compressed bitstream, and bypasses the audio decoding block if the raw data is raw data.
  • the audio raw signal automatically adjusts the live audio signal according to the audio signal size standard, and the adjusted signal is broadcast through the transmitting apparatus by performing audio encoding and file formatting as necessary.
  • audio raw files can be output as required by the output.
  • FIG. 15 is a diagram for describing a second embodiment of a method of controlling the size of an audio signal in detail. In the following description of FIG. 15, a detailed description of the parts described with reference to FIG. 14 will be omitted.
  • the proposed system has a structure capable of three modes in relation to normalization of an audio signal size (S206).
  • the first is the Manual Loudness control mode
  • the second is the Half automatic Loudness control mode
  • the third is the Automatic Loudness control mode.
  • Each mode can be operated independently, and in each mode it can be switched to another mode in the middle, the difference between the two modes according to the mode change can be compensated by the Mode Change Control.
  • a person eg, an audio signal editor manually selects a weight for controlling an input audio signal size (eg, by using various buttons included in the audio signal processing apparatus), and selects the weight. It may be a mode for controlling the audio signal size to match the target audio signal size by scaling the input audio signal using the.
  • the Half Automatic Loudness control mode is the same as the Manual Loudness control mode, in which the user manually selects the weights for the control.
  • the information necessary for controlling the audio signal size for example, scaling the audio signal size
  • Weight the size of the input audio signal
  • the automatic loudness control mode may be a mode for automatically controlling the audio signal size to match the target audio signal size without manual control of a person.
  • the switching between the modes may be performed through a half automatic loudness control mode selection button, a manual loudness control mode selection button, and an automatic loudness control mode selection button included in the audio signal processing apparatus.
  • the audio signal processing apparatus may include one mode switching button for switching the loudness control mode, and when the mode switching button is selected, the audio signal processing apparatus may be sequentially switched between the modes.
  • the difference between the two modes according to the mode change can be compensated by the Mode Change Control.
  • the Peek weight may be changed, or may need to be gated interpolated, as described in FIGS. 22 to 23.
  • the Mode Change Control may perform an operation to compensate for this change.
  • the weight necessary for matching the target audio signal size Target LKFS with respect to the real-time input audio signal may be calculated through the above-described Peeking method.
  • the second embodiment of the present invention it is possible to control the size of the audio signal in accordance with the standard for the live / live acquired broadcast program.
  • FIG. 16 is a diagram for describing a method in which a Live LD control step is added to the last stages of the first and second embodiments.
  • a Live LD control step may be further included in the final stage of the method according to the first and second embodiments of the present invention.
  • the file / local broadcast program may be stored in the storage unit through Local LD Control (S105) (S103) and used for transmission.
  • the live broadcast program may be transmitted in real time processing through the Live LD Control (S206).
  • Live LD Control may be further performed at the final stage. That is, from a broadcaster's point of view, even if a broadcast program wrongly input in the previous stage is delivered, the Live LD Control S210 may be further provided to filter the final stage.
  • the Live LD Control S210 may use a Manual Loudness Control Mode, a Half Automatic Loudness Control Mode, or an Automatic Loudness Control Mode.
  • the Automatic Loudness control mode may be preferably used so that the processing can be performed automatically 24 hours a day.
  • FIG. 17 is a diagram illustrating a third embodiment of a method for compensating for sound quality deterioration caused by controlling the size of an audio signal.
  • the method of controlling the size of the audio signal may be variously made according to the condition of the input data. However, if the size of the audio signal is matched with the target LKFS and the error range, the configuration of the audio signal may become flat.
  • an acoustic deterioration compensation module for compensating the adverse effects described above may be further provided. That is, referring to FIG. 17, the demultiplexer may select audio data by demuxing previously recorded broadcast program data or live broadcast program data (S301).
  • the normalization determination unit may determine whether the audio data is pre-normalized (S302).
  • the audio decoder may decode the audio data (S304).
  • An editor control such as Live Audi Mixing & EQ may be performed (S305).
  • the audio signal size controller normalizes the audio signal size using the decoded audio data.
  • the acoustic deterioration compensation module may compensate for an adverse effect according to the normalization performed by the audio signal magnitude controller (S307).
  • the audio encoder may encode audio data on which acoustic degradation compensation is performed (S308).
  • the multiplexer may multiplex the encoded audio data with other data not selected by the demultiplexer (S309).
  • step S301, step S304, step, S308, step S309 may be omitted depending on the format of the audio data in some cases.
  • steps S304 and S308 may be omitted depending on whether audio data is compressed.
  • the third embodiment of the present invention it is possible to control the audio signal size while minimizing the audible audio quality degradation caused by the normalization of the audio signal size.
  • audio signal size normalization causes a significant change in the listening environment for digital broadcast consumers.
  • services / functions newly required in the digital broadcasting terminal may be generated. That is, the digital broadcasting terminal may provide broadcast audio volume related functions.
  • FIG. 18 is a diagram illustrating a fourth embodiment of a method of controlling the size of an audio signal in a terminal.
  • a detailed description of the portion described in FIG. 17 processing portions S301 to S3010 related to transmission of a normalized audio signal will be omitted.
  • the terminal may receive a normalized audio signal (S401), process the received audio signal (S402), and output the same (S403).
  • the audio signal processing S402 may be controlled by, for example, user customization. That is, in digital broadcasting, broadcasting information is provided to the user, and when the user continuously uses the terminal, the user's usage information is accumulated. Based on this information, user information can be analyzed to provide customized audio and audio services to users. In addition, the broadcast information based user sound service may be directly applied by the user setting information.
  • an audio signal may be input (S501).
  • the input audio signal may be, for example, an audio signal according to an operation (optional operation) of the demux and decoding illustrated in FIGS. 10 to 12.
  • Such an audio signal may have various waveforms, and may be, for example, an audio signal having a waveform of the shape shown in front of FIG. 5 (ie, before being normalized).
  • the audio signal size measuring unit may measure the original LKFS (LKFS) of the input audio signal using the audio signal size measuring method described with reference to FIGS. 6 to 8 (S503).
  • the audio signal magnitude measuring unit may measure an initial peak LKFS (S502).
  • the initial Peek LKFS may be measured by scaling an input audio signal using a preset initial Peek weight and measuring the LKFS based on the scaled audio signal.
  • the preset initial Peek weight may be provided in the form of control information to a broadcast signal including an audio signal and an image signal. Or, it may be provided as a pre-stored value at the time of designing the audio signal amplitude control device. Or as input from a user.
  • the weight calculation unit initially (S505: Y), the target value LKFS (Target LKFS) (S504), the measured initial Peek LKFS (initial Peek weight) (S502), the measured LKFS (Original LKFS) (S506).
  • the weight calculator may calculate a loudness control ratio using Equation 7 below.
  • the loudness control ratio may be diff1 / diff2.
  • the weight calculator may calculate a new peak weight by applying the calculated loudness control ratio to Equation 8 below (S507).
  • new_Peek_weight refers to the new Peek weight
  • previous_Peek_weight refers to the Peek weight used before calculating new_Peek_weight
  • new_weight refers to the weight calculated in Equation 8.
  • a new Peek weight may be calculated by multiplying an initial Peek weight by a new weight.
  • the previous Peek weight is reduced to calculate a new Peek weight, and the difference between the original LKFS and the Peek LKFS is decreased. If it is larger than the difference between the original LKFS and the target LKFS, the new peak weight can be calculated by increasing the previous peak weight.
  • Equation 8 although the weight for decreasing is 0.9 and the weight for increasing is 1.1, the weight is not limited to this weight value and various weight values may be used. For example, in order to more precisely adjust the size of the audio signal, a weight for decreasing may be 0.99 and a weight for increasing may be 1.01.
  • the target LKFS may vary according to the target LKFS set by regulations and legislation of various countries.
  • the target value LKFS may be? 24LKFS.
  • the target value LKFS may be provided in the form of control information in a broadcast signal including an audio signal and an image signal. Or, it may be provided as a pre-stored value at the time of designing the audio signal amplitude control device. Or as input from a user.
  • the audio signal size control unit may control the audio signal size by using the new Peek weight calculated by the above-described operation.
  • the audio signal size control unit may control the audio signal size by scaling the input audio signal S501 using the calculated new Peek weight (S508).
  • the audio signal size measuring unit may measure the LKFS (New Peek LKFS) of the audio signal S508 of which the audio signal size is controlled according to the new Peek weight (S509).
  • LKFS New Peek LKFS
  • the audio signal size control unit may calculate the LKFS error by comparing the target value LKFS (S504) with the measured new Peek LKFS (S509) (S511).
  • the audio signal magnitude control unit may compare the LKFS error D with a preset error range T (S512). As an example, if the target LKFS and the audio signal amplitude error range are 24 LKFS (Target LKFS) +/- 2 dB (error range), the difference between the target LKFS and the new Peek LKFS is different. It can be determined whether it is larger or smaller than the error range.
  • the preset error range (LKFS error range) S510 may be provided in the form of control information in a broadcast signal including an audio signal and an image signal. Or, it may be provided as a pre-stored value at the time of designing the audio signal amplitude control device. Or as input from a user.
  • the audio signal size control unit may output an audio signal whose audio signal size is controlled according to a new peak weight.
  • the audio signal magnitude control unit may control to repeat the above-described control operation.
  • the weight calculation unit is not the first one (S505: N)
  • the target value LKFS (S504) the measured new Peek LKFS (S509)
  • a new audio signal loudness control ratio may be calculated (S506).
  • the weight calculator may calculate a loudness control ratio using the above-described equation (7).
  • the weight calculator may calculate a new Peek weight by applying the calculated loudness control ratio to Equation 8 described above (S507). That is, the above-described operation may be repeated until the size of the audio signal satisfies the target value LKFS and the error range.
  • the input audio signal S501 according to the first embodiment of the present invention is an audio signal for a pre-produced broadcast program, and may be an audio signal from start to end of the broadcast program. Accordingly, according to the first embodiment of the present invention, the audio signal size may be controlled based on the audio signal size (Original LKFS) of the audio signal from the start to the end of the broadcast program.
  • the audio signal size may be controlled based on the audio signal size (Original LKFS) of the audio signal from the start to the end of the broadcast program.
  • an encoding operation, a multiplexing operation (can be omitted), and the like may be performed on the output audio signal S513.
  • the apparatus or method for controlling audio signal size according to the first embodiment of the present invention may be provided or performed at the producer side for producing the audio signal or at the supplier side for supplying the produced audio signal.
  • the apparatus or method for controlling audio signal size according to the first embodiment of the present invention may be provided or performed on a user side (for example, a portable multi device such as an MP3 player) that receives and outputs an audio signal.
  • an audio signal size can be automatically controlled for recording and a pre-produced broadcast program to meet the standard.
  • FIG. 20 is a diagram for describing a method of measuring audio signal size to which an audio gating method mentioned in ITU-R 1770-2 is added.
  • the audio gating method measures the LKFS for the gate block 1 as shown in FIG. 20, applies the overlap and shift method, measures the LKFS for the gate block 2, and repeats the overlap and shift method to determine the LKFS for each gate block. If the measured LKFS of the gate block is less than or equal to the threshold LKFS (-70 LKFS in ITU-R 1770-2), the audio signal may be measured for the audio signal to which the gating is applied.
  • the gate block in ITU-R 1770-2, has a gate size of 0.4 s and has a structure of 75% overlap.
  • the LKFS for each gate block is measured by using Equations 4 to 5 described above, and the size of the audio signal for each gate block is measured.
  • a new Peek weight for control may be calculated using the method of FIG. 19 described above.
  • discontinuous sound may be generated due to weight differences between neighboring gate blocks. Can be.
  • the audio signal size control method can perform the following processing.
  • a gate size of a non-overlapping region of a gate block may be, for example, 4800 samples.
  • one frame size for determining a data size received at one time may be 1024 samples.
  • gate hand over may occur, in which one frame spans two gate blocks.
  • an audio signal size may be controlled by interpolating gate weights from a frame in which gate hand over occurs. have.
  • the gate weight may be a new Peek weight calculated using the method of FIG. 19 described above with respect to each Gate Block.
  • the gate delay due to the interpolation of the gate weights does not occur. That is, when data is received in a frame in which a gate hand over occurs, the gate weights of the two gate blocks that span the frame in which the gate hand over occurs may be calculated in advance. Therefore, the gate weights can be interpolated without delay from the frame time point at which gate hand over occurs using the gate weights of the two gate blocks calculated in advance.
  • various interpolation methods may be used to interpolate the gate weights.
  • the present linear interpolation may be used. This will be described in detail with reference to FIG. 23.
  • FIG. 23 is a diagram illustrating linear interpolation as an example of interpolation according to the fifth embodiment of the present invention. Referring to FIG. 23, linear interpolation such as the following equation may be used.
  • W G1 is the gate weight of Gate Block 1
  • W G2 is the gate weight of Gate Block 2
  • i is the number of gate weights to be interpolated
  • InterFrame is the number of frames from the interpolation start frame to the type frame.
  • gate weights weights shown in red: W 1 and W 2 to be applied to two frames may be calculated. have. That is, by selectively adjusting the number of InterFrames, the number of gate weights interpolated can be variably controlled.
  • the above-described gate weight interpolation method according to the fifth embodiment of the present invention may be applied to a method of controlling the size of an audio signal using the gate weight.
  • the audio signal size may be controlled by being applied to a previously recorded broadcast program, and the audio signal size may be controlled by being applied to a live broadcast program.
  • the apparatus or method for controlling audio signal size according to the fifth embodiment of the present invention may be provided or performed at the producer side for producing the audio signal or at the supplier side for supplying the produced audio signal.
  • the audio signal size control apparatus or method according to the fifth embodiment of the present invention may be provided or performed on a user side (for example, a portable multi device such as an MP3 player) that receives and outputs an audio signal.
  • the gate weight may be interpolated from the frame in which the gate hand over occurs so that the gate delay due to the interpolation of the gate weights does not occur.
  • the number of gate weights interpolated may be variably controlled.
  • FIG. 24 is a diagram illustrating an example of information provided in a Half Automatic Loudness control mode according to a second embodiment of the present invention.
  • the half automatic loudness control mode is the same as the manual loudness control mode in that the user manually selects a weight for the control, but the half automatic loudness control mode is described in detail so that a person can use the information necessary for controlling the size of the audio signal. It can be different in that it provides a piece of information.
  • the information for controlling the amplitude of the audio signal provided is, as shown in FIG. 24, the Momentary LKFS 601, the short term (3s) LKFS 602, the integrated LKFS 603, played. It may include at least one of the LKFS (604), Remained LKFS (605), Recommended Control Factor (606).
  • the Momentary LKFS 601 is an LKFS for an audio signal input to the gate block (for example, an LKFS for an audio signal input for 0.4S as shown in FIG. 20), and a short term (3s) is an LKFS 602 for 3S.
  • LKFS for the input audio signal integrated LKFS 603 is the LKFS for the audio signal input so far
  • played LKFS 604 is the LKFS for the audio signal output so far
  • the insufficient or exceeding LKFS, Recommended Control Factor 606 of the LKFS 604 may be a weight for controlling the audio signal magnitude calculated using the Remained LKFS 605.
  • the Momentary LKFS 601, the short term (3s) LKFS 602, and the integrated LKFS 603 may be measured using the above Equations 4 to 5.
  • the played LKFS 604 outputs an audio signal (that is, the audio signal size is controlled and output to the audio reproducing apparatus according to the operation of FIGS. 22 to 23 described above), that is, the audio signal size is controlled.
  • the audio signal magnitude may differ from the integrated LKFS 603, which is the LKFS for the uncontrolled input audio signal.
  • the played LKFS 604 may be calculated using Equation 10 below.
  • x is an audio signal output so far for the signal passing through two filters defined in the LKFS measurement algorithm
  • M is the number of samples of the gate block
  • N is the number of gate blocks to which the audio signal has been input.
  • an average (played_mean) of the output audio signals up to now should be continuously calculated as in Equation 10. Accordingly, when the average (played_mean) is obtained, it is possible to measure the played LKFS (604) by applying the formula mentioned in ITU-R 1770-2.
  • Equation 10 when calculated as shown in Equation 10, if the data for the audio signal increases, the value of N increases significantly, so in the case of a fixed-point processor, the result of the product of previous_Mean and N-1 may exceed the processor range. Can be. It can also be quite large for floating point processors. The processing of the processor and the storage capacity of the memory may be burdened.
  • the average (present_mean) of the audio signal output so far can be calculated.
  • the played LKFS 604 can be measured by applying the calculated present_mean to the played_mean of Equation 10 described above. In this case, the burden on the processing of the processor and the storage capacity of the memory can be reduced.
  • FIG. 25 is a diagram illustrating a method of calculating a recommended control factor among information provided in a half automatic loudness control mode according to a second embodiment of the present invention.
  • the Remained LKFS 605 may be measured using Equation 12 below, and the recommended control factor 606 may be calculated using the measured Remained LKFS 605.
  • the Remained LKFS 605 may include a played LKFS 604, a Taget LKFS 607, a total play time (Ts) 608, and a play time of the currently output audio signal. (Ps)) 609 can be calculated.
  • the Remained LKFS 605 may mean a LKFS that is insufficient or exceeds the played LKFS 604 compared to the target LKFS.
  • the recommended control factor 606 may be a weight for controlling the size of the audio signal calculated using the Remained LKFS 605. That is, the Remained LKFS 605 means a LKFS that is insufficient or exceeded by the played LKFS 604 compared to the target value LKFS 607.
  • the weight calculator uses the Remained LKFS 605 to output the audio of the audio signal to be totally output.
  • the weight for the signal magnitude to be the target value LKFS 607 can be calculated.
  • Half Automatic Loudness such as the aforementioned Momentary LKFS 601, short term (3s) LKFS 602, integrated LKFS 603, played LKFS 604, Remained LKFS 605, Recommended Control Factor 606, etc.
  • information necessary for controlling the audio signal size may be provided through a display screen provided in the audio signal size control apparatus.
  • the user by providing information necessary for controlling the audio signal size, the user can more easily control the audio signal size in a real-time / live environment.
  • FIG. 26 is a diagram illustrating a method for controlling audio signal size in an automatic loudness control mode according to a second embodiment of the present invention.
  • the automatic loudness control mode may be a mode for automatically controlling the audio signal size to match the target audio signal size without manual control of a person.
  • a gate weight to be applied to each gate block should be automatically calculated.
  • the weight calculator calculates the magnitude (Original LKFS) of the input audio signal acquired in real time for each gate block and the input audio signal acquired in real time for each gate block.
  • the gate weight for scaling the audio signal for each gate is automatically calculated.
  • the audio signal size control unit may control the audio signal size using the calculated gate weight.
  • the mapping curve is the overall size of the audio signal to be output while setting the size of the audio signal of the entire audio signal inputted from the start to the end of the audio signal as the target audio signal size (Target LKFS) (for example, -24LKFS).
  • the size deviation may be a curve to keep. That is, if a normalization operation is performed such that the audio signal size of the entire input audio signal is the target audio signal size (Target LKFS) (for example, -24 LKFS), a block having a small audio signal size for each gate block is large. The larger the block is, the smaller the block becomes, which can be a problem because the variation in the volume of sound delivered to the human ear is small. Accordingly, according to an embodiment of the present invention, by using a mapping curve to maintain the overall size deviation of the output audio signal, it is possible to maintain the deviation of the sound volume delivered to the human ear.
  • the weight calculator calculates diff1 / diff2, which is a loudness control ratio, by applying a capped LKFS to the target LKFS of Equation 7 above, and calculates the calculated loudness control ratio.
  • the gate weight may be calculated by applying the equation (8).
  • the audio signal size control unit may control the audio signal size using a gate weight for scaling the audio signal calculated for each gate block. As described above with reference to FIG. 19 of the detailed description of the operation, it will be omitted.
  • FIG. 27 is a diagram illustrating a method for designing a mapping curve for calculating a mapped audio signal magnitude (LKFS) according to FIG. 26.
  • the mapping curve is a curve indicating the relationship between the magnitude of the audio signal inputted to each gate block (original LKFS) and the mapping audio signal size (mapped LKFS).
  • a mapping curve may be designed by separating a main LKFS region and a low LKFS region.
  • the low LKFS region may be an LKFS region in which an input audio signal size smaller than a human ear is smaller than a preset value, and the main LKFS region is an input audio signal amplitude largely transmitted to a human ear. May be an LKFS region larger than a preset value.
  • the mapping curve may be designed based on the variable weight of the main LKFS region, and the mapping curve may be designed on the non-major LKFS region.
  • mapping curve for the main LKFS region may be designed using Equation 13 below.
  • iLKFS is an audio signal size (original LKFS) input for each gate
  • oLKFS is an audio signal size (mapped LKFS) mapped for each gate
  • w is a weight. Accordingly, variable mapping curves can be generated for major LKFS regions. Such a mapping curve may be adjustable through a mapping curve control.
  • the normalized and output audio signal may maintain the deviation of the input audio signal. It is possible to maintain a variation in the volume of sound delivered to the human ear.
  • 28 to 30 are diagrams comparing waveforms of an input audio signal with waveforms of a normalized audio signal.
  • FIG. 28A shows a waveform of an input audio signal of pop
  • FIG. 28B shows a waveform of a normalized audio signal of pop.
  • the size of the input audio signal was -22.23 LKFS, but the above-described normalization operation was performed, and the size of the normalized audio signal was -22.72 LKFS, indicating that it was normalized within the target audio signal size and the error range. Can be.
  • Fig. 29A shows the waveform of the input audio signal of Kpop
  • Fig. 29B shows the waveform of the normalized audio signal of Kpop.
  • the size of the input audio signal was -8.9 LKFS, but the above-described normalization operation was performed, and the normalized audio signal was -23.28 LKFS, indicating that it was normalized within the target audio signal size and the error range. Can be.
  • FIG. 30A illustrates a waveform of an input audio signal of classic
  • FIG. 30B illustrates a waveform of a normalized audio signal of classic.
  • the size of the input audio signal was -26 LKFS, but the above-described normalization operation was performed, and the size of the normalized audio signal was -25.34 LKFS, indicating that it was normalized within the target audio signal size and the error range. Can be.
  • the above-described method according to various embodiments of the present disclosure may be stored in a computer-readable recording medium that is produced as a program to be executed in a computer.
  • Examples of the computer-readable recording medium may include ROM, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

오디오 신호 크기 제어 방법이 개시된다. 본 제어 방법은, 입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하는 단계, 기 설정된 초기 Peek 가중치를 이용하여 입력된 오디오 신호를 스케일링하고, 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 단계, 출력될 오디오 신호의 사운드 편차를 유지하기 위한 기 설정된 매핑 테이블에 제1 오디오 신호 크기를 적용하여 제3 오디오 신호 크기를 검출하는 단계 및 제1 오디오 신호 크기, 제2 오디오 신호 크기, 제3 오디오 신호 크기를 이용하여 입력된 오디오 신호의 크기를 제어하는 단계를 포함한다.

Description

오디오 신호 크기 제어 방법 및 장치
본 발명은 멀티미디어에서 재생되는 오디오 신호의 크기를 제어하는 방법 및 그 장치에 관한 것이다.
사람들은 일상생활을 하면서 다양한 환경에 놓이며 다양한 소리에 노출된다. 사람들이 노출되는 소리는 다양한 원인에 의해서 발생하는데 도 1에서 보이는 것과 같이 사람이 청취 하였을 때 불쾌함을 발생하는 환경 소음, 사람을 즐겁게 하는 멀티미디어 사운드 및 음악, 그리고 사람 사이에서 대화 및 정보를 주고 받을 때 발생하는 소리 등이 있다.
사람들 주변의 여러 소리는 사운드의 크기 및 종류에 따라 사람에게 고통을 줄 수도 있고, 즐거움을 줄 수도 있고, 다양한 정보를 제공할 수도 있다. 이러한 이유는 사람의 청각 구조는 공기로 전달된 사운드의 음압 레벨을 통해 소리를 인지하므로, 사운드 크기 및 강도는 소리에 의한 청각적 피로도 및 소리의 물리적 특징을 정의하는 유용한 수치가 되고 있다.
소리를 평가하는 방법 중 사운드 크기(loudness)는 어떠한 소리가 사람 귀에 전달되었을 때 사람의 청각시스템이 인지하는 주관적인 사운드 크기이며, 소리의 강도(intensity)는 사람의 청각시스템에 전달된 객관적인 사운드의 강도로서 소리의 파워를 뜻하며, 일반적으로 잘 알려진 데시벨로 측정된다. 일반적으로 사람들 사이의 대화는 60 ~ 70 dB이고, 교통량이 많고 소음이 심한 대로변은 약 80dB 정도이며, 일반적으로 약 70dB 범위에서 사람들이 편안함을 느낀다.
도 1을 참조하면, 현대 사람들은 오디오를 접하는 방법과 기회가 점점 증가하고 있으며, 휴대용 멀티미디어 오디오 기기의 발달에 따라 언제 어디서나, 어느 상황에서도 자신이 원하는 멀티미디어 콘텐츠 및 음악을 즐길 수 있게 되었다. 특히 오디오에서는 1990년대 후반 MP3(MPEG-1 Layer III)의 등장과 인터넷의 대중화가 이루어지면서 MP3로 압축된 디지털 음원을 인터넷을 통해 쉽게 다운받고 청취하는 것이 가능해졌다.
상업적인 오디오 음원 시장은 멀티미디어 기기의 대중화와 융합되어 급격히 팽창되었고, 오디오 음원은 영역에서의 경쟁이 심화되면서 사람들의 관심을 끌기 위해서 오디오 음원의 재생 가능한 최대 음향과 최소 음향 차이의 비(dynamic range)가 급격히 감소하고, 파형의 최대값이 증가하여 오디오 사운드 크기가 상당히 증가하였다. 이는 '오디오 사운드 크기가 클수록 사람들이 좋은 음악으로 인식 할 것이다'라는 생각에서 더욱 심화 됐다.
도 2의 (가)는 1970년 음악(Pops)의 파형을, (나)는 2011년 한국 가요(K-Pops)의 파형을 보여주고 있다. 도 2를 참조하면, 오래 전에 녹음된 음악은 다이나믹 범위가 최근에 발매된 음원보다 넓은 것을 볼 수 있으며, 최근 전세계적 대중화를 이룬 K-pops 음원의 파형은 최대치에 이르거나 혹은 최대치를 넘게 되는 경우를 확인 할 수 있다.
그에 따라, 멀티미디어 기기에서 오디오의 사운드 크기를 정확하게 측정하고, 사운드 크기를 조절하는 기술이 필요하며, 오디오 사운드 크기를 제어하기 위한 기술이 필요하다.
본 발명은, 다양한 멀티미디어 환경에서 제공되는 오디오 신호의 크기를 효율적으로 제어할 수 있는 방법 및 그 장치를 제공함에 있다.
본 발명은 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있는 장치 및 방법을 제공함에 있다.
본 발명은 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않도록 하면서, 오디오 신호 크기를 규격에 맞도록 제어할 수 있는 장치 및 방법을 제공함에 있다.
본 발명은, 실시간/라이브 취득된 오디오 신호의 오디오 신호 크기를 규격에 맞도록 제어할 수 있는 장치 및 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있는 장치 및 방법을 제공한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 제2 실시 예에 따르면, 실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있는 장치 및 방법을 제공한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있는 장치 및 방법을 제공한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 제4 실시 예에 따르면, 오디오 신호 크기의 정규화를 고려하여, 새로운 오디오 컨트롤 기능을 제공하는 장치 및 방법을 제공한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 오디오 신호 크기 제어 방법은, 입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하는 단계, 기 설정된 초기 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하고, 상기 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 단계 및 상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 및 목표치 오디오 신호 크기를 이용하여, 상기 입력된 오디오 신호의 크기를 제어하는 단계를 포함한다.
그리고, 상기 제어하는 단계는, '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하는 단계, 상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하는 단계, 상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 단계 및 상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하는 단계를 포함할 수 있다.
또한, 상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 제3 차이를 기 설정된 오차 범위와 비교하는 단계를 더 포함할 수 있다.
그리고 상기 비교 결과, 상기 제3 차이가 상기 기 설정된 오차 범위보다 크면, 상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기를 상기 제2 오디오 신호 크기로 하여, 상기 입력된 오디오 신호의 크기를 제어하는 단계를 더 포함할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 장치는, 입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하고, 상기 입력된 오디오 신호에 기 설정된 초기 Peek 가중치를 적용하여 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 오디오 신호 크기 측정부 및 상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 및 목표치 오디오 신호 크기를 이용하여, 상기 입력된 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부를 포함한다.
그리고, '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하고, 상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하며, 상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 가중치 산출부를 더 포함하고, 상기 오디오 신호 크기 제어부는, 상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하여 상기 입력된 오디오 신호의 크기를 제어할 수 있다.
또한, 상기 오디오 신호 크기 제어부는, 상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 제3 차이를 기 설정된 오차 범위와 비교할 수 있다.
그리고, 상기 오디오 신호 크기 제어부는, 상기 비교 결과, 상기 제3 차이가 상기 기 설정된 오차 범위보다 크면, 상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기를 상기 제2 오디오 신호 크기로 하여, 상기 입력된 오디오 신호의 크기를 제어할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 방법은, 기 정의된 게이트 사이즈를 갖는 제1 게이트 블록, 제2 게이트 블록을 입력된 오디오 신호에 적용하여, 상기 제1 게이트 블록에 대응하는 제1 오디오 신호의 크기 상기 제2 게이트 블록에 대응하는 제2 오디오 신호의 크기를 측정하는 단계, 상기 측정된 제1 오디오 신호의 크기를 이용하여 상기 제1 게이트 블록에 대응하는 제1 게이트 가중치를 산출하고, 상기 측정된 제2 오디오 신호의 크기를 이용하여 상기 제2 게이트 블록에 대응하는 제2 게이트 가중치를 산출하는 단계, 상기 제1 게이트 블록 및 상기 제2 게이트 블록에서 게이트 핸드오버가 발생한 프레임을 검출하는 단계, 상기 산출된 제1 및 제2 가중치를 이용하여, 상기 검출된 프레임부터 프레임 가중치를 인터폴레이션하는 단계 및 상기 인터폴레이션된 프레임 가중치, 상기 제1 및 제2 게이트 가중치를 이용하여 입력된 오디오 신호에 대한 스케일링을 수행하여 오디오 신호의 크기를 제어하는 단계를 포함한다.
그리고, 상기 제2 게이트 블록은, 상기 제1 게이트 블록 내의 기 정의된 사이즈만큼 을 오버랩시키면서 이동시킨 게이트 블록일 수 있다.
또한, 상기 제1 및 제2 게이트 블록은, 적어도 하나의 프레임을 포함하며, 상기 프레임은 한 번에 받는 데이터 사이즈를 결정할 수 있다.
그리고, 상기 인터폴레이션되는 프레임 가중치의 개수는 가변적일 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 장치는, 기 정의된 게이트 사이즈를 갖는 제1 게이트 블록, 제2 게이트 블록을 입력된 오디오 신호에 적용하여, 상기 제1 게이트 블록에 대응하는 제1 오디오 신호의 크기 상기 제2 게이트 블록에 대응하는 제2 오디오 신호의 크기를 측정하는 오디오 신호 크기 측정부, 상기 측정된 제1 오디오 신호의 크기를 이용하여 상기 제1 게이트 블록에 대응하는 제1 게이트 가중치를 산출하고, 상기 측정된 제2 오디오 신호의 크기를 이용하여 상기 제2 게이트 블록에 대응하는 제2 게이트 가중치를 산출하는 가중치 산출부, 상기 제1 게이트 블록 및 상기 제2 게이트 블록에서 게이트 핸드오버가 발생한 프레임을 검출하는 검출부 및 상기 산출된 제1 및 제2 가중치를 이용하여, 상기 검출된 프레임부터 프레임 가중치를 인터폴레이션하고, 상기 인터폴레이션된 프레임 가중치, 상기 제1 및 제2 게이트 가중치를 이용하여 입력된 오디오 신호에 대한 스케일링을 수행하여 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부를 포함한다.
그리고, 상기 제2 게이트 블록은, 상기 제1 게이트 블록 내의 기 정의된 사이즈만큼 을 오버랩시키면서 이동시킨 게이트 블록일 수 있다.
또한, 상기 제1 및 제2 게이트 블록은, 적어도 하나의 프레임을 포함하며, 상기 프레임은 한 번에 받는 데이터 사이즈를 결정할 수 있다.
그리고, 상기 인터폴레이션되는 프레임 가중치의 개수는 가변적일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 방법은, 입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 단계, 상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 단계 및 상기 산출된 제어 정보를 표시하는 단계를 포함한다.
그리고, 상기 제어 정보는, Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함할 수 있다.
또한, 상기 played 오디오 신호 크기 정보는, 현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고, 상기 Remained 오디오 신호 크기 정보는, 목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며, 상기 Recommended Control Factor 정보는, Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보일 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 장치는, 입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 입력부, 상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 제어부 및 상기 산출된 제어 정보를 표시하는 디스플레이부;를 포함한다.
그리고, 상기 제어 정보는, Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함할 수 있다.
또한, 상기 played 오디오 신호 크기 정보는, 현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고, 상기 Remained 오디오 신호 크기 정보는, 목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며, 상기 Recommended Control Factor 정보는, Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보일 수 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 방법은, 입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하는 단계; 기 설정된 초기 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하고, 상기 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 단계; 출력될 오디오 신호의 사운드 편차를 유지하기 위한 기 설정된 매핑 테이블에 상기 제1 오디오 신호 크기를 적용하여 제3 오디오 신호 크기를 검출하는 단계; 및 상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 상기 제3 오디오 신호 크기를 이용하여 상기 입력된 오디오 신호의 크기를 제어하는 단계를 포함한다.
그리고, 상기 입력된 오디오 신호는, 실시간으로 입력되는 오디오 신호일 수 있다.
또한, 상기 기 설정된 매핑 테이블은, 상기 제1 오디오 신호 크기가 기 설정된 값보다 작은 영역에서는, 선형 매핑을 이용하여 매핑을 수행하는 테이블이고, 상기 제1 오디오 신호 크기가 기 설정된 값보다 큰 영역에서는, 하기의 수학식을 이용하여 매핑을 수행하는 테이블이며,
Figure PCTKR2014002362-appb-I000001
여기서, iLKFS는 상기 제1 오디오 신호 크기이고, oLKFS는 상기 제3 오디오 신호 크기이고, w는 변경가능한 가중치 값일 수 있다.
그리고, 상기 제어하는 단계는, '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 제3 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하는 단계; 상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하는 단계; 상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 단계; 및 상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하는 단계;를 포함할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 장치는, 입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하고, 기 설정된 초기 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하고, 상기 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하며, 출력될 오디오 신호의 사운드 편차를 유지하기 위한 기 설정된 매핑 테이블에 상기 제1 오디오 신호 크기를 적용하여 제3 오디오 신호 크기를 검출하는 오딩오 신호 크기 측정부, 상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 상기 제3 오디오 신호 크기를 이용하여 상기 입력된 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부를 포함한다.
그리고, 상기 입력된 오디오 신호는, 실시간으로 입력되는 오디오 신호일 수 있다.
또한, 상기 기 설정된 매핑 테이블은, 상기 제1 오디오 신호 크기가 기 설정된 값보다 작은 영역에서는, 선형 매핑을 이용하여 매핑을 수행하는 테이블이고, 상기 제1 오디오 신호 크기가 기 설정된 값보다 큰 영역에서는, 하기의 수학식을 이용하여 매핑을 수행하는 테이블이며,
Figure PCTKR2014002362-appb-I000002
여기서, iLKFS는 상기 제1 오디오 신호 크기이고, oLKFS는 상기 제3 오디오 신호 크기이고, w는 변경가능한 가중치 값일 수 있다.
그리고, '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 제3 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하고, 상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하며, 상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 가중치 산출부를 더 포함하고, 상기 오디오 신호 크기 제어부는, 상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하여 상기 입력된 오디오 신호의 크기를 제어할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자가 멀티미디어 기기 볼륨을 고정하고 여러 오디오 음원을 감상하는 경우 오디오 음원 사이에 발생하는 오디오 사운드 크기의 차이로 인한 불편과 높은 청각적 피로를 효과적으로 감소시킬 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 자동으로 제어할 수 있다. 이에 따라, 사용자가 멀티미디어 기기 볼륨을 고정하고 여러 오디오 음원을 감상하는 경우 오디오 음원 사이에 발생하는 크기 차이로 인한 불편과 높은 청각적 피로를 효과적으로 감소시킬 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않도록 할 수 있다.
또한, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 오디오 신호 크기 제어에 필요한 정보를 제공함으로써, 사용자가 보다 쉽게 오디오 신호 크기를 제어할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 실시간/라이브 취득된 오디오 신호의 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 1은 일상 생활에서 발생하는 다양한 청각적 피로 요인들을 설명하기 위한 도면이다.
도 2는 오디오 신호의 파형에 대한 예들을 나타내는 도면이다.
도 3은 오디오 데이터 클립핑에 따른 왜곡 현상을 설명하기 위한 도면이다.
도 4는 오디오 및 소음에 의한 청각 손실을 설명하기 위한 도면이다.
도 5는 디지털 방송 프로그램의 오디오 신호 크기 정규화를 설명하기 위한 도면이다.
도 6은 오디오 신호의 크기를 측정하는 방법을 나타내는 도면이다.
도 7은 프리-필터(pre-filter)의 주파수 응답 특성에 대한 일예를 나타내는 그래프이다.
도 8은 RLB 필터의 주파수 응답 특성에 대한 일예를 나타내는 그래프이다.
도 9는 녹화 및 사전에 제작된 방송 프로그램에 대한 방송 시스템의 구조에 대한 일 예를 설명하기 위한 도면이다.
도 10은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 나타내는 도면이다.
도 11은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 구체적으로 설명하기 위한 도면이다.
도 12는 오디오 신호 크기를 조절하기 위한 Peek 값 기반의 Loudness Control Ratio 연산에 대한 기본 구조를 나타내는 도면이다.
도 13은 실시간 방송 시스템의 구조에 대한 일예를 나타내는 도면이다.
도 14는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 나타내는 도면이다.
도 15는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 구체적으로 설명하기 위한 도면이다.
도 16은 제1 실시 예, 제2 실시 예의 최종 단에 Live LD control 단계가 추가된 방법을 설명하기 위한 도면이다.
도 17은 오디오 신호의 크기 제어에 따른 음질 열화를 보상하기 위한 방법에 대한 제3 실시 예를 나타내는 도면이다.
도 18은 단말기에서 오디오 신호의 크기를 제어하는 방법에 대한 제4 실시 예를 나타내는 도면이다.
도 19는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치의 오디오 신호 크기 제어 방법을 구체적으로 나타내는 흐름도이다.
도 20은 ITU-R 1770-2에서 언급된 오디오 Gating 방식이 추가된 오디오 신호 크기 측정 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하기 위하여 게이트 핸드오버를 설명하는 도면이다.
도 22는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하는 도면이다.
도 23은 본 발명의 제5 실시 예에 따른 인터폴레이션의 일 예인 선형 인터폴레이션(linear interpolation)을 설명하는 도면이다.
도 24는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보의 일 예를 나타내는 도면이다.
도 25는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보 중 Recommended control factor를 산출하는 방법을 나타내는 도면이다.
도 26은 본 발명의 제2 실시 예의 Automatic Loudness 컨트롤 모드에서 오디오 신호 크기 제어 방법을 나타내는 도면이다.
도 27은 도 26에 따른 매핑 오디오 신호 크기(mapped LKFS)를 산출하기 위한 매핑 커브(mapping curve)를 설계하기 위한 방법을 나타내는 도면이다.
도 28 내지 30은 입력 오디오 신호의 파형과 정규화된 오디오 신호의 파형을 비교한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명하기로 한다.
도 3은 오디오 데이터 클립핑에 따른 왜곡 현상을 설명하기 위한 도면이다.
음원의 파형이 디지털 데이터에서 허용 가능한 데이터 분해능(resolution) 범위를 넘을 경우 음원의 파형이 깎이게 되고, 이러한 현상이 오디오 데이터 클립핑이다.
도 3의 (가)는 클립핑 없는 사인파, (나)는 클립핑 없는 파형 주파수 특성, (다)는 클립핑 있는 사인파, (라)는 클립핑 있는 파형의 주파수 특성을 나타낸다.
도 3을 참조하면, 오디오 데이터 클립핑 현상은 오디오 신호를 왜곡하게 되고, 단순한 싸인 파형의 주파수 특성(도 3(나))과 클립핑된 사인 파형의 주파수 특성(도 3(라))을 비교하였을 때, 도 3(라)의 점선으로 표시된 영역처럼 클립핑 없는 사인 파형에 존재하지 않았던 신호 왜곡 성분이 오디오 데이터 클립핑에 의해 발생하는 것을 확인할 수 있다.
한편, 오디오 사운드 크기 증가에 의한 문제는 휴대용 멀티미디어 기기의 대중화에 의해 증폭되고 있다. 현재 멀티미디어 기기에 의해 오디오 청취 시간이 상당히 증가한 청소년들이 상당히 큰 오디오 사운드 크기를 갖는 음원에 지속적으로 장시간 노출되고 있다.
도 4를 참조하면, 1990년대 초반 MP3 기반의 휴대용 멀티미디어 기기 등장전과 비교해서 2000년대 중반 휴대용 멀티미디어 기기가 대중화 되었을 때 미국 청소년의 청각손실이 상당히 증가하였음을 알 수 있다.
또한 국내에서도 소음성 난청 환자가 2000년대 초반과 후반을 비교하면 약 50% 증가하여 멀티미디어기기, 소음환경 등에 의한 청각적 피로가 임계치를 넘어서 청각 기능 열화에 영향을 주고 있는 것을 알 수 있다.
그러므로 사람이 살면서 안전하고 즐겁게 오디오 및 음악 감상 평생 누리기 위해서는 오디오에 의한 청각적 피로를 낮추는 작업이 필요하다.
그를 위해, 본 발명의 일실시예는 멀티미디어 기기에서 오디오 사운드 크기를 정확하게 측정하고, 사운드 크기를 조절하는 방법에 관한 것이다.
도 5는 디지털 방송 프로그램의 오디오 신호 크기의 정규화를 설명하기 위한 도면이다.
국내에서는 방송법 개정을 통하여 각 방송국, 콘텐츠 사이의 오디오 신호 크기(Loudness) 차이를 감소시키기 위한 노력이 진행되고 있다. 현재 방송에서 송출되는 프로그램은 방송사간, 방송 콘텐츠 간 상당한 크기 차이를 보인다.
도 5를 참조하면, 두 가지 음악 콘텐츠의 오디오 신호 크기(일 예로, Channel1 :-23.4LKFS, Channel2 : -8.5LKFS)가 상당한 차이를 보인다. 이러한 차이가 방송 시청자들에게 상당한 불편을 야기하고 있다. 이러한 것을 극복하고자 TTA의 PG803 WG8034 산하에서 "디지털 방송 프로그램 음량 레벨 기준"이라는 내용으로 표준화 작업이 진행되고 있다.
표준화의 목표는 도 5에 보이는 바와 같이 상당한 크기 차이를 갖는 채널/방송프로그램을 표준화된 음량 표준 규격에 따라 조절하여 정규화된 오디오 신호 크기(일 예로, Channel1 : -24LKFS, Channel2 : -24LKFS)를 갖도록 출력하는 기준을 마련하는데 있다.
상기 표준화는 방송법과 연계될 것이므로, 표준의 중요성 및 사용가능성이 상당히 높으면, 표준에서는 국제 오디오 신호 크기 측정 표준인 ITU-1770-1/2을 기반으로 국내 상황에 맞는 오디오 신호 기준과 규격을 제시할 것이며, 이를 준수할 수 있도록 도울 수 있는 기술 및 현재 디지털 방송 신호 크기에 대한 분석 등을 수행할 것이다.
도 6은 오디오 신호의 크기를 측정하는 방법을 나타내는 도면이다.
오디오 신호의 크기 측정 방법에 대한 연구는 2000대 중반부터 시작되어 ITU에서 오디오 신호 크기 측정에 대한 표준인 ITU-R BS. 1770-1을 2006년에 발표하였고, Gating 방식이 추가된 ITU-R BS. 1770-2이 2011년도에 발표되었다.
발표된 표준에서는 오디오 신호 크기 측정에 대한 방법과 True Peak 측정 방법만을 제시되었으며, 오디오 신호 크기 컨트롤에 대한 부분은 이루어지진 않았다. 현재까지도 오디오 신호 크기를 컨트롤하는 방법에 대한 부분은 표준화기 진행되지 않았다.
ITU-R에서 표준화된 오디오 신호 크기 측정 방법은 도 6에 도시된 바와 같은 LKFS(loudness, K weighted, relative to nominal full scale)를 통해 측정한다.
알고리즘의 첫 번째 모듈(Pre-filter)에서는 사람 머리에 의한 음향적 영향을 고려하기 위하여 2차 IIR 필터로서 구성된다.
도 7은 프리-필터(pre-filter)의 주파수 응답 특성에 대한 일 예를 나타내는 그래프이다.
필터의 주파수 특성은 도 7에 보이는 바와 같이 약 1kHz를 기준으로 1kHz 이하 영역을 제거하고 1kHz 이상의 영역에 대해서 통과 시킨다. 일반적으로 많이 사용되는 48kHz 데이터에 대한 필터 계수는 구형태의 머리 모델을 기반으로 ITU-R BS. 1770-1에서 제공되고 있다.
도 8은 RLB 필터의 주파수 응답 특성에 대한 일 예를 나타내는 그래프이다.
두 번째 모듈(RLB filter)에서는 사람의 청각적인 특성을 기반한 가중치 필터를 적용하게 된다. 이 필터는 도 8의 (가)와 같이 사람의 청각이 입력된 소리에 대한 주파수 영역에서 서로 다른 민감도를 갖는 특성을 기반하고 있다.
예를 들어, 도 8의 (가)에서 최소 레벨을 기준으로 250Hz에서의 약 20dB와 1kHz에서의 약 1dB가 동일한 오디오 사운드 크기로 사람에게 인지 된다는 것을 보여주고 있다. 그래서 사람의 청각을 고려하기 위한 필터응답은 도 8의 (나)와 같이 ISO 226에 정의된 동일 오디오 사운드 크기 윤곽선을 역으로 적용한 것과 유사한 필터 응답을 갖도록 대역별 가중치 필터가 설계되었다.
설계된 가중치 필터를 살펴보면 저주파 영역의 가중치는 감소시킨 반면 1kHz 이상의 영역은 저주파 영역 대비 상대적인 가중치가 높게 설계 되었다. 또한 가중치 필터를 단순화 시키기 위하여 약 1kHz이상 영역은 평평하게 설계되었다. RLB 가중치 필터는 2차 IIR 필터 구조를 가지며, ITU-R 문서에 48kHz 데이터에 대한 필터계수를 제공하고 있다.
가중치 필터를 통과한 결과는 도 6의 mean-square energy 모듈에서 다음의 수학식과 같이 변환된다.
수학식 1
Figure PCTKR2014002362-appb-M000001
가중치가 적용된 에너지를 다음의 수학식과 같이 각 채널의 에너지에 채널 별 가중치를 적용하여 합한 후 로그수식에 적용하여 데시벨로 변환한다. 아래 수식에 의해 얻어진 사운드 크기에 대한 단위는 LKFS(loudness, K weighted, relative to nominal full scale)를 사용한다.
수학식 2
Figure PCTKR2014002362-appb-M000002
수식에서 N은 채널 수이고, G는 채널에 대한 가중치이다.
이렇게 설계된 ITU 기반의 오디오 사운드 크기 측정 방법이 정확하게 설계 되었는지 검증하기 위해서는 0dB, 1kHz 사인 파형을 입력하였을 경우 소리 크기 측정 값이 -3.01 LKFS가 출력되어야 한다.
기존 오디오 신호 크기에 대한 연구는 크게 두 가지로 나눌 수 있다. 첫 번째는 ITU-R1770-1과 같이 사람이 청각적으로 인지하는 오디오 음량 레벨에 근접한 객관적 오디오 신호 크기 측정 알고리즘 개발이다.
두 번째로 기존에는 오디오 신호 크기가 비정규화되어 전송되었고, 이에 따라 우리가 듣는 오디오 파일 및 음원의 음량이 제각각 이어서 서로 다른 크기를 갖는 오디오 파일이 들어올 때 자동으로 오디오 신호 크기를 컨트롤하는 연구가 수행되었다.
각국에서 오디오 신호 크기에 대한 문제를 극복하기 위하여 ITU-1770-1/2를 기반으로 오디오 신호 크기를 측정하고, 이를 기준으로 오디오 신호 크기 정규화 기준 값 및 오차범위 제시하고 있다. 현재 일본은 적극적으로 이루어지고 있으나, 그 외의 나라는 아직 시작 단계이거나 상업광고와 같은 일부분에만 적용하고 있다.
즉 표준화 및 규제 법안에 포함된 내용은 정규화 기분과 오차범위, 적용 범위를 정의하고 있으나, 이러한 규격을 지키기 위한 방법을 제시하고 있지는 않다. 즉 꼭 이루어야 하는 목표만을 제시하였고, 방법에 대해서는 제시하지 않았다.
한편, 2011년 3월에 개정된 ITU-R 오디오 신호 크기 측정 방법에는 오디오 Gating 방법이 추가되었다. 오디오 Gating이란 오디오 음량이 낮은 부분은 제외하고 오디오 음량을 측정하기 위한 방법이다.
오디오 음량 측정 Gating을 위한 블럭은 한 주기로 하며, 이웃하는 블록과는 75%의 중첩이 이루어 진다. 또한 파일의 마지막에 블록사이즈를 만족하지 못하는 샘플에 대해서는 측정하지 않는다.
먼저 블록단위의 Mean square는 아래 수식과 같이 연산된다.
수학식 3
Figure PCTKR2014002362-appb-M000003
각 gated block 의 오디오 음량은 기존과 같은 수식 기반으로 다음과 같이 연산된다.
수학식 4
Figure PCTKR2014002362-appb-M000004
각 블록에 Gating이 적용될 경우 ITU-R 1770-2에서는 -70LKFS 이상의 신호에 대해서만 고려하여 Gating이 적용된 신호에 대한 LFKS를 다음 수식과 같이 측정한다.
수학식 5
Figure PCTKR2014002362-appb-M000005
개정된 방법에서는 기존에 사용되던 pre-filter와 RLB filter는 동일하게 사용되면, 알고리즘의 정확도 검증 방법 또한 동일하다.
상술한 내용을 참조할 때, 현재 까지의 표준화 및 규제 법안에 포함된 내용은 정규화 기준, 오차 범위, 적용 범위를 정의하고 있으나, 이러한 규격을 지키기 위한 방법에 대하여 명확하게 개시하고 있지 않다.
이에 따라, 후술할 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
또한, 후술할 본 발명의 제2 실시예에 따르면,실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
또한, 후술한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있다.
또한, 후술할 본 발명의 제4 실시 예에 따르면, 오디오 신호 크기의 정규화를 고려하여, 단말(TV, 스마트폰)에서의 새로운 오디오 컨트롤 기능을 제공할 수 있다.
도 9는 녹화 및 사전에 제작된 방송 프로그램에 대한 방송 시스템의 구조에 대한 일 예를 설명하기 위한 도면이다.
도 9를 참조하면, 현장에서 취득된 오디오 데이터는 Ingest 서버에 저장되고, 저장된 파일은 편집 시스템으로 전달된다. 편집 시스템에서는 잘 알려진 영상/음향 효과, 오디오 노이즈 제거, 영상/오디오 동기화 등 각 파트 별로 편집이 이루어진다.
파트 별 편집이 이루어진 데이터는 종합 편집시스템에서 최종적 가공이 이루어지고 주조정실에서 편집이 완료된 방송 프로그램을 송출하게 된다. 이러한 구조를 볼 때, 오디오 신호 크기 규제에 따른 녹화 및 사전에 제작된 방송 프로그램에 대한 오디오 신호 크기 정규화 작업은, 편집 시스템과 종합편집시스템에서 이루어질 수 있다.바람직하게는, 파일로 제작되는 단계에서는 편집 시스템에서 오디오 데이터를 독립적으로 컨트롤하므로 편집 시스템 후처리 작업으로 수행될 수 있다.
도 10은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 나타내는 도면이다.
기존에 녹화된 방송 프로그램 파일의 경우는, 저장된 파일을 분석하여 오디오 신호 크기 정규화가 이루어져야 한다. 이에 따라, 도 10을 참조하면, 디멀티플렉서(demultiplexer)는 기존에 녹화된 방송 프래그램 파일을 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S101).
그리고, 정규화 판단부는 오디오 데이터가 사전 정규화 되었는지 판단할 수 있다(S102). 여기서 정규화란, 상술한 도 5와 같이, 오디오 신호 크기를 표준화된 오디오 신호 크기 표준 규격에 따라 조절하여 정규화하는 것을 의미한다.
만약, 오디오 데이터에 사전 정규화가 수행되었다면(S102:Y), 정규화가 수행된 오디오 데이터를 저장 장치에 저장할 수 있다(S103).
만약, 오디오 데이터에 사전 정규화가 수행되지 않았다면(S102:N), 오디오 디코더는 오디오 데이터를 디코딩할 수 있다(S104). 그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S105). 그리고, 오디오 인코더는 정규화가 수행된 오디오 데이터를 인코딩할 수 있다(S106).
한편, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S107). 이에 따라 저장부는 오디오 신호 크기가 정규화된 오디오 데이터를 저장할 수 있다(S103).
저장부에 저장된 데이터는 송출실에 제공될 수 있다(S108).
여기서, 오디오 신호 크기 컨트롤러의 구체적인 동작에 대해서는 도 11 내지 12를 참조하여 구체적으로 설명하기로 한다.
한편, 도면에 도시된 점선 블록, 일 예로 S101 단계, S104, 단계, S106 단계, S107 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 오디오 데이터의 압축 여부에 따라 S104, S106 단계는 생략될 수 있다.
이러한, 본 발명의 제1 실시예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 음량 규격에 맞도록 변환하기 위한 오디오 음량을 컨트롤 가능하기 위하여 먼저 방송프로그램 제작단계에 대한 분석을 수행하고, 이를 기반으로 오디오 음량 규제에 따라 필수적인 오디오 음량 측정 및 컨트롤할 수 있다.
도 11은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시예를 구체적으로 설명하기 위한 도면이다. 도 12는 오디오 신호 크기를 조절하기 위한 Peek 값 기반의 Loudness Control Ratio 연산에 대한 기본 구조를 나타내는 도면이다. 이하, 도 11 내지 12를 설명함에 있어서, 도 10에서 설명한 부분에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 11을 참조하면, 컨트롤 정보(information)가 녹화된 방송프로그램을 컨트롤 하기 위해 제공될 수 있다.
먼저 세계 여러 나라가 규정 및 법안으로 정한 목표치 오디오 신호 크기(Target LKFS)값과 오디오 신호 크기 오차 범위가 제공될 수 있다. 일반적으로 미국/일본은 24LKFS(Target LKFS) +/- 2dB(오차 범위) 이고, 유럽은 23LKFS(Target LKFS) +/- 1dB(오차 범위)의 범위를 갖는다.
오디오 gating관련 부분은 ITU-R 1770-2에서 처음으로 언급된 부분으로 Overlap and shift 방식을 적용하여 블록별 LKFS를 측정하여 낮은 블록 LKFS를 갖는 것은 silence로 간주하고 이 분에 대한 평균값을 사용하지 않는 방식이다.
미국의 ATSC의 경우는 AC-3 오디오 시스템을 사용하고 있으면서 "dialnorm" 파라미터를 Metadata parameter에 저장하도록 되어있다. Dialnorm에는 Anchor element에 대한 청각적 오디오 신호 크기를 넣도록 되어 있으며, 즉 부분에는 reference point or element의 청각적 오디오 신호의 크기를 넣도록 되어 있다.
Anchor element는 현재 방송 프로그램의 중심이 되는 것에 대한 표준 오디오 신호 크기를 나타내는 것으로 방송프로그램은 Anchor element를 기준으로 최종 balancing이 이루어지게 된다. 또한 dialnorm에는 LKFS값이 저장되는데, 변수 공간이 5bits으로 -1~-31LKFS 값이 저장 가능하다.
한편, ITU-R 기반으로 오디오 신호 크기를 측정하기 위해서는 두 가지 필터를 적용해야 한다. 그러므로 측정된 LKFS와 Target LKFS 차이값을 LKFS 측정 수식으로 역산하여 오디오 신호 크기 변환 값을 추출해도 두개의 필터에 대한 영향이 있으므로 정확한 값을 얻을 수 없다.
이러한 문제점을 극복하기 위하여 본 발명의 제1 실시 예에 따르면, Peek 값을 이용한 방식을 설계하여 원하는 target LKFS에 맞는 오디오 신호 크기 변환 weight factor를 획득하는 알고리즘을 제공할 수 있다.
상술한 바와 같이, 입력된 오디오의 LKFS(original)와 Target LKFS만으로 정확한 loudness(LD) control ratio를 앞에서 설명된 이유에 의해 구할 수 없다.
따라서 본 발명의 제1 실시 예에 따르면, 두 개의 필터를 고려한 LD control ratio를 구하기 위하여 Peeking 방식을 사용하여 Peek 기반 control ratio를 연산할 수 있다. Peeking 방식이란 Peek 기반 control ratio를 이용하여 오디오 신호를 loudness control해서 Peeked LKFS를 획득하는 방식을 의미할 수 있다. 즉 오디오 신호 크기 컨트롤러는 입력된 오디오 데이터(S105-1), Peek weight(ex.0.9)(S105-2), 목표치 LKFS(S105-3) 및 LKFS 오차 범위(105-4)를 수신하여 오디오 신호 크기를 제어하기 위한 제어 비율(Loudness control ratio)을 연산하여(S105-5), LD control ratio를 산출(S105-6)할 수 있다. 구체적으로 입력된 오디오 데이터를 기반으로 산출된 입력된 오디오 데이터의 LKFS, 입력된 오디오 데이터에 Peek weight를 적용하여 산출된 Peek LKFS, 및 수신된 Target LKFS를 이용하여, Target LKFS에 근접하기 위한 wight factor(LD control ratio)을 연산할 수 있다.
수학식 6
Figure PCTKR2014002362-appb-M000006
그리고 오디오 신호 크기 컨트롤러는 산출된 제어 비율(LD control ratio)을 이용하여 입력된 오디오 신호 크기를 조절하여 정규화를 수행할 수 있다.
이러한, 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 13은 실시간 방송 시스템의 구조에 대한 일예를 나타내는 도면이다.
도 13을 참조하면, 라이브 방송 시스템은 녹화 방송 시스템과 많은 차이를 보인다. 중계 시스템에는 Ingest server가 포함되지 않으며, 파트별 편집 시스템을 따로 사용하지 않는다. 대신 라이브 방송 시스템에서는 중계 시스템이 이러한 기능을 통합하여 수행하게 된다.
중계 시스템에서는 영상/음향 편집 및 효과 등의 작업을 수행하며, 프로그램의 전체 제작을 관리하는 부조정실(종합편집실)과 상호 지시를 통해서 생중계되는 오디오 음향에 대한 컨트롤을 수행하게 된다.
이렇게 조율된 방송 프로그램은 주조정실에서 송출되게 된다. 또한 위성을 통해 수신되는 생중계 데이터는 오디오 음향에 대한 작업 및 자막 삽입 등의 추가 작업을 부조정실(종합편집실)에서 수행하여 주조정실을 통해 송출하게 된다. 그러므로 생중계 방송의 오디오음량을 정확히 컨트롤하기 위해 좀 더 많은 변수가 존재한다.
도 14는 오디오 신호의 크기를 제어하는 장치의 방법에 대한 제2 실시 예를 나타내는 도면이다.
도 14를 참조하면, 라이브 환경에서는 앞에서 설명한 것과 같이 마이크로 취득된 신호와, 위성으로 수신된 신호(이하, 라이브 방송 신호)를 고려할 수 있다. 디멀티플렉서(demultiplexer)는 라이브 방송 신호를 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S201). 그리고, 오디오 디코더는 선택된 오디오 데이터를 디코딩할 수 있다(S203).
그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S206). 구체적으로 오디오 신호 크기 컨트롤러는, 라이브 오디오 데이터의 오디오 신호 크기를 분석하여, 라이브 오디오 신호 크기를 컨트롤하여 정규화를 수행할 수 있다. 여기서 오디오 신호 크기 컨트롤러는, 사용자로부터 수동으로 입력된 오디오 신호 크기 제어 값을 이용하여 정규화를 수행할 수 있다(S205).
그리고, 오디오 인코더는 정규화가 수행된 오디오 데이터를 인코딩할 수 있다(S207). 그리고, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S208).
한편, 상술한 데이터 처리가 수행되면, 데이터는 송출실에 제공될 수 있다(S209).
여기서, 오디오 신호 크기 컨트롤러의 구체적인 동작에 대해서는 도 15를 참조하여 구체적으로 설명하기로 한다.
한편, 도면에 도시된 점선 블록, 일 예로 S201 단계, S203 단계, S205 단계, S207 단계, S208 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 입력 파일이 오디오 Raw 데이터인 경우는 오디오 디코딩이 필요하지 않고, 출력으로 오디오 Raw 파일을 요구할 경우 오디오 인코딩 모듈이 필요하지 않다. 신호가 스트리밍으로 전송될 때, 오디오 신호 크기 제어 시스템은 파일을 demuxing 한 후 오디오 데이터가 압축 비트스트림 인 경우, 오디오 신호로 복호화하고, Raw 데이터인 경우는 오디오 디코딩 블록을 Bypass 한다. 오디오 Raw 신호는 Live 오디오 신호를 자동으로 오디오 신호 크기 기준에 따라 조절하고 조절된 신호는 필요에 따라 오디오 인코딩과 파일 포맷팅을 수행하여 송출장치를 통해 방송되게 된다. 혹은 출력에서의 요구에 따라 오디오 Raw 파일이 출력가능하다.
도 15는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 구체적으로 설명하기 위한 도면이다. 이하, 도 15를 설명함에 있어서, 도 14에서 설명한 부분에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 15를 참조하면, 기존의 시스템과 달리 제안된 시스템에서는 오디오 신호 크기의 정규화와 관련하여(S206), 세 가지 모드가 가능한 구조가 특징이다. 첫 번째는 Manual Loudness 컨트롤 모드, 두 번째는 Half automatic Loudness 컨트롤 모드, 세 번째는 Automatic Loudness 컨트롤 모드이다. 각 모드는 독립적인 동작이 가능하며, 각 모드에서 동작하다가 중간에 다른 모드로 변환 가능하며, 모드 전환에 따른 두 모드 사이의 차이는 Mode Change Control에 의해 보상될 수 있다.
Manual Loudness 컨트롤 모드는, 사람(일 예로, 오디오 신호 편집자)이 입력된 오디오 신호 크기 제어를 위한 가중치를 수동으로 선택(일 예로, 오디오 신호 처리 장치에 구비된 다양한 버튼을 이용하여)하고, 선택된 가중치를 이용하여 입력된 오디오 신호를 스케일링하여 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. Half Automatic Loudness 컨트롤 모드는, 제어를 위한 가중치를 사람이 수동으로 선택한다는 점은 Manual Loudness 컨트롤 모드와 동일하나, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보(일 예로, 오디오 신호 크기를 스케일링하기 위한 가중치, 입력된 오디오 신호의 크기)를 사람이 이용할 수 있도록, 상술한 정보를 제공한다는 점에서 다를 수 있다. Automatic Loudness 컨트롤 모드는 사람의 수동 제어 없이 자동으로 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. 여기서 각 모드 사이를 전환은, 오디오 신호 처리 장치에 구비된 Half Automatic Loudness 컨트롤 모드 선택 버튼, Manual Loudness 컨트롤 모드 선택 버튼, Automatic Loudness 컨트롤 모드 선택 버튼을 통하여 수행될 수 있다. 또는 오디오 신호 처리 장치는, Loudness 컨트롤 모드 전환을 위한 한개의 모드 전환 버튼을 구비할 수 있고, 이 모드 전환 버튼이 선택되면, 각 모드 사이에 순차적으로 전환될 수 있다.
한편, 모드 전환에 따른 두 모드 사이의 차이는 Mode Change Control에 의해 보상될 수 있다. 일 예로, Half Automatic Loudness 컨트롤 모드에서 Automatic Loudness 컨트롤 모드로 전환되는 경우, Peek 가중치가 변경될 수 있고, 또는 도 22 내지 23에 설명된, 게이트 가중치 인터폴레이션할 필요가 있을 수 있다. 이 경우, Mode Change Control는 이러한 변화를 보상하는 동작을 수행할 수 있다.
또한, 도 15에서 실시간 입력 오디오 신호에 대해서는 목표치 오디오 신호 크기(Target LKFS)에 맞추기 위해 필요한 가중치는 상술한 Peeking 방식을 통해서 연산이 가능할 수 있다.
이러한, 본 발명의 제2 실시예에 따르면,실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 16은 제1 실시 예, 제2 실시 예의 최종 단에 Live LD control 단계가 추가된 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 본 발명의 제1 실시 예, 제2 실시 예에 따른 방법의 최종 단에 Live LD control 단계를 더 포함할 수 있다.
즉 상술한 바에 따르면, 파일/Local 방송 프로그램은 Local LD Control(S105)을 통해 저장부에 저장되었다가(S103), 송출하는 데 사용될 수 있다. 또한 상술한 바에 따르면, Live 방송 프로그램은 Live LD Control(S206)을 통해 실시간 처리하여 송출될 수 있다.
다만, 방송국의 입장에서는, 규제에 대비하기 위하여, 최종 단에 Live LD Control(S210)을 더 수행할 수 있다. 즉 방송국의 입장에서는, 앞 단에서 잘못 입력된 방송 프로그램이 전달된다 하더라도 최종 단에서 걸러줄 수 있도록 Live LD Control(S210)을 더 둘 수 있다. 이 경우, Live LD Control(S210)은, Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드 또는 Automatic Loudness 컨트롤 모드를 이용할 수 있다. 다만, 바람직하게는 24시간 항상 자동으로 처리될 수 있도록 Automatic Loudness 컨트롤 모드가 이용될 수 있다.
도 17은 오디오 신호의 크기 제어에 따른 음질 열화를 보상하기 위한 방법에 대한 제3 실시 예를 나타내는 도면이다.
오디오 신호 크기를 컨트롤하는 방법은 상술한 바와 같이, 입력되는 데이터의 조건에 따라 다양하게 이루어 질 수 있다. 다만, 오디오 신호 크기를 Target LKFS와 오차범위에 맞추게 되면 오디오 신호의 구성이 평평한 느낌이 강해질 수 있다.
이는 오디오 신호 크기의 정규화에 따른 역효과 이다. 오디오 신호 크기 정규화의 목적을 달성하면서, 정규화에 의한 역효과를 해결해야 오디오 정규화의 파급력과 사용자의 만족도가 향상 될 수 있다.
이에 따라, 본 발명의 제3 실시예에 따르면, 상술한 역효과를 보상하기 위한 청각적 열화 보상 모듈을 더 구비할 수 있다. 즉 도 17을 참조하면, 디멀티플렉서(demultiplexer)는 기존에 녹화된 방송 프래그램 데이터 또는 라이브 방송 프로그램 데이터를 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S301).
그리고, 정규화 판단부는 오디오 데이터가 사전 정규화 되었는지 판단할 수 있다(S302).
만약, 오디오 데이터에 사전 정규화가 수행되었다면(S302:Y), 정규화가 수행된 오디오 데이터에 대한 이후 절차를 진행할 수 있다(S303).
만약, 오디오 데이터에 사전 정규화가 수행되지 않았다면(S302:N), 오디오 디코더는 오디오 데이터를 디코딩할 수 있다(S304). 그리고, Live Audi Mixing&EQ와 같은 편집자 컨트롤이 수행될 수 있다.(S305). 그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S306).
그리고, 청각적 열화 보상 모듈은, 오디소 신호 크기 컨트롤러에서 수행된 정규화에 따른 역효과를 보상할 수 있다(S307). 그리고, 오디오 인코더는 청각적 열화 보상이 수행된 오디오 데이터를 인코딩할 수 있다(S308).
그리고, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S309).
한편, 도면에 도시된 점선 블록, 일 예로 S301 단계, S304, 단계, S308 단계, S309 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 오디오 데이터의 압축 여부에 따라 S304, S308 단계는 생략될 수 있다.
이러한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있다.
한편, 상술한 방법에 따른 오디오 신호 크기 정규화는 디지털 방송 소비자에게 상당한 청취 환경의 변화를 불러 일으킨다. 또한 오디오 신호 크기가 정규화 됨으로써 디지털 방송 단말기에서 새로 요구되는 서비스/기능들이 생성될 수 있다. 즉 디지털 방송 단말기에서 방송 오디오 음량 관련 기능들을 제공할 수 있다.
도 18은 단말기에서 오디오 신호의 크기를 제어하는 방법에 대한 제4 실시 예를 나타내는 도면이다. 이하, 도 18를 설명함에 있어서, 도 17에서 설명한 부분(정규화된 오디오 신호의 전송과 관련된 처리 부분(S301 ~ S3010)에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 18을 참조하면, 단말기는 정규화된 오디오 신호를 수신하고(S401), 수신된 오디오 신호를 처리하여(S402), 출력할 수 있다(S403). 여기서 오디오 신호 처리(S402)는, 일 예로, 사용자 맞춤형으로 제어될 수 있다. 즉 디지털 방송에서는 방송에 대한 정보가 사용자에게 제공되고, 사용자가 지속적으로 단말기를 사용할 경우 사용자의 사용 정보 누적되게 된다. 이러한 정보를 바탕으로 사용자 정보 분석이 이루어 져서 사용자에게 맞춤형 오디오 음향 서비스를 할 수 있다. 또한 사용자 설정 정보에 의해 방송 정보 기반 사용자 음향 서비스가 바로 적용이 가능할 수 있다.
도 19는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치의 오디오 신호 크기 제어 방법을 구체적으로 나타내는 흐름도이다. 도 19를 참조하면, 먼저 오디오 신호를 입력받을 수 있다(s501). 여기서 입력된 오디오 신호는, 일 예로, 도 10 내지 12에 도시된 디먹스, 디코딩 등의 동작(생략가능한 동작)에 따른 오디오 신호일 수 있다. 이러한, 오디오 신호는, 다양한 파형을 가질 수 있고, 일 예로, 도 5의 전단에 도시된(즉 정규화 되기 전) 형태의 파형을 갖는 오디오 신호일 수 있다.
이 경우, 오디오 신호 크기 측정부는, 도 6 내지 8에서 설명된 오디오 신호 크기 측정 방법을 이용하여 입력 오디오 신호의 LKFS(Original LKFS)를 측정할 수 있다(S503).
또한, 오디오 신호 크기 측정부는, 초기 Peek LKFS를 측정(S502)할 수 있다. 여기서 초기 Peek LKFS는, 기 설정된 초기 Peek 가중치(initial Peek weight)를 이용하여 입력된 오디오 신호를 scaling하고, scaling된 오디오 신호를 기초로 LKFS를 측정함으로써, 측정될 수 있다.
여기서 기 설정된 초기 Peek 가중치(initial Peek weight)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계　당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
한편, 가중치 산출부는, 처음에는(S505:Y), 목표치 LKFS(Target LKFS)(S504), 측정된 초기 Peek LKFS(initial Peek weight)(S502), 측정된 입력 오디오 신호의 LKFS(Original LKFS)(S503)를 이용하여, 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다(S506). 구체적으로, 가중치 산출부는, 하기의 수학식 7을 이용하여 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다.
수학식 7
Figure PCTKR2014002362-appb-M000007
여기서 오디오 신호 크기 제어 비율(Loudness control ratio)은 diff1/diff2일 수 있다.
그리고, 가중치 산출부는, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 하기의 수학식 8에 적용하여 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다(S507).
수학식 8
Figure PCTKR2014002362-appb-M000008
여기서 new_Peek_weight는 새로운 Peek 가중치(New Peek weight)를 의미하고, previous_Peek_weight는 new_Peek_weight 산출 이전에 이용한 Peek 가중치를 의미하며, new_weight는 수학식 8에서 산출된 가중치를 의미한다. 일 예로, 상술한 수학식 7 내지 8에 따르면, 처음에는(S505:Y), 초기 Peek 가중치(initial Peek weight)와 new weight를 곱하여, 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다.
한편, 수학식 8에 따르면, original LKFS)와 Peek LKFS의 차이가 original LKFS와 Target LKFS의 차이보다 작은 경우는, 이전 Peek 가중치를 감소시켜 새로운 Peek 가중치를 산출하고, original LKFS와 Peek LKFS의 차이가 original LKFS와 Target LKFS의 차이보다 큰 경우는, 이전 Peek 가중치를 증가시켜 새로운 Peek 가중치를 산출할 수 있다.
이러한, 수학식 8에서는, 감소를 위한 가중치는 0.9, 증가를 위한 가중치는 1.1이 이용하였으나, 이러한 가중치 값에 한정되는 것은 아니고, 다양한 가중치 값이 이용될 수 있다. 일 예로, 보다 세밀한 오디오 신호 크기 조절을 위하여, 감소를 위한 가중치는 0.99, 증가를 위한 가중치는 1.01이 이용될 수 있다.
한편, 여기서 목표치 LKFS(Target LKFS)는, 세계 여러 나라가 규정 및 법안으로 정한 목표치 LKFS(Target LKFS)에 따라 달라질 수 있다. 일 예로, 도 5의 후단에 도시된(즉 정규화된 후)바와 같이, 목표치 LKFS(Target LKFS)는 ?24LKFS일 수 있다. 이러한 목표치 LKFS(Target LKFS)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계　당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
한편, 오디오 신호 크기 제어부는, 상술한 동작에 의하여 산출된 새로운 Peek 가중치(New Peek weight)를 이용하여 오디오 신호 크기를 제어할 수 있다. 구체적으로 오디오 신호 크기 제어부는, 산출된 새로운 Peek 가중치(New Peek weight)를 이용하여 입력된 오디오 신호(S501)를 scaling함으로써, 오디오 신호 크기를 제어할 수 있다(S508).
그리고, 오디오 신호 크기 측정부는, 새로운 Peek 가중치(New Peek weight)에 따라 오디오 신호 크기가 제어된 오디오 신호(S508)의 LKFS(New Peek LKFS)를 측정할 수 있다(S509).
한편, 오디오 신호 크기 제어부는, 목표치 LKFS(Target LKFS)(S504)와 측정된 새로운 Peek LKFS(New Peek LKFS)(S509)를 비교하여, LKFS 오차를 산출할 수 있다(S511).
그리고, 오디오 신호 크기 제어부는, LKFS 오차(D)와 기 설정된 오차 범위(T)를 비교할 수 있다(S512). 일 예로, 목표치 LKFS(Target LKFS)와 오디오 신호 크기 오차 범위가 24LKFS(Target LKFS) +/- 2dB(오차 범위)인 경우, 목표치 LKFS(Target LKFS)와 새로운 Peek LKFS(New Peek LKFS)의 차이가 오차 범위 보다 큰지, 작은지 여부를 판단할 수 있다. 이러한 기 설정된 오차 범위(LKFS 오차 범위)(S510)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계　당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
만약, 작은 경우(S513:Y), 오디오 신호 크기 제어부는, 새로운 Peek 가중치(New Peek weight)에 따라 오디오 신호 크기가 제어된 오디오 신호를 출력할 수 있다.
만약, 큰 경우(S513:N), 오디오 신호 크기 제어부는, 상술한 제어 동작을 반복하도록 제어할 수 있다. 여기서, 상술한 제어 동작을 반복하는 경우, 가중치 산출부는, 처음이 아닌 바,(S505:N), 목표치 LKFS(Target LKFS)(S504), 측정된 새로운 Peek LKFS(New Peek LKFS)(S509), 측정된 Original LKFS(S503)를 이용하여, 새로운 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다(S506). 이 경우, 가중치 산출부는, 상술한 수학식 7을 이용하여 Loudness control ratio를 산출할 수 있다. 또한, 가중치 산출부는, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 상술한 수학식 8에 적용하여 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다(S507). 즉, 오디오 신호의 크기가 목표치 LKFS(Target LKFS) 및 오차 범위를 만족할 때까지, 상술한 동작은 반복될 수 있다.
한편, 본 발명의 제1 실시 예에 따른, 입력 오디오 신호(S501)는, 사전에 제작된 방송 프로그램에 대한 오디오 신호인 바, 방송 프로그램의 시작부터 종료까지에 대한 오디오 신호일 수 있다. 이에 따라, 본 발명의 제1 실시 예에 따르면, 방송 프로그램의 시작부터 종료까지에 대한 오디오 신호의 오디오 신호 크기(Original LKFS)를 기반으로 오디오 신호 크기를 제어할 수 있다.
한편, 출력된 오디오 신호(S513)에는, 도 10 내지 12에 도시된, 인코딩 동작, 멀티플렉싱 동작(생략 가능) 등이 수행될 수 있다.
이러한, 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
상술한, 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 자동으로 제어할 수 있다.
도 20은 ITU-R 1770-2에서 언급된 오디오 Gating 방식이 추가된 오디오 신호 크기 측정 방법을 설명하기 위한 도면이다. 여기서 오디오 Gating 방식은, 도 20과 같이 Gate Block 1에 대한 LKFS를 측정하고, Overlap and shift 방식을 적용하여, Gate Block 2에 대한 LKFS를 측정하며, Overlap and shift 방식을 반복하여 Gate Block 별 LKFS를 측정하고, 측정된 Gate Block의 LKFS가 임계 LKFS(ITU-R 1770-2에서는 -70LKFS) 이하이면 묵음으로 처리하여, Gating이 적용된 오디오 신호에 대한 오디오 신호 크기 측정을 수행할 수 있다.
여기서, 상술한 Gate Block에 대해서, ITU-R 1770-2에서는, Gate Block은 0.4s의 Gate 사이즈를 갖고, 75% Overlap 되는 구조를 갖고 있다.
한편, 실시간/라이브 환경에서는, 오디오 신호가 각각의 Gate Block 별로 취득되는 바, 각각의 Gate Block 별 LKFS가, 상술한 수학식 4 내지 5를 이용하여 측정되고, 각각의 Gate Block 별로 오디오 신호 크기를 제어하기 위한 새로운 Peek 가중치(new Peek weight)가, 상술한 도 19의 방법을 이용하여 산출될 수 있다. 다만, 각각의 Gate Block 별로 산출된 새로운 Peek 가중치(new Peek weight)를 이용하여, 각각의 Gate Block 별로 오디오 신호 크기를 제어하게 되면, 서로 이웃하는 Gate Block 간의 가중치 차이에 의하여, 불연속적인 사운드가 발생할 수 있다.
이러한 문제점을 해결하기 위하여 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법은 다음과 같은 처리를 수행할 수 있다.
도 21은 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하기 위하여 게이트 핸드오버를 설명하는 도면이다. 도 21을 참조하면, Gate Block의 non-overlap 되는 영역의 Gate size는, 일 예로 4800 sample일 수 있다. 또한, AAC, AC-3등과 같은 코덱을 이용하는 경우, 한 번에 받는 데이터 사이즈를 결정하는 한 개의 프레임 사이즈는, 1024 sample일 수 있다. 이 경우, 한 개의 프레임이 2개의 Gate block에 걸치는, 게이트 핸드 오버(Gate hand over)가 발생할 수 있다.
도 22는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하는 도면이다. 도 22를 참조하면, 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법은, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여 오디오 신호 크기를 제어할 수 있다. 여기서 게이트 가중치는, 각각의 Gate Block에 대하여 상술한 도 19의 방법을 이용하여 산출된 새로운 Peek 가중치(new Peek weight)일 수 있다.
이러한, 본 발명의 제5 실시 예에 따르면, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않는다. 즉, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임에서 데이터가 수신되는 시점에는, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임이 걸치는 2 개의 Gate block에 대한 게이트 가중치를 미리 산출할 수 있기 때문에, 미리 산출된 2 개의 Gate block에 대한 게이트 가중치를 이용하여, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임 시점부터 지연 없이 게이트 가중치를 인터폴레이션할 수 있기 때문이다.
한편, 본 발명의 제5 실시 예에 따르면, 게이트 가중치를 인터폴레이션(interpolation)하기 위하여 다양한 인터폴레이션(interpolation) 방법을 사용할 수 있다. 일 예로, 본 선형 인터폴레이션(linear interpolation)을 사용할 수 있다. 이에 대해서는 도 23을 참조하여 구체적으로 설명하기로 한다.
도 23은 본 발명의 제5 실시 예에 따른 인터폴레이션의 일 예인 선형 인터폴레이션(linear interpolation)을 설명하는 도면이다. 도 23을 참조하면, 하기의 수학식과 같은 선형 인터폴레이션(linear interpolation)을 사용할 수 있다.
수학식 9
Figure PCTKR2014002362-appb-M000009
수학식 9에서, WG1는 Gate Block 1의 게이트 가중치, WG2는 Gate Block 2의 게이트 가중치, i는 인터폴레이션할 게이트 가중치의 개수, InterFrame은 인터폴레이션 시작 프레임부터 종류 프레임까지의 프레임 개수를 의미한다.
일 예로, InterFrame의 개수를 3으로하여, 상기 수학식 9에 적용하면, 도 22에서 도시된 바와 같이, 2 개의 프레임에 적용될 게이트 가중치(빨간색으로 도시된 가중치 : W1, W2)가 산출될 수 있다. 즉, InterFrame의 개수의 선택적으로 조절하여, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
한편, 상술한 본 발명의 제5 실시 예에 따른, 게이트 가중치 인터폴레이션 방법은, 게이트 가중치를 이용하여 오디오 신호 크기를 제어하는 방법에 모두 적용될 수 있다. 일 예로, 기존에 녹화된 방송 프로그램에 적용되어 오디오 신호 크기를 제어할 수 있고, 라이브 방송 프로그램에 적용되어 오디오 신호 크기를 제어할 수 있다.
또한, 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
이러한, 본 발명의 제5 실시 예에 따르면, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않도록 할 수 있다.
또한, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
도 24는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보의 일 예를 나타내는 도면이다. 여기서 Half Automatic Loudness 컨트롤 모드는, 제어를 위한 가중치를 사람이 수동으로 선택한다는 점은 Manual Loudness 컨트롤 모드와 동일하나, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보를 사람이 이용할 수 있도록, 상술한 정보를 제공한다는 점에서 다를 수 있다.
이러한 Half Automatic Loudness 컨트롤 모드에서, 제공되는 오디오 신호 크기 제어를 위한 정보는, 도 24에 도시된 바와 같이, Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603), played LKFS(604), Remained LKFS(605), Recommended Control Factor(606)중 적어도 하나를 포함할 수 있다.
여기서 Momentary LKFS(601)는 게이트 블록에 입력된 오디오 신호에 대한 LKFS(일 예로, 도 20과 같이 0.4S동안 입력된 오디오 신호에 대한 LKFS), short term(3s)는 LKFS(602)는 3S 동안 입력된 오디오 신호에 대한 LKFS, integrated LKFS(603)는 현재까지 입력된 오디오 신호에 대한 LKFS, played LKFS(604)는 현재까지 출력된 오디오 신호에 대한 LKFS, Remained LKFS(605)는 목표치 LKFS 대비 played LKFS(604)의 부족하거나 초과한 LKFS, Recommended Control Factor(606)는 Remained LKFS(605)를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치일 수 있다.
이러한, Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603)는 상술한 수학식 4 내지 5를 이용하여 측정될 수 있다.
한편, played LKFS(604)는 출력된 오디오 신호(즉 상술한 도 22 내지 23의 동작에 따라, 오디오 신호 크기가 제어되어 오디오 재생 장치에 출력될 수 있다.), 즉 오디오 신호 크기가 제어된 오디오 신호라는 점에서, 오디오 신호 크기가 제어되지 않은 입력 오디오 신호에 대한 LKFS인 integrated LKFS(603)와 상이할 수 있다.
이러한, played LKFS(604)는 하기의 수학식 10을 이용하여 산출될 수 있다.
수학식 10
Figure PCTKR2014002362-appb-M000010
여기서, x는 LKFS 측정 알고리즘에 정의된 2개의 필터를 통과한 신호에 대해서 현재까지 출력된 오디오 신호, M은 Gate Block의 sample 개수, N은 현재까지 오디오 신호가 입력된 Gate Block의 개수이다.
즉, 도 20을 참조하면, 실시간/라이브 환경에서는, 매 번 Gate Block 마다 오디오 신호가 입력되므로, 수학식 10과 같이, 현재까지의 출력된 오디오 신호의 평균(played_mean)을 지속적으로 연산해야 한다. 이에 따라, 평균(played_mean)이 얻어지면 ITU-R 1770-2에 언급된 수식에 적용하여 played LKFS(604)를 측정할 수 있다.
한편, 상술한 수학식 10과 같이 계산할 경우, 오디오 신호에 대한 데이터가 많아지면, N값이 상당히 커지므로, fixed-point 프로세서의 경우, previous_Mean 과 N-1의 곱의 결과가 프로세서 범위를 초과할 수 있다. 또한, floating point 프로세서에서도 상당한 큰 값이 될 수 있다. 프로세서의 처리 및 메모리의 저장 용량에 부담이 생길 수 있다.
이러한 문제점을 보안하기 위하여 본 발명의 일 실시 예에 따르면, 하기의 수학식 11과 같이, N을 곱하는 방식이 아닌, N을 나누는 방식을 통해서, 현재까지 출력된 오디오 신호에 대한 평균(present_mean)을 산출할 수 있다. 이 경우, 산출된 present_mean을 상술한 수학식 10의 played_mean에 적용함으로써, played LKFS(604)를 측정할 수 있다. 이 경우, 프로세서의 처리 및 메모리의 저장 용량에 부담을 덜 수 있다.
수학식 11
Figure PCTKR2014002362-appb-M000011
도 25는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보 중 Recommended control factor를 산출하는 방법을 나타내는 도면이다. 도 25를 참조하면, 하기의 수학식 12를 이용하여 Remained LKFS(605)를 측정하고, 측정된 Remained LKFS(605)를 이용하여 Recommended Control Factor(606)를 산출할 수 있다.
수학식 12
Figure PCTKR2014002362-appb-M000012
여기서, Remained LKFS(605)는, played LKFS(604), Taget LKFS(607), 총 출력될 오디오 신호의 시간(Total Play Time(Ts))(608), 현재 출력된 오디오 신호의 시간(Played Time(Ps))(609)를 이용하여 산출될 수 있다. 이러한 수학식 12를 참조하면, Remained LKFS(605)는 목표치 LKFS 대비 played LKFS(604)의 부족하거나 초과한 LKFS를 의미할 수 있다.
Recommended Control Factor(606)는 Remained LKFS(605)를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치일 수 있다. 즉 Remained LKFS(605)는, 목표치 LKFS(607) 대비 played LKFS(604)의 부족하거나 초과한 LKFS를 의미하는 바, 가중치 산출부는, Remained LKFS(605)를 이용하여, 총 출력될 오디오 신호의 오디오 신호 크기가 목표치 LKFS(607)가 되기 위한 가중치를 산출할 수 있다.
한편, 상술한 Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603), played LKFS(604), Remained LKFS(605), Recommended Control Factor(606)등과 같은, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보는, 오디오 신호 크기 제어 장치에 구비된 디스플레이 화면을 통하여 제공될 수 있다.
이러한, 본 발명의 실시 예에 따르면, 오디오 신호 크기 제어에 필요한 정보를 제공함으로써, 실시간/라이브 환경에서 사용자가 보다 쉽게 오디오 신호 크기를 제어할 수 있다.
도 26은 본 발명의 제2 실시 예의 Automatic Loudness 컨트롤 모드에서 오디오 신호 크기 제어 방법을 나타내는 도면이다. 여기서 Automatic Loudness 컨트롤 모드는 사람의 수동 제어 없이 자동으로 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. 이러한, Automatic Loudness 컨트롤 모드에서는, 각 Gate Block 별로 적용되어야 하는 게이트 가중치를 자동으로 산출하여야 한다.
이를 위해, 본 발명의 일 실시 예에 따른, Automatic Loudness 컨트롤 모드에서는, 가중치 산출부는 각각의 Gate Block 별로 실시간 취득된 입력 오디오 신호의 크기(Original LKFS), 각각의 Gate Block 별로 실시간 취득된 입력 오디오 신호에 Peek 가중치로 스케일링한 오디오 신호의 크기(Peek LKFS), 입력된 오디오 신호 크기(Original LKFS)를 매핑 커브에 적용하여 산출된 Mapped LKFS를 이용하여, Gate 별로 오디오 신호를 스케일링하기 위한 게이트 가중치를 자동으로 산출하고, 오디오 신호 크기 제어부는 산출된 게이트 가중치를 이용하여 오디오 신호 크기를 제어할 수 있다.
여기서, 매핑 커브는, 오디오 신호의 시작부터 끝까지에 대해 입력된 전체 오디오 신호의 오디오 신호 크기를 목표치 오디오 신호의 크기(Target LKFS)(일 예로, -24LKFS)가 되도록 하면서, 출력되는 오디오 신호의 전체적인 크기 편차는 유지하도록 한 커브일 수 있다. 즉, 입력된 전체 오디오 신호의 오디오 신호 크기가 목표치 오디오 신호의 크기(Target LKFS)(일 예로, -24LKFS)가 되도록 하는 정규화 작업이 수행되면, 각각의 Gate Block 별로 오디오 신호 크기가 작은 Block은 크기가 커지고, 크기가 큰 Block은 크기가 작아지는 바, 사람의 귀에 전달되는 사운드 크기의 편차가 작아져서 문제가 될 수 있다. 이에 따라, 본 발명의 일 실시 예에 따르면, 출력되는 오디오 신호의 전체적인 크기 편차를 유지하도록 하는 매핑 커브를 이용함으로써, 사람의 귀에 전달되는 사운드 크기의 편차를 유지할 수 있다.
한편, 가중치 산출부는 상술한 수학식 7의 Target LKFS에 Mapped LKFS를 적용하여 오디오 신호 크기 제어 비율(Loudness control ratio)인 diff1/diff2을 산출하고, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 수학식 8에 적용하여 게이트 가중치(New Peek weight)를 산출할 수 있다.
그리고, 오디오 신호 크기 제어부는, 각각의 Gate Block 별로 산출된 오디오 신호를 스케일링하기 위한 게이트 가중치를 이용하여 오디오 신호 크기를 제어할 수 있다. 이러한 동작에 대한 구체적인 설명의 도 19에서 상술하였는 바, 생략하기로 한다.
도 27은 도 26에 따른 매핑 오디오 신호 크기(mapped LKFS)를 산출하기 위한 매핑 커브(mapping curve)를 설계하기 위한 방법을 나타내는 도면이다. 여기서 매핑 커브(mapping curve)는 각각의 Gate Block 별로 입력된 오디오 신호의 크기(Original LKFS)와 매핑 오디오 신호 크기(mapped LKFS)와의 관계를 나타내는 커브이다. 도 27(a)를 참조하면, 매핑 커브(mapping curve)를 설계하기 위하여 주요 LKFS 영역과, 비주요 LKFS 영역(Low LKFS region)을 분리하여 매핑 커브(mapping curve)를 설계할 수 있다.
여기서, 비주요 LKFS 영역(Low LKFS region)은, 사람의 귀에 작게 전달되는 입력 오디오 신호 크기가 기 설정된 값보다 작은 LKFS 영역일 수 있고, 주요 LKFS 영역은, 사람의 귀에 크게 전달되는 입력 오디오 신호 크기가 기 설정된 값보다 큰 LKFS 영역일 수 있다.
즉, 도 27(b)를 참조하면, 주요 LKFS 영역은 variable weight를 기반으로 mapping curve를 설계하고, 비주요 LKFS 영역은 선형의 형태로 mapping curve를 설계할 수 있다.
여기서, 주요 LKFS 영역에 대한 mapping curve는 하기의 수학식 13을 이용하여 설계될 수 있다.
수학식 13
Figure PCTKR2014002362-appb-M000013
여기서, iLKFS는 게이트 별로 입력되는 오디오 신호의 크기(original LKFS)이고, oLKFS는 게이트별로 매핑된 오디오 신호 크기(mapped LKFS)이며, w은 가중치 이다. 이에 따라, 주요 LKFS region에 대한 variable mapping curve 생성 할 수 있다. 이러한, mapping curve는 mapping curve control을 통해 조절 가능할 수 있다.
이러한, 본 발명의 일 실시 예에 따르면, 입력된 오디오 신호에 매핑 커브를 이용하여 정규화하여 출력함으로써, 정규화되어 출력되는 오디오 신호가 입력된 오디오 신호의 크기 편차를 유지하도록 할 수 있고, 이에 따라, 사람의 귀에 전달되는 사운드 크기의 편차를 유지할 수 있다.
도 28 내지 30은 입력 오디오 신호의 파형과 정규화된 오디오 신호의 파형을 비교한 도면이다.
도 28(a)는 pop의 입력 오디오 신호의 파형, 도 28(b)는 pop의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 28를 참조하면, 입력 오디오 신호의 크기는 -22.23 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -22.72 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
도 29(a)는 Kpop의 입력 오디오 신호의 파형, 도 29(b)는 Kpop의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 29를 참조하면, 입력 오디오 신호의 크기는 -8.9 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -23.28 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
도 30(a)는 classic의 입력 오디오 신호의 파형, 도 30(b)는 classic의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 30을 참조하면, 입력 오디오 신호의 크기는 -26 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -25.34 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
한편, 상술한 본 발명의 다양한 실시 예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (40)

  1. 입력되는 오디오 신호의 크기를 측정하는 단계;
    상기 측정된 원본 오디오 신호 크기에 Peek 가중치를 적용하여 Peek 오디오 신호 크기를 구하는 단계;
    상기 원본 오디오 신호의 크기와 상기 Peek 오디오 신호 크기를 이용하여 오디오 신호의 크기를 조절하기 위한 제어 비(control ratio)를 구하는 단계; 및
    상기 구해진 제어 비에 따라 입력되는 오디오 신호의 크기를 조절하는 단계를 포함하는 오디오 신호 크기 제어 방법.
  2. 제1항에 있어서,
    상기 제어 비에 따라 조정된 오디오 신호의 크기가 목표 오디오 신호 크기의 오차 범위 내에 존재하는지 여부를 확인하는 단계를 더 포함하는 오디오 신호 크기 제어 방법.
  3. 제2항에 있어서,
    상기 제어 비에 따라 조정된 오디오 신호의 크기가 상기 오차 범위를 벗어나는 경우,
    상기 Peek 오디오 신호 크기를 상기 제어 비에 따라 조정된 오디오 신호의 크기로 하여 상기 제어 비를 재 계산하는 단계를 더 포함하는 오디오 신호 크기 제어 방법.
  4. 제3항에 있어서,
    상기 제어 비에 따라 조정된 오디오 신호의 크기가 상기 오차 범위 내에 존재할 때까지, 상기 제어 비를 재 계산하는 단계가 반복되는 오디오 신호 크기 제어 방법.
  5. 제2항에 있어서,
    상기 오차 범위는 사용자에 의해 설정 가능한 오디오 신호 크기 제어 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록 매체.
  7. 입력되는 오디오 신호의 크기를 측정하는 크기측정부;
    상기 측정된 원본 오디오 신호 크기에 Peek 가중치를 적용하여 Peek 오디오 신호 크기를 구하는 가중치적용부;
    상기 원본 오디오 신호의 크기와 상기 Peek 오디오 신호 크기를 이용하여 오디오 신호의 크기를 조절하기 위한 제어 비를 구하는 제어비 계산부; 및
    상기 구해진 제어 비에 따라 입력되는 오디오 신호의 크기를 조절하는 제어부를 포함하는 오디오 신호 크기 제어 장치.
  8. 제7항에 있어서, 상기 제어부는
    상기 제어 비에 따라 조정된 오디오 신호의 크기가 목표 오디오 신호 크기의 오차 범위 내에 존재하는지 여부를 확인하고,
    상기 제어 비에 따라 조정된 오디오 신호의 크기가 상기 오차 범위를 벗어나는 경우 상기 Peek 오디오 신호 크기를 상기 제어 비에 따라 조정된 오디오 신호의 크기로 하여 상기 제어 비를 재 계산하도록 상기 제어비 계산부를 제어하는오디오 신호 크기 제어 장치.
  9. 제8항에 있어서, 상기 제어부는
    상기 제어 비에 따라 조정된 오디오 신호의 크기가 상기 오차 범위 내에 존재할 때까지, 상기 제어 비를 반복하여 재 계산하도록 상기 제어비 계산부를 제어하는 오디오 신호 크기 제어 장치.
  10. 제8항에 있어서,
    상기 오차 범위는 사용자에 의해 설정 가능한 오디오 신호 크기 제어 장치.
  11. 오디오 신호 크기 제어 방법에 있어서,
    입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하는 단계;
    기 설정된 초기 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하고, 상기 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 단계; 및
    상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 및 목표치 오디오 신호 크기를 이용하여, 상기 입력된 오디오 신호의 크기를 제어하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 제어하는 단계는,
    '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하는 단계;
    상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하는 단계;
    상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 단계; 및
    상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 제3 차이를 기 설정된 오차 범위와 비교하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  14. 제13항에 있어서,
    상기 비교 결과, 상기 제3 차이가 상기 기 설정된 오차 범위보다 크면, 상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기를 상기 제2 오디오 신호 크기로 하여, 상기 입력된 오디오 신호의 크기를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  15. 오디오 신호 크기 제어 장치에 있어서,
    입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하고, 상기 입력된 오디오 신호에 기 설정된 초기 Peek 가중치를 적용하여 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 오디오 신호 크기 측정부; 및
    상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 및 목표치 오디오 신호 크기를 이용하여, 상기 입력된 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부;를 포함하는 오디오 신호 크기 제어 장치.
  16. 제15항에 있어서,
    '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하고,
    상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하며,
    상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 가중치 산출부;를 더 포함하고,
    상기 오디오 신호 크기 제어부는,
    상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하여 상기 입력된 오디오 신호의 크기를 제어하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  17. 제16항에 있어서,
    상기 오디오 신호 크기 제어부는,
    상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기와 상기 목표치 오디오 신호 크기의 제3 차이를 기 설정된 오차 범위와 비교하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  18. 제17항에 있어서,
    상기 오디오 신호 크기 제어부는,
    상기 비교 결과, 상기 제3 차이가 상기 기 설정된 오차 범위보다 크면, 상기 산출된 새로운 Peek 가중치를 이용하여 스케일링된 오디오 신호의 오디오 신호 크기를 상기 제2 오디오 신호 크기로 하여, 상기 입력된 오디오 신호의 크기를 제어하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  19. 오디오 신호 크기 제어 방법에 있어서,
    기 정의된 게이트 사이즈를 갖는 제1 게이트 블록, 제2 게이트 블록을 입력된 오디오 신호에 적용하여, 상기 제1 게이트 블록에 대응하는 제1 오디오 신호의 크기 상기 제2 게이트 블록에 대응하는 제2 오디오 신호의 크기를 측정하는 단계;
    상기 측정된 제1 오디오 신호의 크기를 이용하여 상기 제1 게이트 블록에 대응하는 제1 게이트 가중치를 산출하고, 상기 측정된 제2 오디오 신호의 크기를 이용하여 상기 제2 게이트 블록에 대응하는 제2 게이트 가중치를 산출하는 단계;
    상기 제1 게이트 블록 및 상기 제2 게이트 블록에서 게이트 핸드오버가 발생한 프레임을 검출하는 단계;
    상기 산출된 제1 및 제2 가중치를 이용하여, 상기 검출된 프레임부터 프레임 가중치를 인터폴레이션하는 단계; 및
    상기 인터폴레이션된 프레임 가중치, 상기 제1 및 제2 게이트 가중치를 이용하여 입력된 오디오 신호에 대한 스케일링을 수행하여 오디오 신호의 크기를 제어하는 단계;를 포함하는 제어 방법.
  20. 제19항에 있어서,
    상기 제2 게이트 블록은, 상기 제1 게이트 블록 내의 기 정의된 사이즈만큼 을 오버랩시키면서 이동시킨 게이트 블록인 것을 특징으로 하는 제어 방법.
  21. 제19항에 있어서,
    상기 제1 및 제2 게이트 블록은,
    적어도 하나의 프레임을 포함하며, 상기 프레임은 한 번에 받는 데이터 사이즈를 결정하는 것을 특징으로 하는 제어 방법.
  22. 제19항에 있어서,
    상기 인터폴레이션되는 프레임 가중치의 개수는 가변적인 것을 특징으로 하는 제어 방법.
  23. 오디오 신호 크기 제어 장치에 있어서,
    기 정의된 게이트 사이즈를 갖는 제1 게이트 블록, 제2 게이트 블록을 입력된 오디오 신호에 적용하여, 상기 제1 게이트 블록에 대응하는 제1 오디오 신호의 크기 상기 제2 게이트 블록에 대응하는 제2 오디오 신호의 크기를 측정하는 오디오 신호 크기 측정부;
    상기 측정된 제1 오디오 신호의 크기를 이용하여 상기 제1 게이트 블록에 대응하는 제1 게이트 가중치를 산출하고, 상기 측정된 제2 오디오 신호의 크기를 이용하여 상기 제2 게이트 블록에 대응하는 제2 게이트 가중치를 산출하는 가중치 산출부;
    상기 제1 게이트 블록 및 상기 제2 게이트 블록에서 게이트 핸드오버가 발생한 프레임을 검출하는 검출부; 및
    상기 산출된 제1 및 제2 가중치를 이용하여, 상기 검출된 프레임부터 프레임 가중치를 인터폴레이션하고, 상기 인터폴레이션된 프레임 가중치, 상기 제1 및 제2 게이트 가중치를 이용하여 입력된 오디오 신호에 대한 스케일링을 수행하여 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부;를 포함하는 오디오 신호 크기 제어 장치.
  24. 제23항에 있어서,
    상기 제2 게이트 블록은, 상기 제1 게이트 블록 내의 기 정의된 사이즈만큼 을 오버랩시키면서 이동시킨 게이트 블록인 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  25. 제23항에 있어서,
    상기 제1 및 제2 게이트 블록은,
    적어도 하나의 프레임을 포함하며, 상기 프레임은 한 번에 받는 데이터 사이즈를 결정하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  26. 제23항에 있어서,
    상기 인터폴레이션되는 프레임 가중치의 개수는 가변적인 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  27. 오디오 신호 크기 제어 방법에 있어서,
    입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 단계;
    상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 단계; 및
    상기 산출된 제어 정보를 표시하는 단계;를 포함하는 제어 방법.
  28. 제27항에 있어서,
    상기 제어 정보는,
    Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  29. 제28항에 있어서,
    상기 played 오디오 신호 크기 정보는,
    현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고,
    상기 Remained 오디오 신호 크기 정보는,
    목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며,
    상기 Recommended Control Factor 정보는,
    Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보인 것을 특징으로 하는 제어 방법.
  30. 오디오 신호 크기 제어 장치에 있어서,
    입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 입력부L
    상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 제어부; 및
    상기 산출된 제어 정보를 표시하는 디스플레이부;를 포함하는 오디오 신호 크기 제어 장치.
  31. 제30항에 있어서,
    상기 제어 정보는,
    Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  32. 제30항에 있어서,
    상기 played 오디오 신호 크기 정보는,
    현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고,
    상기 Remained 오디오 신호 크기 정보는,
    목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며,
    상기 Recommended Control Factor 정보는,
    Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보인 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  33. 오디오 신호 크기 제어 방법에 있어서,
    입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하는 단계;
    기 설정된 초기 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하고, 상기 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하는 단계;
    출력될 오디오 신호의 사운드 편차를 유지하기 위한 기 설정된 매핑 테이블에 상기 제1 오디오 신호 크기를 적용하여 제3 오디오 신호 크기를 검출하는 단계; 및
    상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 상기 제3 오디오 신호 크기를 이용하여 상기 입력된 오디오 신호의 크기를 제어하는 단계;를 포함하는 제어 방법.
  34. 제33항에 있어서,
    상기 입력된 오디오 신호는, 실시간으로 입력되는 오디오 신호인 것을 특징으로 하는 제어 방법.
  35. 제33항에 있어서,
    상기 기 설정된 매핑 테이블은,
    상기 제1 오디오 신호 크기가 기 설정된 값보다 작은 영역에서는, 선형 매핑을 이용하여 매핑을 수행하는 테이블이고,
    상기 제1 오디오 신호 크기가 기 설정된 값보다 큰 영역에서는, 하기의 수학식을 이용하여 매핑을 수행하는 테이블이며,
    Figure PCTKR2014002362-appb-I000003
    여기서, iLKFS는 상기 제1 오디오 신호 크기이고, oLKFS는 상기 제3 오디오 신호 크기이고, w는 변경가능한 가중치 값인 것을 특징으로 하는 것을 특징으로 하는 제어 방법.
  36. 제33항에 있어서,
    상기 제어하는 단계는,
    '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 제3 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하는 단계;
    상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하는 단계;
    상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 단계; 및
    상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하는 단계;를 포함하는 제어 방법.
  37. 오디오 신호 크기 제어 장치에 있어서,
    입력된 오디오 신호의 크기인 제1 오디오 신호 크기를 측정하고, 기 설정된 초기 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하고, 상기 스케일링된 오디오 신호의 크기인 제2 오디오 신호 크기를 측정하며, 출력될 오디오 신호의 사운드 편차를 유지하기 위한 기 설정된 매핑 테이블에 상기 제1 오디오 신호 크기를 적용하여 제3 오디오 신호 크기를 검출하는 오딩오 신호 크기 측정부;
    상기 제1 오디오 신호 크기, 상기 제2 오디오 신호 크기, 상기 제3 오디오 신호 크기를 이용하여 상기 입력된 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부;를 포함하는 오디오 신호 크기 제어 장치.
  38. 제37항에 있어서,
    상기 입력된 오디오 신호는, 실시간으로 입력되는 오디오 신호인 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  39. 제37항에 있어서,
    상기 기 설정된 매핑 테이블은,
    상기 제1 오디오 신호 크기가 기 설정된 값보다 작은 영역에서는, 선형 매핑을 이용하여 매핑을 수행하는 테이블이고,
    상기 제1 오디오 신호 크기가 기 설정된 값보다 큰 영역에서는, 하기의 수학식을 이용하여 매핑을 수행하는 테이블이며,
    Figure PCTKR2014002362-appb-I000004
    여기서, iLKFS는 상기 제1 오디오 신호 크기이고, oLKFS는 상기 제3 오디오 신호 크기이고, w는 변경가능한 가중치 값인 것을 특징으로 하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  40. 제37항에 있어서,
    '상기 제1 오디오 신호 크기와 상기 제2 오디오 신호 크기의 차이인 제1 차이'를 '상기 제1 오디오 신호 크기와 상기 제3 오디오 신호 크기의 차이인 제2 차이'로 제산하여 '오디오 신호 크기 제어 비율'을 산출하고,
    상기 산출된 '오디오 신호 크기 제어 비율'을 이용하여 제1 가중치를 산출하며,
    상기 산출된 제1 가중치와 상기 기 설정된 초기 Peek 가중치를 곱하여 새로운 Peek 가중치를 산출하는 가중치 산출부;를 더 포함하고,
    상기 오디오 신호 크기 제어부는,
    상기 산출된 새로운 Peek 가중치를 이용하여 상기 입력된 오디오 신호를 스케일링하여 상기 입력된 오디오 신호의 크기를 제어하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
PCT/KR2014/002362 2013-03-21 2014-03-20 오디오 신호 크기 제어 방법 및 장치 WO2014148845A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016505384A JP2016514856A (ja) 2013-03-21 2014-03-20 オーディオ信号大きさの制御方法及び装置
US14/778,877 US20160049162A1 (en) 2013-03-21 2014-03-20 Audio signal size control method and device

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR10-2013-0030136 2013-03-21
KR20130030136A KR101482946B1 (ko) 2013-03-21 2013-03-21 오디오 신호 크기 제어 방법 및 장치
KR1020130036431A KR101583293B1 (ko) 2013-04-03 2013-04-03 오디오 신호 크기 제어 방법 및 장치
KR1020130036523A KR101602273B1 (ko) 2013-04-03 2013-04-03 오디오 신호 크기 제어 방법 및 장치
KR1020130036468A KR101583294B1 (ko) 2013-04-03 2013-04-03 오디오 신호 크기 제어 방법 및 장치
KR1020130036475A KR101603992B1 (ko) 2013-04-03 2013-04-03 오디오 신호 크기 제어 방법 및 장치
KR10-2013-0036468 2013-04-03
KR10-2013-0036523 2013-04-03
KR10-2013-0036475 2013-04-03
KR10-2013-0036431 2013-04-03

Publications (1)

Publication Number Publication Date
WO2014148845A1 true WO2014148845A1 (ko) 2014-09-25

Family

ID=51580434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002362 WO2014148845A1 (ko) 2013-03-21 2014-03-20 오디오 신호 크기 제어 방법 및 장치

Country Status (3)

Country Link
US (1) US20160049162A1 (ko)
JP (1) JP2016514856A (ko)
WO (1) WO2014148845A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630254B2 (en) 2016-10-07 2020-04-21 Sony Corporation Information processing device and information processing method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016520854A (ja) * 2013-03-21 2016-07-14 インテレクチュアル ディスカバリー カンパニー リミテッド オーディオ信号大きさの制御方法及び装置
CN105741835B (zh) * 2016-03-18 2019-04-16 腾讯科技（深圳）有限公司 一种音频信息处理方法及终端
US9998082B1 (en) * 2017-01-16 2018-06-12 Gibson Brands, Inc. Comparative balancing
KR102583931B1 (ko) 2017-01-25 2023-10-04 삼성전자주식회사 음향 출력 장치 및 그의 제어 방법
CN110175015B (zh) * 2019-05-29 2022-05-27 Oppo广东移动通信有限公司 一种控制终端设备的音量的方法、装置及终端设备
CN113542963B (zh) * 2021-07-21 2022-12-20 RealMe重庆移动通信有限公司 声音模式控制方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223593A1 (en) * 2002-06-03 2003-12-04 Lopez-Estrada Alex A. Perceptual normalization of digital audio signals
US20080112583A1 (en) * 2006-09-29 2008-05-15 Siemens Audiologische Technik Gmbh Method for the semi-automatic adjustment of a hearing device, and a corresponding hearing device
US20090262873A1 (en) * 2008-04-18 2009-10-22 Nec Electronics Corporation Noise removal device and noise removal method
US20090323986A1 (en) * 2003-06-26 2009-12-31 Microsoft Corporation Method and Apparatus for Audio Normalization
EP2256571B1 (en) * 2009-05-27 2013-03-13 Honeywell International Inc. Adaptive user interface for semi-automatic operation of a remot-controlled, unmanned vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454331B2 (en) * 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
EP1805891B1 (en) * 2004-10-26 2012-05-16 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
WO2010044439A1 (ja) * 2008-10-17 2010-04-22 シャープ株式会社 音声信号調整装置及び音声信号調整方法
JP2011071806A (ja) * 2009-09-28 2011-04-07 Toshiba Corp 電子機器、及び電子機器の音量制御プログラム
TWI525987B (zh) * 2010-03-10 2016-03-11 杜比實驗室特許公司 在單一播放模式中組合響度量測的系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223593A1 (en) * 2002-06-03 2003-12-04 Lopez-Estrada Alex A. Perceptual normalization of digital audio signals
US20090323986A1 (en) * 2003-06-26 2009-12-31 Microsoft Corporation Method and Apparatus for Audio Normalization
US20080112583A1 (en) * 2006-09-29 2008-05-15 Siemens Audiologische Technik Gmbh Method for the semi-automatic adjustment of a hearing device, and a corresponding hearing device
US20090262873A1 (en) * 2008-04-18 2009-10-22 Nec Electronics Corporation Noise removal device and noise removal method
EP2256571B1 (en) * 2009-05-27 2013-03-13 Honeywell International Inc. Adaptive user interface for semi-automatic operation of a remot-controlled, unmanned vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630254B2 (en) 2016-10-07 2020-04-21 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
JP2016514856A (ja) 2016-05-23
US20160049162A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
WO2014148845A1 (ko) 오디오 신호 크기 제어 방법 및 장치
WO2014148844A1 (ko) 단말 장치 및 그의 오디오 신호 출력 방법
WO2016024847A1 (ko) 음향 신호를 생성하고 재생하는 방법 및 장치
WO2014148848A2 (ko) 오디오 신호 크기 제어 방법 및 장치
WO2014046526A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2013183977A1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
WO2010107269A2 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
WO2020185025A1 (ko) 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
WO2012144877A2 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2012144878A2 (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
WO2014107101A1 (en) Display apparatus and method for controlling the same
AU2012246798A1 (en) Apparatus for quantizing linear predictive coding coefficients, sound encoding apparatus, apparatus for de-quantizing linear predictive coding coefficients, sound decoding apparatus, and electronic device therefor
WO2012157931A2 (en) Noise filling and audio decoding
WO2013147384A1 (ko) 귓속 삽입형 마이크를 사용하는 유무선 이어셋
WO2016018058A1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
WO2019114127A1 (zh) 空气调节器的语音播报方法及装置
WO2018032680A1 (zh) 音视频播放方法及系统
WO2017045441A1 (zh) 基于智能电视的音频播放方法及装置
WO2017054488A1 (zh) 电视播放控制方法、服务器及电视播放控制系统
WO2018233221A1 (zh) 多窗口声音输出方法、电视机以及计算机可读存储介质
WO2018164304A1 (ko) 잡음 환경의 통화 품질을 개선하는 방법 및 장치
WO2019031652A1 (ko) 3차원 오디오 재생 방법 및 재생 장치
KR101482945B1 (ko) 단말 장치 및 그의 오디오 신호 출력 방법
WO2015093742A1 (en) Method and apparatus for encoding/decoding an audio signal
WO2022158943A1 (ko) 다채널 오디오 신호 처리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14768794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14778877

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016505384

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 14768794

Country of ref document: EP

Kind code of ref document: A1