KR102346669B1 - 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치 - Google Patents
라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR102346669B1 KR102346669B1 KR1020190048899A KR20190048899A KR102346669B1 KR 102346669 B1 KR102346669 B1 KR 102346669B1 KR 1020190048899 A KR1020190048899 A KR 1020190048899A KR 20190048899 A KR20190048899 A KR 20190048899A KR 102346669 B1 KR102346669 B1 KR 102346669B1
- Authority
- KR
- South Korea
- Prior art keywords
- loudness
- gain
- input content
- audio signal
- section
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 299
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims abstract description 256
- 238000005259 measurement Methods 0.000 claims description 154
- 238000000034 method Methods 0.000 claims description 54
- 230000007704 transition Effects 0.000 claims description 36
- 230000000670 limiting effect Effects 0.000 description 38
- 230000008859 change Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 230000003068 static effect Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G7/00—Volume compression or expansion in amplifiers
- H03G7/002—Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/46—Volume control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/002—Control of digital or coded signals
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G7/00—Volume compression or expansion in amplifiers
- H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response or playback speed
- G10H2210/201—Vibrato, i.e. rapid, repetitive and smooth variation of amplitude, pitch or timbre within a note or chord
- G10H2210/205—Amplitude vibrato, i.e. repetitive smooth loudness variation without pitch change or rapid repetition of the same note, bisbigliando, amplitude tremolo or tremulants
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/315—Dynamic effects for musical purposes, i.e. musical sound effects controlled by the amplitude of the time domain audio envelope, e.g. loudness-dependent tone colour or musically desired dynamic range compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
- G10H2250/161—Logarithmic functions, scaling or conversion, e.g. to reflect human auditory perception of loudness or frequency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Abstract
오디오 신호 처리 장치는 입력 컨텐츠의 출력 라우드니스(loudness) 레벨을 조정하는 프로세서를 포함한다. 상기 프로세서는, 상기 입력 컨텐츠로부터 분석된 라우드니스 정보를 획득하고, 상기 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 상기 입력 컨텐츠에 적용되는 라우드니스 게인을 획득하고, 상기 입력 컨텐츠의 출력 라우드니스 레벨을 상기 라우드니스 게인에 기초하여 조정한다. 이때, 상기 입력 컨텐츠가 재생되는 전체 구간 중 제1 구간에서 상기 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한되고, 상기 제1 구간에 후속하는 제2 구간에서 상기 라우드니스 게인에 대한 상기 제한이 해제될 수 있다.
Description
본 발명은 오디오 신호를 효과적으로 재생하기 위한 오디오 신호 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 컨텐츠의 오디오 신호가 출력되는 라우드니스 레벨을 조정하여 사용자에게 보다 몰입감이 높은 오디오 신호를 제공하기 위한 오디오 신호 처리 방법 및 장치에 관한 것이다.
사용자에게 오디오를 제공하는 방법이 아날로그 방식에서 디지털화되면서, 더 넓은 음량 영역에 대한 표현이 가능하게 되었다. 또한, 오디오 신호의 음량은 오디오 신호에 대응하는 컨텐츠에 따라 다양화되고 있는 추세이다. 오디오 컨텐츠 제작 과정에서, 오디오 컨텐츠 별로 의도하는 라우드니스가 서로 다르게 설정될 수 있기 때문이다. 이에 따라, 국제 전기 통신 연합(International Telecommunication Union, ITU), 유럽 방송 연합(European Broadcasting Union, EBU)과 같은 국제 표준 단체에서는 오디오의 라우드니스에 대한 표준을 발행하였다. 그러나 국가 별로 라우드니스를 측정하는 방법과 기준이 상이하기 때문에, 국제 표준 단체에 의해 발행된 표준을 적용하기 어려운 문제점이 있다.
컨텐츠의 제작자들은 상대적으로 라우드니스가 크게 믹싱된 컨텐츠를 제작하여 사용자에게 제공하려 한다. 오디오 신호의 음향 크기가 증가하는 경우 해당 오디오 신호의 음질이 향상된 것으로 인지하는 심리적 음향 특성 때문이다. 이에 따라, 라우드니스 전쟁(Loudness War)이라 일컫는 경쟁 구도가 형성되고 있다. 이로 인해, 컨텐츠 내부적으로 또는 복수의 컨텐츠 간의 라우드니스 차이가 발생하게 되고, 사용자는 해당 컨텐츠들이 재생되는 기기의 볼륨을 반복적으로 조정해야 하는 불편함을 겪을 수 있다. 따라서, 컨텐츠 재생 기기를 사용하는 사용자의 편의를 위해 오디오 컨텐츠의 라우드니스를 정규화하는 기술이 요구된다.
본 발명의 일 실시예는 오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 방법에 있어서, 해당 컨텐츠의 출력 라우드니스 레벨을 효율적으로 조정하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르면, 오디오 신호 처리 장치에 있어서, 입력 컨텐츠의 출력 라우드니스(loudness) 레벨을 조정하는 프로세서를 포함하며, 상기 프로세서는, 상기 입력 컨텐츠로부터 분석된 라우드니스 정보를 획득하고, 상기 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 상기 입력 컨텐츠에 적용되는 라우드니스 게인을 획득하고, 상기 입력 컨텐츠의 출력 라우드니스 레벨을 상기 라우드니스 게인에 기초하여 조정하는 오디오 신호 처리 장치가 제공된다. 이때, 상기 입력 컨텐츠가 재생되는 전체 구간 중 제1 구간에서 상기 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한되고, 상기 제1 구간에 후속하는 제2 구간에서 상기 라우드니스 게인에 대한 상기 제한이 해제된다.
상기 제1 구간은 특정 시점으로부터 시작되어 기 설정된 듀레이션을 가지는 초기 구간일 수 있다.
상기 제2 구간에서, 상기 라우드니스 게인은 적어도 상기 제1 게인 허용 범위 보다 넓은 범위의 제2 게인 허용 범위에 기초하여 제한될 수 있다.
상기 제1 구간에서 상기 입력 컨텐츠에 적용되는 라우드니스 게인은 상기 제1 게인 허용 범위 밖의 값을 포함하지 않으며, 상기 제2 구간에서 상기 입력 컨텐츠에 적용되는 라우드니스 게인은 상기 제1 게인 허용 범위 밖의 값을 포함할 수 있다.
상기 프로세서는, 상기 입력 컨텐츠와 관련된 부가 정보를 획득하고, 상기 부가 정보에 기초하여 상기 제1 게인 허용 범위를 결정할 수 있다.
상기 프로세서는, 상기 부가 정보로부터 상기 입력 컨텐츠의 장르에 관한 정보를 획득할 수 있다. 이때, 상기 제1 게인 허용 범위는 상기 입력 컨텐츠의 장르에 기초하여 결정될 수 있다.
상기 프로세서는, 상기 부가 정보에 기초하여, 상기 제1 구간의 듀레이션을 획득할 수 있다. 이때, 상기 제1 구간이 시작되는 특정 시점부터 상기 제1 구간의 듀레이션 동안 재생되는 입력 컨텐츠의 라우드니스 게인은, 상기 제1 게인 허용 범위에 기초하여 제한될 수 있다.
상기 프로세서는, 상기 부가 정보로부터 상기 입력 컨텐츠의 길이에 대한 정보를 획득할 수 있다. 이때, 상기 제1 구간의 듀레이션은, 길이가 상기 입력 컨텐츠의 길이보다 긴 다른 컨텐츠의 라우드니스 게인이 제한되는 구간의 듀레이션 보다 짧을 수 있다.
상기 프로세서는, 상기 입력 컨텐츠에 대한 측정 윈도우 별 라우드니스 측정치를 획득하고, 상기 측정 윈도우 별 라우드니스 측정치에 기초하여 상기 라우드니스 정보를 획득할 수 있다. 이때, 상기 측정 윈도우는 하나의 라우드니스 측정치 획득에 사용되는 단위 시간을 나타낼 수 있다.
상기 제2 구간의 특정 시점부터 기 설정된 시간 이상의 트랜지션(transition) 구간 동안 상기 라우드니스 측정치가 제1 기 설정된 라우드니스 레벨 보다 작은 경우, 상기 트랜지션 구간 이후부터 상기 제1 구간의 듀레이션 동안 재생되는 입력 컨텐츠의 라우드니스 게인은 상기 제1 게인 허용 범위에 기초하여 제한될 수 있다.
상기 프로세서는, 상기 입력 컨텐츠의 재생이 시작된 시점부터 현재 시점까지 측정된 복수의 라우드니스 측정치들 중에서, 상기 트랜지션 구간이 시작되는 시점과 제2 기 설정된 레벨 이상의 라우드니스가 측정되는 시점 사이에 측정된 라우드니스 측정치를 제외한 복수의 라우드니스 측정치들에 기초하여 상기 라우드니스 정보를 획득할 수 있다.
상기 오디오 신호 처리 장치는, 상기 복수의 라우드니스 측정치들을 저장하는 저장부를 더 포함할 수 있다. 상기 프로세서는, 상기 저장부에 기 저장되고, 상기 트랜지션 구간이 시작되는 시점과 제2 기 설정된 레벨 이상의 라우드니스가 측정되는 시점 사이에 측정된 라우드니스 측정치들에 대한 데이터를 삭제할 수 있다.
상기 프로세서는, 상기 트랜지션 구간까지 재생된 입력 컨텐츠에 대한 제1 라우드니스 정보에 기초하여 제1 라우드니스 게인을 획득하고, 상기 트랜지션 구간 이후 현재 시점까지 재생된 입력 컨텐츠에 대한 제2 라우드니스 정보에 기초하여 제2 라우드니스 게인을 획득하고, 상기 제1 라우드니스 게인과 상기 제2 라우드니스 게인을 가중합하여, 상기 현재 시점 이후 재생되는 입력 컨텐츠의 라우드니스 게인을 획득할 수 있다. 이때, 상기 제1 라우드니스 게인에 적용되는 제1 가중치는 상기 제2 라우드니스 게인에 적용되는 제2 가중치 보다 작을 수 있다.
상기 라우드니스 정보는 상기 오디오 신호 처리 장치에 의해 설정된 셋업 시점부터 누적된 라우드니스 측정치를 나타내는 누적 라우드니스 레벨을 포함할 수 있다. 이때, 상기 프로세서는, 상기 누적 라우드니스 레벨에 기초하여 상기 입력 컨텐츠의 라우드니스 게인을 획득할 수 있다. 또한, 현재 시점의 라우드니스 측정치와 상기 누적 라우드니스 레벨 사이의 차이가 기 설정된 크기 보다 큰 경우, 상기 셋업 시점은 상기 현재 시점으로 재설정될 수 있다.
상기 제2 구간의 특정 시점부터 기 설정된 시간 이상의 트랜지션(transition) 구간 동안 상기 라우드니스 측정치가 제1 기 설정된 라우드니스 레벨 보다 작은 경우, 상기 셋업 시점은 상기 트랜지션 구간의 종료 시점으로 재설정될 수 있다.
상기 부가 정보는 상기 입력 컨텐츠의 길이, 장르, 인기도, 시청 횟수, 라우드니스 동적 범위 또는 컨텐츠 제공자 각각을 나타내는 정보 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 오디오 신호 처리 방법에 있어서, 상기 입력 컨텐츠로부터 분석된 라우드니스 정보를 획득하는 단계; 상기 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 상기 입력 컨텐츠에 적용되는 라우드니스 게인을 획득하는 단계; 및 상기 입력 컨텐츠의 출력 라우드니스 레벨을 상기 라우드니스 게인에 기초하여 조정하는 단계를 포함하되, 상기 입력 컨텐츠가 재생되는 전체 구간 중 제1 구간에서 상기 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한되고, 상기 제1 구간에 후속하는 제2 구간에서 상기 라우드니스 게인에 대한 상기 제한이 해제되는, 오디오 신호 처리 방법이 제공된다.
본 발명의 일 실시예에 따른 장치 및 방법은 오디오 신호를 포함하는 컨텐츠를 재생하는데 있어서, 오디오 신호의 라우드니스 레벨을 효과적으로 정규화할 수 있다. 또한, 본 발명의 일 실시예에 따른 장치 및 방법은 사용자에게 음질 향상 및 음량 조절에 대한 편의를 제공할 수 있다.
특히, 본 발명의 일 실시예에 따르면, 음질 훼손을 발생시키지 않고 라우드니스 레벨을 제어할 수 있다. 또한 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 실시간으로 라우드니스 정보를 획득하여 보다 안정적인 출력 라우드니스 레벨을 가지는 출력 컨텐츠를 제공할 수 있다. 또한, 청취자가 실제로 인지하는 라우드니스에 가까운 라우드니스 정규화를 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따라 복수의 컨텐츠가 재생되는 동안 시간에 따라 변화하는 라우드니스 레벨을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 동작을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스 게인을 제한하는 방법을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 입력 컨텐츠의 구간 별로 라우드니스 게인이 결정되는 방법을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 트랜지션 구간을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 누적 라우드니스 레벨 획득을 위한 셋업 시점을 설정하는 방법을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 부가 정보에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정하는 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스를 측정하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따라 컨텐츠가 변경되는 경우 입력 컨텐츠의 출력 라우드니스 레벨이 조정되는 방법을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 동작을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스 게인을 제한하는 방법을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 입력 컨텐츠의 구간 별로 라우드니스 게인이 결정되는 방법을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 트랜지션 구간을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 누적 라우드니스 레벨 획득을 위한 셋업 시점을 설정하는 방법을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 부가 정보에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정하는 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스를 측정하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따라 컨텐츠가 변경되는 경우 입력 컨텐츠의 출력 라우드니스 레벨이 조정되는 방법을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 구성을 나타내는 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시는 오디오 신호 처리 장치가 입력 컨텐츠의 출력 라우드니스(loudness) 레벨을 조정하는 방법에 관한 것이다. 본 개시에서, 입력 컨텐츠는 오디오 신호를 포함하는 컨텐츠일 수 있다. 본 개시에서, 입력 컨텐츠는 입력 오디오 신호로 지칭될 수도 있다. 또한, 라우드니스는 청각을 통해 인지되는 음향의 크기를 나타낼 수 있다. 라우드니스 레벨은 라우드니스를 나타내는 수치일 수 있다. 예를 들어, 라우드니스 레벨은 LKFS(Loudness K-Weighted relative to Full Scale) 또는 LUFS(Loudness Unit relative to Full Scale)와 같은 단위를 사용하여 표시될 수 있다. 또한, 라우드니스 레벨은 sone 또는 phon과 같은 단위를 사용하여 표시될 수도 있다.
이하에서는, 도 1을 참조하여 오디오 신호의 라우드니스에 대해 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따라 복수의 컨텐츠가 재생되는 동안 시간에 따라 변화하는 라우드니스 레벨을 나타내는 도면이다. 도 1을 참조하면, 시간에 따라 변화하는 평균 라우드니스(average loudness), 단구간 라우드니스(short-term loudness) 및 라우드니스 동적 범위(dynamic range)가 도시된다. 평균 라우드니스 레벨은 하나의 컨텐츠에 대응하는 단일의 라우드니스 값일 수 있다. 평균 라우드니스 레벨은 컨텐츠(content1, content2, content3) 별로 상이할 수 있다. 도 1에서, 실선은 각 컨텐츠(content1, content2, content3) 별 평균 라우드니스 레벨을 나타낸다.
단구간 라우드니스 레벨은 컨텐츠의 일부분에 대한 라우드니스 측정치일 수 있다. 이때, 컨텐츠의 일부분은 하나의 측정 윈도우에 포함된 부분일 수 있다. 오디오 신호 처리 장치는 하나의 컨텐츠에 대해 복수의 단구간 라우드니스 레벨들을 획득할 수 있다. 또한, 평균 라우드니스 레벨은 복수의 단구간 라우드니스 레벨들의 평균일 수 있다. 도 1에서, 재생 및 전환되는 복수의 컨텐츠들 각각은 서로 다른 라우드니스 특성을 가진다.
예를 들어, 영상 제공 서비스를 제공하는 플랫폼에서 서로 다른 컨텐츠들이 전환되는 경우, 전환되는 컨텐츠들 사이에 광고 컨텐츠가 삽입될 수 있다. 이 경우, 오디오 신호 처리 장치는 일정한 범위 내의 라우드니스 레벨을 유지하기 어려울 수 있다. 또한, 서로 다른 컨텐츠 간에 라우드니스 동적 범위의 차이가 클 수 있다. 이러한 환경에서, 오디오 신호 처리 장치는 청취자가 원하는 범위 내의 라우드니스 레벨을 제공하기 어려울 수 있다.
구체적으로, 컨텐츠가 전환되는 경우, 청취자는 먼저 단구간 라우드니스 레벨이 급격히 변화되는 것을 인지할 수 있다. 이에 따라, 청취자는 오디오 신호를 출력하는 기기의 볼륨을 조절해야 할 수 있다. 또한, 청취자는 전환된 컨텐츠가 재생되면서 평균 라우드니스에 따른 적정 게인을 설정하기 위해 볼륨을 다시 조절해야 할 수 있다. 예를 들어, 전환된 컨텐츠의 초기 구간의 라우드니스에 기반하여 조절된 볼륨에 따라 전환된 컨텐츠가 재생되는 경우, 컨텐츠 특성에 따라 라우드니스 레벨이 급격히 증가하거나 급격히 감소하는 상황이 발생할 수 있다. 라우드니스 레벨이 급격히 증가하거나 급격히 감소하여 컨텐츠의 내용을 파악할 수 없는 경우, 청취자는 오디오 신호를 출력하는 기기의 볼륨을 또 다시 조절해야 할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 입력 컨텐츠의 출력 라우드니스 레벨을 제어하여 청취자의 편의성을 높일 수 있다. 구체적으로, 오디오 신호 처리 장치는 입력 컨텐츠의 라우드니스 게인에 기초하여 라우드니스 레벨을 조정할 수 있다. 이때, 특정 구간에서 입력된 컨텐츠에 적용되는 라우드니스 게인은 게인 허용 범위에 기초하여 제한될 수 있다.
본 발명의 일 실시예에 따르면, 서로 다른 기준으로 생성되었거나, 특정한 기준 없이 생성된 입력 컨텐츠의 라우드니스 레벨을 타겟 라우드니스(target loudness) 레벨을 기준으로 정규화할 수 있다. 여기에서, 타겟 라우드니스 레벨은 오디오 신호 처리 장치가 출력하고자 하는 라우드니스 레벨일 수 있다. 예를 들어, 타겟 라우드니스 레벨은 입력 컨텐츠의 컨텐츠 제작자에 의해 설정될 수 있다. 이 경우, 오디오 신호 처리 장치는 입력 컨텐츠와 함께 타겟 라우드니스에 대한 정보를 수신할 수 있다. 또한, 타겟 라우드니스 레벨은 입력 컨텐츠의 장르에 따라 서로 다른 값으로 설정될 수도 있다. 이 경우, 오디오 신호 처리 장치는 입력 컨텐츠의 장르에 기초하여 타겟 라우드니스 레벨을 결정할 수 있다. 타겟 라우드니스 레벨은 오디오 신호 처리 장치에 기 저장된 디폴트 값으로 설정될 수도 있다. 이 경우, 타겟 라우드니스 레벨은 입력 컨텐츠 또는 입력 컨텐츠의 장르와 무관한 값으로 설정될 수 있다. 오디오 신호 처리 장치는 타겟 라우드니스 레벨에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠의 라우드니스 레벨과 타겟 라우드니스 레벨 사이의 관계에 기초하여 라우드니스 게인을 획득할 수 있다. 입력 컨텐츠의 라우드니스 레벨과 타겟 라우드니스 레벨 사이의 관계는 입력 컨텐츠의 라우드니스 레벨과 타겟 라우드니스 레벨 간의 차이 또는 비율을 포함할 수 있다.
예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠의 대표 라우드니스 레벨과 타겟 라우드니스 레벨 사이의 관계에 기초하여 라우드니스 게인을 획득할 수 있다. 여기에서, 대표 라우드니스 레벨은 입력 컨텐츠 전 구간에 대한 라우드니스 레벨을 대표하는 라우드니스 레벨일 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠와 함께 입력 컨텐츠의 대표 라우드니스 레벨을 수신할 수 있다. 또는 오디오 신호 처리 장치는 입력 컨텐츠로부터 분석된 라우드니스 정보에 기초하여 대표 라우드니스 레벨을 획득할 수도 있다. 이 경우, 오디오 신호 처리 장치는 입력 컨텐츠에 대한 라우드니스 측정치에 기초하여 라우드니스 정보를 획득할 수 있다.
또한, 오디오 신호 처리 장치는 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 구체적으로, 오디오 신호 처리 장치는 입력 컨텐츠에 라우드니스 게인을 적용하여 라우드니스 레벨이 조정된 출력 오디오 신호를 획득할 수 있다.
한편, 특정 상황에서, 오디오 신호 처리 장치는 입력 컨텐츠의 재생이 종료되기 전까지 입력 컨텐츠의 대표 라우드니스 레벨을 획득하기 어려울 수 있다. 예를 들어, 특정 컨텐츠가 실시간으로 전송되는 경우, 오디오 신호 처리 장치는 해당 컨텐츠 전구간에 대한 수신을 완료하기 전까지 해당 컨텐츠 전체의 라우드니스 특성을 획득하기 어려울 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 수신되는 컨텐츠의 라우드니스를 실시간으로 측정하여 라우드니스 정규화를 수행할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 입력 컨텐츠의 출력 라우드니스 레벨을 조절하는 방법에 관하여 도 2를 참조하여 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(200)의 동작을 나타내는 블록도이다. 도 2에서는 입력 컨텐츠의 라우드니스 정규화를 위한 일련의 동작들이 오디오 신호 처리 장치에 의해 수행되는 것으로 도시하였으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 도 2를 통해 설명되는 동작들 중 일부는 오디오 신호 처리 장치 외부의 서버를 통해 수행될 수도 있다.
먼저, 오디오 신호 처리 장치(200)는 입력 컨텐츠를 수신할 수 있다. 입력 컨텐츠는 복수의 프레임들로 구성된 입력 오디오 신호일 수 있다. 다음으로, 오디오 신호 처리 장치(200)는 입력 컨텐츠의 라우드니스 레벨을 측정할 수 있다(S201). 오디오 신호 처리 장치(200)는 청각 척도에 기반한 라우드니스 필터를 사용하여 오디오 신호의 라우드니스 측정치를 획득할 수 있다. 구체적으로, 라우드니스 필터는 등-라우드니스 곡선(equal-loudness contours)의 역필터, 또는 이를 근사화시킨 케이-가중(K-weighting) 필터 중 적어도 하나일 수 있다.
예를 들어, 오디오 신호 처리 장치(200)는 기 수신된 입력 컨텐츠의 적어도 일부 구간에 라우드니스 필터를 적용하여 라우드니스 측정치를 획득할 수 있다. 여기에서, 일부 구간은 하나의 라우드니스 측정치 획득에 사용되는 단위 시간일 수 있다. 일부 구간은 적어도 하나의 프레임을 포함할 수 있다. 본 개시에서, 하나의 라우드니스 측정치 획득에 사용되는 단위 시간은 측정 윈도우로 지칭될 수 있다.
오디오 신호 처리 장치(200)는 입력 컨텐츠에 대한 측정 윈도우 별 라우드니스 측정치를 획득할 수 있다. 이때, 획득된 라우드니스 측정치는 측정 윈도우의 길이에 따라 순간 라우드니스 레벨 또는 단구간 라우드니스 레벨일 수 있다. 순간 라우드니스 레벨은 단구간 라우드니스 레벨에 비해 짧은 시간 구간동안 측정된 라우드니스 측정치일 수 있다. 예를 들어, 하나의 순간 라우드니스 레벨 획득에 사용되는 측정 윈도우의 길이는 400밀리초(ms)일 수 있다. 또한, 하나의 단구간 라우드니스 레벨 획득에 사용되는 측정 윈도우의 길이는 3초일 수 있다. 그러나 본 개시가 이에 제한되는 것은 아니다. 라우드니스 분석을 위한 측정 윈도우의 길이는 입력 컨텐츠 별로 다를 수 있다. 일 실시예에 따라, 측정 윈도우의 길이는 입력 컨텐츠의 부가 정보에 기초하여 결정될 수도 있다. 오디오 신호 처리 장치가 측정 윈도우의 길이를 결정하는 방법에 대해서는 도 8를 통해 후술하도록 한다.
다음으로, 오디오 신호 처리 장치는 입력 컨텐츠에 대한 라우드니스 측정치에 기초하여 입력 컨텐츠의 라우드니스 정보를 획득할 수 있다. 라우드니스 정보는 입력 컨텐츠에 대한 적어도 하나의 라우드니스 측정치를 포함할 수 있다. 또한, 라우드니스 정보는 입력 컨텐츠에 대한 라우드니스 측정치에 기반하여 연산된 정보를 포함할 수 있다. 오디오 신호 처리 장치는 라우드니스 정보를 실시간으로 업데이트할 수 있다. 예를 들어, 라우드니스 정보는 누적 라우드니스 레벨, 단구간 라우드니스 레벨, 순간 라우드니스 레벨 중 적어도 하나를 포함할 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠에 대한 라우드니스 측정이 시작된 시점부터 현재 시점까지 누적된 복수의 라우드니스 측정치들을 대표하는 누적 라우드니스 레벨을 획득할 수 있다.
본 개시에서, 누적 라우드니스 레벨은 오디오 신호 처리 장치에서 설정된 셋업 시점으로부터 누적된 라우드니스 측정치를 나타낼 수 있다. 예를 들어, 누적 라우드니스 레벨은 셋업 시점과 현재 시점 사이에서 측정된 유효 라우드니스 측정치들의 평균에 기초하여 획득될 수 있다. 여기에서, 유효 라우드니스 측정치들은 셋업 시점과 현재 시점 사이에서 측정된 복수의 라우드니스 측정치들 중에서 적어도 하나의 기준 요건을 만족하는 라우드니스 측정치들일 수 있다.
예를 들어, 유효 라우드니스 측정치들은 라우드니스 레벨이 특정 레벨 이상인 라우드니스 측정치들일 수 있다. 먼저, 오디오 신호 처리 장치는 복수의 라우드니스 측정치들 중에서 라우드니스 레벨이 제1 임계값 이상인 라우드니스 측정치들에 대한 제1 평균을 연산할 수 있다. 이때, 제1 임계값은 최소 가청 크기에 기초하여 설정된 값일 수 있다. 다음으로, 오디오 신호 처리 장치는 제1 평균의 연산에 이용된 라우드니스 측정치들 중에서 라우드니스 레벨이 제2 임계값 이상인 라우드니스 측정치들에 대한 제2 평균을 연산할 수 있다. 이때, 제2 임계값은 제1 평균으로부터 기 설정된 값을 뺀 값일 수 있다. 또한, 오디오 신호 처리 장치는 제2 평균을 입력 컨텐츠의 누적 라우드니스 레벨로 사용할 수 있다. 한편, 오디오 신호 처리 장치는 특정 요건에 따라 누적 라우드니스 레벨을 위한 셋업 시점을 재설정할 수 있다. 오디오 신호 처리 장치가 누적 라우드니스 레벨을 위한 셋업 시점을 재설정하는 방법에 대해서는 도 6을 통해 후술하도록 한다.
다음으로, 오디오 신호 처리 장치는 획득된 라우드니스 정보에 기초하여 입력 컨텐츠에 적용되는 라우드니스 게인을 획득할 수 있다(S203). 구체적으로, 오디오 신호 처리 장치는 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 라우드니스 게인을 획득할 수 있다. 일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠의 특정 프레임에 적용되는 라우드니스 게인을 획득할 수 있다. 입력 컨텐츠의 일부 특정 구간에서 프레임 별로 적용되는 라우드니스 게인은 시간에 따라 동적으로 조정될 수 있다. 특정 구간을 제외한 나머지 구간에서 프레임 별로 적용되는 라우드니스 게인은 동적으로 조정되지 않는 정적 게인일 수 있다. 또한, 입력 컨텐츠의 일부 특정 구간에서 라우드니스 게인은 특정 범위 내의 값으로 제한될 수 있다. 이에 대해서는, 도 3을 통해 구체적으로 후술하도록 한다.
다음으로, 오디오 신호 처리 장치는 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다(S205). 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠에 라우드니스 게인을 적용하여 출력 라우드니스 레벨을 조정할 수 있다. 일 실시예에 따라, 라우드니스 게인은 입력 컨텐츠를 구성하는 프레임 별로 적용될 수 있다. 이 경우, 오디오 신호 처리 장치는 각각의 프레임에 대응하는 오디오 신호에 라우드니스 게인을 곱하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠로부터 라우드니스 게인에 의해 출력 라우드니스 레벨이 조정된 출력 컨텐츠를 획득할 수 있다. 또한, 오디오 신호 처리 장치는 획득된 출력 컨텐츠를 출력할 수 있다. 예를 들어, 오디오 신호 처리 장치는 출력 컨텐츠를 재생할 수 있다. 또는 오디오 신호 처리 장치는 출력 컨텐츠를 유/무선 인터페이스를 통해 재생기기로 전달할 수도 있다.
추가적으로, 오디오 신호 처리 장치는 조정된 출력 라우드니스 레벨의 동적 범위를 제어할 수 있다. 입력 컨텐츠의 특정 프레임에 대한 출력 라우드니스 레벨이 기 설정된 동적 범위를 벗어나는 경우, 클리핑(clipping)에 의한 음질 왜곡이 발생할 수 있기 때문이다. 오디오 신호 처리 장치는 기 설정된 동적 범위에 기초하여 출력 라우드니스 레벨의 동적 범위를 제어할 수 있다. 예를 들어, 오디오 신호 처리 장치는 리미터(limiter) 및 동적 범위 제한기(Dynamic Range Compressor, DRC)와 같은 프로세싱을 사용하여 출력 라우드니스 레벨의 동적 범위를 제어할 수 있다.
전술한 바와 같이, 오디오 신호 처리 장치에서 재생 중인 입력 컨텐츠가 실시간으로 수신되는 경우, 오디오 신호 처리 장치는 컨텐츠의 초기 구간만으로는 입력 컨텐츠 전체의 라우드니스 특성을 파악하기 어려울 수 있다. 구체적으로, 입력 컨텐츠의 길이가 광고 컨텐츠와 같이 짧은 경우, 컨텐츠의 시작부터 끝까지 묵음 구간이 존재하기 어렵고, 라우드니스 범위가 한정되어 있을 수 있다. 이에 따라, 입력 컨텐츠의 초기 구간에 기초하여 분석된 라우드니스 정보는 입력 컨텐츠 전체의 라우드니스 특성을 반영하는 것으로 사용될 수도 있다. 반면, 입력 컨텐츠의 길이가 영화, 드라마 또는 스포츠 중계와 같이 긴 경우, 초기 구간에는 묵음 구간이 존재할 가능성이 상대적으로 높다. 또한, 입력 컨텐츠의 라우드니스 범위가 광고와 같은 짧은 컨텐츠에 비해 상대적으로 클 수 있다. 이에 따라, 입력 컨텐츠의 구간 별로 라우드니스 특성이 서로 다를 수 있다. 이 경우, 입력 컨텐츠의 초기 구간에 기초하여 분석된 라우드니스 정보는 입력 컨텐츠 전체의 라우드니스 특성을 반영하기 어려울 수 있다.
따라서, 입력 컨텐츠의 초기 구간에는, 상대적으로 충분하지 못한 라우드니스 정보에 기반하여 획득된 라우드니스 게인이, 후속하여 재생되는 입력 컨텐츠에 적용될 수 있다. 이로 인해, 입력 컨텐츠의 출력 라우드니스 레벨이 급격히 증가하거나 감소할 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 입력 컨텐츠의 재생 구간 별로 서로 다른 라우드니스 정규화 방법을 사용하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
본 발명의 일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠가 재생되는 전체 구간 중에서 특정 구간 동안, 입력 컨텐츠에 적용되는 게인을 특정 범위 이내로 제한할 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스 게인을 제한하는 방법에 대해 도 3을 참조하여 설명하도록 한다. 도 3은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스 게인을 제한하는 방법을 나타내는 도면이다.
도 3을 참조하면, 오디오 신호 처리 장치는 제1 구간(301)에서 제1 라우드니스 정규화 방법을 사용하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 또한, 오디오 신호 처리 장치는 제2 구간(302)에서 제2 라우드니스 정규화 방법을 사용하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 이때, 제1 라우드니스 정규화 방법과 제2 라우드니스 정규화 방법은 서로 다른 방법일 수 있다. 예를 들어, 제1 라우드니스 정규화 방법은 라우드니스 게인을 제한하는 동작을 포함할 수 있다. 또한, 제2 라우드니스 정규화 방법은 라우드니스 게인에 대한 제한을 해제하는 동작을 포함할 수 있다.
본 발명의 일 실시예에 따라, 입력 컨텐츠가 재생되는 전체 구간 중에서, 게인 제한 구간 동안 입력 컨텐츠에 적용되는 라우드니스 게인은 게인 허용 범위에 기초하여 제한될 수 있다. 여기에서, 게인 제한 구간은 특정 시점으로부터 시작되어 특정 듀레이션을 가지는 초기 구간일 수 있다. 예를 들어, 게인 제한 구간은 입력 컨텐츠가 재생되는 전체 구간 중 일부의 초기 구간일 수 있다. 일 실시예에 따라, 게인 제한 구간이 시작되는 특정 시점은 입력 컨텐츠가 재생되기 시작하는 시점을 기준으로 기 설정된 시간 이내의 초기 시점일 수 있다. 예를 들어, 특정 시점은 입력 컨텐츠가 재생되기 시작하는 시점일 수 있다. 다른 일 실시예에 따라, 게인 제한 구간이 시작되는 특정 시점은 기 설정된 요건을 만족하는 시점일 수 있다. 예를 들어, 기 설정된 요건을 만족하는 시점은 입력 컨텐츠가 제1 컨텐츠에서 제2 컨텐츠로 전환되는 시점일 수도 있다. 이와 관련하여서는 도 5를 통해 후술하도록 한다.
또한, 게인 허용 범위는 게인 제한 구간에서 입력 컨텐츠에 대해 적용 가능한 게인의 범위를 나타낼 수 있다. 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠로부터 분석된 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 라우드니스 게인을 획득할 수 있다. 이때, 획득된 라우드니스 게인이 게인 허용 범위 밖의 값인 경우, 오디오 신호 처리 장치는 획득된 라우드니스 게인을 보정할 수 있다. 오디오 신호 처리 장치는 획득된 라우드니스 게인으로부터 게인 허용 범위에 기초하여 보정된 라우드니스 게인을 획득할 수 있다. 또한, 오디오 신호 처리 장치는 보정된 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
구체적으로, 게인 허용 범위는 최소 게인 값 또는 최대 게인 값 중 적어도 하나를 이용하여 정의될 수 있다. 예를 들어, 오디오 신호 처리 장치는 최대 게인 값에 기초하여 라우드니스 게인을 제한할 수 있다. 획득된 라우드니스 게인이 최대 게인 값 보다 큰 경우, 오디오 신호 처리 장치는 라우드니스 게인을 보정할 수 있다. 이 경우, 보정된 라우드니스 게인은 최대 게인 값일 수 있다. 또한, 오디오 신호 처리 장치는 최소 게인 값에 기초하여 라우드니스 게인을 제한할 수도 있다. 획득된 라우드니스 게인이 최소 게인 값 보다 작은 경우, 오디오 신호 처리 장치는 라우드니스 게인을 보정할 수 있다. 이 경우, 보정된 라우드니스 게인은 최소 게인 값일 수 있다. 또한, 오디오 신호 처리 장치는 최대 게인 값 및 최소 게인 값에 기초하여 라우드니스 게인을 제한할 수 있다. 획득된 라우드니스 게인이 최소 게인 값 보다 작거나, 최대 게인 값 보다 큰 경우, 오디오 신호 처리 장치는 라우드니스 게인을 보정할 수 있다. 이때, 게인 허용 범위는 부가 정보에 기초하여 결정될 수 있다. 예를 들어, 최대 게인 값 및/또는 최소 게인 값은 입력 컨텐츠의 부가 정보가 포함하는 장르에 관한 정보에 기초하여 결정될 수 있다.
일 실시예에 따라, 게인 제한 구간의 듀레이션은 입력 컨텐츠에 따라 다르게 설정될 수 있다. 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠의 부가 정보에 기초하여 게인 제한 구간의 듀레이션을 결정할 수 있다. 구체적으로, 게인 제한 구간의 듀레이션은 입력 컨텐츠의 길이에 따라 다르게 결정될 수 있다. 이에 대해서는, 도 7을 통해 구체적으로 설명하도록 한다.
또한, 입력 컨텐츠가 재생되는 전체 구간 중에서 게인 제한 구간을 제외한 나머지 구간에서는 전술한 라우드니스 게인에 대한 제한이 해제될 수 있다. 예를 들어, 오디오 신호 처리 장치는 게인 제한 구간에 후속하는 제한 해제 구간에서 라우드니스 게인에 대한 제한을 해제할 수 있다.
도 3에서, 오디오 신호 처리 장치는 제1 구간(301)에서 입력 컨텐츠의 라우드니스 게인을 제한할 수 있다. 또한, 오디오 신호 처리 장치는 제1 구간(301)에 후속하는 제2 구간(302)에서 라우드니스 게인에 대한 제한을 해제할 수 있다. 이때, 제1 구간(301)은 게인 제한 구간으로, 제2 구간(302)은 제한 해제 구간을 각각 나타낼 수 있다. 제한 해제 구간의 듀레이션은 게인 제한 구간의 듀레이션과 다른 방법으로 결정될 수 있다. 예를 들어, 제한 해제 구간의 듀레이션은 고정된 길이가 아닐 수 있다. 구체적으로, 제한 해제 구간의 듀레이션은 게인 제한 구간이 종료된 시점부터 특정 컨텐츠의 재생이 종료되는 시점까지일 수 있다. 또는 제한 해제 구간은 게인 제한 구간이 종료된 시점부터 새로운 게인 제한 구간이 시작되는 시점까지일 수 있다.
전술한 바와 같이, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 게인 제한 구간과 제한 해제 구간을 구분하여 출력 라우드니스 레벨을 조정함으로써, 입력 컨텐츠의 초기 구간에서 출력 라우드니스 레벨이 과도하게 증폭되는 것을 사전 방지할 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 초기 구간에서 출력 라우드니스 레벨이 과도하게 감소되는 것을 사전 방지할 수 있다.
한편, 본 발명의 일 실시예에 따라, 제1 구간(301)에 후속하는 제2 구간(302)에서 라우드니스 게인은 새로운 게인 허용 범위에 기초하여 제한될 수도 있다. 예를 들어, 제1 구간(301)에서 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한될 수 있다. 다음으로, 제2 구간(302)에서 오디오 신호 처리 장치는 라우드니스 게인에 대한 제1 게인 허용 범위에 기초한 제한을 해제할 수 있다. 구체적으로, 제1 구간(301)에서 입력 컨텐츠에 적용되는 라우드니스 게인은 제1 게인 허용 범위 밖의 값을 포함하지 않을 수 있다. 또한, 제2 구간(302)에서 입력 컨텐츠에 적용되는 라우드니스 게인은 제1 게인 허용 범위 밖의 값을 포함할 수 있다.
또한, 오디오 신호 처리 장치는 제2 구간(302)에서 제1 게인 허용 범위와 다른 제2 게인 허용 범위에 기초하여 라우드니스 게인을 제한할 수 있다. 이때, 제2 게인 허용 범위는 적어도 제1 게인 허용 범위 보다 넓은 범위일 수 있다. 구체적으로, 제1 게인 허용 범위는 제1 최대 게인 값 보다 작은 라우드니스 게인 값들을 포함하는 라우드니스 게인 범위를 나타낼 수 있다. 또한, 제2 게인 허용 범위는 제2 최대 게인 값 보다 작은 라우드니스 게인 값들을 포함하는 라우드니스 게인 범위를 나타낼 수 있다. 이때, 제1 최대 게인 값은 제2 최대 게인 값보다 작은 값일 수 있다. 이하 본 개시에서, 제1 게인 허용 범위는 전술한 게인 제한 구간에 사용되는 게인 허용 범위를 나타낸다.
본 발명의 일 실시예에 따라, 입력 컨텐츠의 라우드니스 게인은 입력 컨텐츠의 구간 별로 서로 다른 방식으로 획득될 수 있다. 본 개시에서, 입력 컨텐츠의 라우드니스 게인은 입력 컨텐츠에 적용되는 라우드니스 게인을 나타낼 수 있다. 도 4는 본 발명의 일 실시예에 따라 입력 컨텐츠의 구간 별로 라우드니스 게인이 결정되는 방법을 나타내는 도면이다.
도 4에서, 게인 제한 구간인 제1 구간(401)과 제한 해제 구간인 제2 구간(402) 각각에서 입력 컨텐츠에 적용되는 라우드니스 게인을 획득하는 방법은 서로 다를 수 있다. 예를 들어, 제1 구간(401)에서 입력 컨텐츠의 라우드니스 게인은 실시간으로 업데이트되는 동적 게인일 수 있다. 제1 구간(401)은 입력 컨텐츠에 대한 라우드니스 분석이 일정 수준 이상 수행되지 않은 초기 구간일 수 있다. 따라서, 오디오 신호 처리 장치는 제1 구간(401)에서 입력 컨텐츠의 라우드니스 게인을 기 설정된 업데이트 주기에 따라 업데이트할 수 있다. 이때, 기 설정된 업데이트 주기는 프레임 단위의 시간일 수 있다. 예를 들어, 라우드니스 게인은 하나의 프레임 마다 업데이트될 수 있다. 또한, 기 설정된 업데이트 주기는 라우드니스 정보가 업데이트되는 주기와 동일할 수도 있다. 이때, 라우드니스 정보가 업데이트되는 주기는 입력 컨텐츠에 대한 라우드니스 측정이 수행되는 측정 주기와 동일할 수 있다. 예를 들어, 기 설정된 업데이트 주기는 100ms일 수 있다.
반면, 제2 구간(402)에서 입력 컨텐츠의 라우드니스 게인은 실시간으로 업데이트되지 않는 정적 게인일 수 있다. 본 개시에서, 정적 게인은 특정 조건에서만 업데이트되는 게인을 나타낼 수 있다. 제2 구간(402)에 앞서는 제1 구간(401) 동안 일정 수준 이상의 라우드니스 측정치가 누적될 수 있다. 이에 따라, 제2 구간(402)에서, 오디오 신호 처리 장치는 정적 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 오디오 신호 처리 장치는 제2 구간(402)에서 입력 컨텐츠에 제1 라우드니스 게인을 적용할 수 있다. 이때, 제1 라우드니스 게인은 제2 구간(402)에서 사용되는 정적 게인의 값을 나타낼 수 있다. 또한, 오디오 신호 처리 장치는 제2 구간(402)에서 제1 라우드니스 게인이 적용된 출력 컨텐츠를 출력할 수 있다.
일 실시예에 따라, 제2 구간(402)에서 사용되는 제1 라우드니스 게인은 제1 구간(401) 동안 분석된 라우드니스 정보에 기초하여 결정된 값일 수 있다. 이때, 제1 구간(401)은 라우드니스 분석 구간일 수 있다. 예를 들어, 오디오 신호 처리 장치는 제1 구간(401) 동안 입력 컨텐츠의 라우드니스를 분석하여 라우드니스 정보를 획득할 수 있다. 예를 들어, 라우드니스 정보는 제1 구간(401) 동안 누적된 제1 누적 라우드니스 레벨을 포함할 수 있다. 오디오 신호 처리 장치는 제1 구간(401)이 종료되는 시점까지 측정된 라우드니스 측정치들에 기초하여, 제1 누적 라우드니스 레벨을 획득할 수 있다. 또한, 오디오 신호 처리 장치는 제1 누적 라우드니스 레벨에 기초하여 제1 라우드니스 게인을 획득할 수 있다. 오디오 신호 처리 장치는 제1 라우드니스 게인에 기초하여 제1 구간(401) 이후에 재생되는 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
추가적인 실시예에 따라, 제2 구간(402)에서 입력 컨텐츠에 적용되는 정적 게인은 특정 상황에서 다른 값으로 변경될 수 있다. 예를 들어, 출력 라우드니스 레벨이 기 설정된 동적 범위를 일정 비율 이상 벗어나는 경우, 오디오 신호 처리 장치는 정적 게인을 업데이트할 수 있다. 또한, 오디오 신호 처리 장치는 기 설정된 동적 범위를 벗어나는 출력 라우드니스 레벨로 출력되는 프레임의 개수에 기초하여 정적 게인의 업데이트 여부를 결정할 수 있다. 예를 들어, 오디오 신호 처리 장치는 기 재생된 특정 구간의 프레임들 중에서, 출력 라우드니스 레벨이 기 설정된 동적 범위를 벗어나는 프레임의 비율을 획득할 수 있다. 이때, 프레임은 입력 컨텐츠가 포함하는 프레임을 나타낸다. 또한, 획득된 비율이 기 설정된 값 이상인 경우, 오디오 신호 처리 장치는 정적 게인을 제1 라우드니스 게인으로부터 제2 라우드니스 게인으로 변경할 수 있다.
구체적으로, 제2 라우드니스 게인은 입력 컨텐츠에 대해 제1 구간(401)이 시작된 시점부터 현재 시점까지 분석된 라우드니스 정보에 기초하여 획득될 수 있다. 오디오 신호 처리 장치는 제1 구간(401)이 시작된 시점부터 현재 시점까지 획득된 라우드니스 측정치들에 기초하여 제2 누적 라우드니스 레벨을 획득할 수 있다. 또한, 오디오 신호 처리 장치는 제2 누적 라우드니스 레벨에 기초하여, 제2 라우드니스 게인을 획득할 수 있다. 오디오 신호 처리 장치는 게인 변경 시점(403)부터 제2 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
추가적인 실시예에 따라, 오디오 신호 처리 장치는 게인 변경 시점(403)으로부터 기 설정된 시간 동안 제1 라우드니스 게인 및 제2 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 제1 라우드니스 게인과 제2 라우드니스 게인 간의 차이로 인해 출력 라우드니스 레벨이 급격히 커지거나 작아질 수 있기 때문이다. 예를 들어, 오디오 신호 처리 장치는 게인 변경 시점(403)으로부터 기 설정된 시간 동안, 제1 라우드니스 게인 및 제2 라우드니스 게인을 특정 시간 단위 별로 가중합하여 특정 시간 단위 별 라우드니스 게인을 획득할 수 있다. 이때, 특정 시간 단위 별 라우드니스 게인은 제1 라우드니스 게인 및 제2 라우드니스 게인으로부터 스무딩(smoothing)된 라우드니스 게인을 나타낼 수 있다. 또한, 특정 시간 단위는 프레임 단위를 나타낼 수 있다. 오디오 신호 처리 장치는 게인 변경 시점(403)으로부터 기 설정된 시간 동안 스무딩된 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
일 실시예에 따라, 기 설정된 시간은 제1 라우드니스 게인과 제2 라우드니스 게인에 기초하여 결정될 수 있다. 예를 들어, 오디오 신호 처리 장치는 제1 라우드니스 게인과 제2 라우드니스 게인을 비교할 수 있다. 또한, 오디오 신호 처리 장치는 비교 결과에 기초하여 기 설정된 시간을 결정할 수 있다. 제1 라우드니스 게인이 제2 라우드니스 게인 보다 작은 경우, 입력 컨텐츠의 라우드니스 레벨이 점차 작아지는 상황일 수 있다. 반면, 제1 라우드니스 게인이 제2 라우드니스 게인 보다 큰 경우, 입력 컨텐츠의 라우드니스 레벨이 점차 커지는 상황일 수 있다. 입력 컨텐츠의 라우드니스 레벨이 점차 커지는 상황에서 라우드니스 게인이 빠른 속도로 감소되지 않는 경우, 청취자의 청각이 손상될 수 있다. 이에 따라, 기 설정된 시간은 제1 라우드니스 게인이 제2 라우드니스 게인 보다 작은 제1 경우 보다, 상기 제1 라우드니스 게인이 상기 제2 라우드니스 게인 보다 큰 제2 경우에 더 짧게 설정될 수 있다.
일 실시예에 따라, 시간 별 라우드니스 게인은 시간 별 라우드니스 게인의 변화 속도를 나타내는 파라미터에 따라 달라질 수 있다. 오디오 신호 처리 장치는 라우드니스 게인 비교 결과에 기초하여, 시간 별 라우드니스 게인의 변화 속도를 나타내는 파라미터를 획득할 수 있다. 예를 들어, 해당 파라미터는 1 라우드니스 게인이 제2 라우드니스 게인 보다 작은 제1 경우 보다, 상기 제1 라우드니스 게인이 상기 제2 라우드니스 게인 보다 큰 제2 경우에 더 빠른 변화 속도에 대응하는 값으로 설정될 수 있다. [수학식 1]은 오디오 신호 처리 장치가 스무딩된 라우드니스 게인을 획득하는 방법의 일 실시예를 나타낸다.
[수학식 1]
Gain'(i) = gain_array_i*Smoothing_filter_coeff
Smoothing_filter_coeff=[smoothing_filter_coeff(1); smoothing_filter_coeff(2); … smoothing_filter_coeff(N)]
Smoothing_filter_coeff(n) = c^n/{c^N+c^(N-1)+c^(N-2)+…}
Smoothing_filter_coeff(1)+Smoothing_filter_coeff(2)+…+Smoothing_filter_coeff(N) = 1
[수학식 1]에서, i는 입력 컨텐츠의 i번째 프레임을 나타낼 수 있다. N은 게인 어레이(gain array)의 사이즈를 나타낼 수 있다. 구체적으로, 게인 어레이의 사이즈는 라우드니스 게인 값들을 저장하는 게인 버퍼의 사이즈일 수 있다. n은 1부터 N까지의 정수일 수 있다. 또한, gain_array_i는 (i-N-1)번째 프레임부터 i번째 프레임까지의 라우드니스 게인을 포함한 N개의 연속한 게인을 저장한 게인 어레이일 수 있다. 오디오 신호 처리 장치는 게인 어레이가 포함하는 프레임 별 라우드니스 게인 각각에 대응하는 스무딩 필터 계수(Smoothing_filter_coeff)를 적용하여 i번째 프레임에 적용되는 스무딩된 라우드니스 게인을 획득할 수 있다. 또한, c는 시간 별 라우드니스 게인의 변화 속도를 나타내는 파라미터를 나타낼 수 있다. 이 경우, c가 클수록 변화 속도가 빨라질 수 있다. 이에 따라, c는 제1 라우드니스 게인이 제2 라우드니스 게인 보다 작은 제1 경우 보다, 상기 제1 라우드니스 게인이 상기 제2 라우드니스 게인 보다 큰 제2 경우에 더 큰 값으로 설정될 수 있다.
한편, 복수의 입력 컨텐츠가 순차적으로 재생되는 경우, 입력 컨텐츠가 제1 입력 컨텐츠에서 제2 입력 컨텐츠로 전환될 수 있다. 이에 따라, 제한 해제 구간에서 기 설정된 시간 동안, 입력 컨텐츠의 라우드니스 측정치가 기 설정된 라우드니스 레벨보다 작은 상태가 지속될 수 있다. 이 경우, 전술한 게인 제한 구간이 다시 시작될 수 있다. 이하에서는, 본 발명의 일 실시예에 따라 게인 제한 구간이 다시 시작되는 조건에 대해 도 5를 참조하여 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 트랜지션(transition) 구간을 나타내는 도면이다. 본 개시에서, 트랜지션 구간은 라우드니스 특성이 전환되는 구간을 나타낼 수 있다. 즉, 트랜지션 구간은 입력 컨텐츠가 제1 컨텐츠에서 제2 컨텐츠로 변경되는 시점 전후의 일정 시간을 포함할 수 있다. 그러나 본 개시의 트랜지션 구간이 이에 제한되는 것은 아니다. 예를 들어, 트랜지션 구간은 단일의 컨텐츠 내에서 라우드니스 특성이 일정 수준 이상 변경되는 시점 전후의 일정 시간 구간을 포함할 수 있다.
본 발명의 일 실시예에 따라, 오디오 신호 처리 장치는 제한 해제 구간인 제1 구간(501-1)에서 측정된 입력 컨텐츠의 라우드니스 측정치에 기초하여 게인 제한 구간을 설정할 수 있다. 예를 들어, 제한 해제 구간인 제2 구간(502) 상의 기준 시점부터 기 설정된 시간 이상의 트랜지션 구간(503) 동안 획득된, 입력 컨텐츠에 대한 라우드니스 측정치들이 기 설정된 라우드니스 레벨 보다 작을 수 있다. 이 경우, 오디오 신호 처리 장치는 트랜지션 구간(503) 이후에 재생되는 입력 컨텐츠의 라우드니스 게인을 제한할 수 있다. 이때, 입력 컨텐츠의 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한될 수 있다. 여기에서, 기 설정된 라우드니스 레벨은 소리가 거의 존재하지 않는 오디오 신호의 라우드니스 레벨에 기초하여 설정된 값일 수 있다. 일 실시예에 따라, 기 설정된 라우드니스 레벨은 청각적으로 인지되기 어려운 라우드니스 레벨에 기초하여 설정된 값일 수 있다. 예를 들어, 기 설정된 라우드니스 레벨은 -70 LKFS에 기초하여 설정된 값일 수 있다. 또한, 기 설정된 시간은 1000ms일 수 있다.
구체적으로, 오디오 신호 처리 장치는 라우드니스 측정 주기에 따라 제1 시점에 제1 라우드니스 측정치를 획득할 수 있다. 또한, 오디오 신호 처리 장치는 제1 시점에 후속하는 측정 주기인 제2 시점에 제2 라우드니스 측정치를 획득할 수 있다. 이때, 제1 라우드니스 측정치가 기 설정된 라우드니스 레벨 보다 크고, 제2 라우드니스 측정치가 기 설정된 라우드니스 레벨 보다 작은 경우, 오디오 신호 처리 장치는 제2 시점을 기준 시점으로 결정할 수 있다. 또한, 제2 시점부터 트랜지션 구간의 듀레이션 동안 획득된 라우드니스 측정치들이 기 설정된 라우드니스 레벨 보다 작은 경우, 오디오 신호 처리 장치는 제3 구간(501-2) 동안 재생되는 입력 컨텐츠의 라우드니스 게인을 제한할 수 있다. 이때, 제3 구간(501-2)은 트랜지션 구간(503)이 종료된 시점부터 기 설정된 듀레이션 동안의 구간일 수 있다. 또한, 제3 구간(501-2)의 듀레이션은 제2 구간(502) 이전의 게인 제한 구간인 제1 구간(501-1)의 듀레이션과 동일한 값으로 설정될 수도 있다.
다른 실시예에 따라, 제2 시점을 기준으로 트랜지션 구간(503)이 종료되기 전의 제3 시점에 측정된 제3 라우드니스 측정치가 기 설정된 라우드니스 레벨 보다 큰 경우, 오디오 신호 처리 장치는 기준 시점을 제3 시점 이후의 시점으로 변경할 수 있다. 오디오 신호 처리 장치는 전술한 방법과 같이 라우드니스 측정치에 기초하여 제3 구간(501-2)이 시작되는 시점을 결정할 수 있다. 또한, 오디오 신호 처리 장치는 제3 구간(501-2)에서 입력 컨텐츠에 적용되는 라우드니스 게인을 제1 게인 허용 범위에 기초하여 제한할 수 있다.
전술한 바와 같이, 라우드니스 정보는 오디오 신호 처리 장치에 의해 설정된 셋업 시점부터 누적된 라우드니스 측정치를 나타내는 누적 라우드니스 레벨을 포함할 수 있다. 이때, 셋업 시점은 입력 컨텐츠에 대한 라우드니스 측정치에 기초하여 재설정될 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 누적 라우드니스 레벨 획득을 위한 셋업 시점을 설정하는 방법에 대해 도 6을 참조하여 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 누적 라우드니스 레벨 획득을 위한 셋업 시점을 설정하는 방법을 나타내는 도면이다. 도 6의 실시예에서, 입력 컨텐츠가 제1 컨텐츠로부터 제2 컨텐츠로 변경되는 경우, 오디오 신호 처리 장치는 셋업 시점을 재설정할 수 있다. 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠가 제1 컨텐츠로부터 제2 컨텐츠로 변경되는 시점을 제2 컨텐츠에 대응하는 제2 셋업 시점으로 사용할 수 있다. 이 경우, 제2 컨텐츠에 대한 제2 누적 라우드니스 레벨은 제2 셋업 시점부터 누적된 라우드니스 측정치에 기초하여 획득될 수 있다. 또한, 오디오 신호 처리 장치는 제2 누적 라우드니스 레벨에 기초하여 제2 컨텐츠의 라우드니스 게인을 획득할 수 있다. 오디오 신호 처리 장치는 획득된 라우드니스 게인에 기초하여 제2 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치는 제1 컨텐츠의 재생이 종료되고, 제2 컨텐츠의 재생이 시작되는 컨텐츠 변경 시점에 관한 정보를 획득할 수 있다. 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠의 부가 정보로부터 컨텐츠 변경 시점에 관한 정보를 획득할 수 있다. 부가 정보는 특정 채널의 프로그램 편성 정보를 포함할 수 있다. 또한, 부가 정보는 해당 입력 컨텐츠가 종료되는 시점을 포함할 수 있다.
또한, 오디오 신호 처리 장치는 사용자의 입력에 기초하여 컨텐츠 변경 시점을 획득할 수도 있다. 예를 들어, 오디오 신호 처리 장치는 채널을 변경하는 사용자 입력을 수신할 수 있다. 이 경우, 오디오 신호 처리 장치는 채널 변경 입력이 수신된 시점에 기초하여 컨텐츠 변경 시점을 획득할 수 있다. 컨텐츠가 변경되는 경우, 컨텐츠 변경 시점으로부터 기 설정된 시간 이내에 변경된 컨텐츠의 게인 제한 구간이 시작될 수 있다. 이때, 게인 제한 구간의 듀레이션은 컨텐츠 별로 서로 다를 수 있다. 도 6을 참조하면, 제2 컨텐츠의 게인 제한 구간의 듀레이션과 제3 컨텐츠의 게인 제한 구간의 듀레이션은 서로 다를 수 있다.
한편, 오디오 신호 처리 장치는 컨텐츠 변경 시점을 외부로부터 수신하지 못할 수 있다. 이 경우, 오디오 신호 처리 장치는 컨텐츠 변경 시점을 예측할 수 있다. 본 발명의 일 실시예에 따라, 오디오 신호 처리 장치는 라우드니스 측정치에 기초하여 컨텐츠 변경 시점을 예측할 수 있다. 예를 들어, 오디오 신호 처리 장치는 현재 시점의 라우드니스 측정치와 누적 라우드니스 레벨에 기초하여 셋업 시점의 재설정 여부를 결정할 수 있다. 오디오 신호 처리 장치는 현재 시점의 라우드니스 측정치와 누적 라우드니스 레벨 사이의 차이에 기초하여 셋업 시점의 재설정 여부를 결정할 수 있다. 또는 오디오 신호 처리 장치는 현재 시점의 라우드니스 측정치와 누적 라우드니스 레벨 사이의 비율에 기초하여 셋업 시점의 재설정 여부를 결정할 수도 있다.
구체적인 실시예에 따라, 현재 시점의 라우드니스 측정치와 누적 라우드니스 레벨 사이의 차이가 기 설정된 크기 보다 큰 경우, 오디오 신호 처리 장치는 현재 시점을 새로운 셋업 시점으로 사용할 수 있다. 또한, 오디오 신호 처리 장치는 트랜지션 구간이 종료되는 시점을 새로운 셋업 시점으로 사용할 수 있다. 또한, 셋업 시점이 재설정된 경우, 오디오 신호 처리 장치는 재설정된 셋업 시점 이후에 재생되는 입력 컨텐츠에 대한 라우드니스 게인을 획득할 수 있다. 이때, 오디오 신호 처리 장치는 재설정된 셋업 시점에 기초한 누적 라우드니스 레벨을 사용하여, 재설정된 셋업 시점 이후에 재생되는 입력 컨텐츠에 대한 라우드니스 게인을 획득할 수 있다.
추가적인 실시예에 따라, 트랜지션 구간 까지의 라우드니스 게인과 트랜지션 구간 이후의 라우드니스 게인 간의 차이가 큰 경우, 청취자는 불편함을 겪을 수 있다. 이에 따라, 오디오 신호 처리 장치는 트랜지션 구간까지 적용된 제3 라우드니스 게인을 적어도 일부 사용하여, 트랜지션 구간 이후 게인 제한 구간의 듀레이션 동안 적용되는 최종 라우드니스 게인을 획득할 수 있다.
예를 들어, 오디오 신호 처리 장치는 트랜지션 구간까지 재생된 입력 컨텐츠를 분석하여 제1 라우드니스 정보를 획득할 수 있다. 오디오 신호 처리 장치는 제1 라우드니스 정보에 기초하여 제3 라우드니스 게인을 획득할 수 있다. 또한, 오디오 신호 처리 장치는 트랜지션 구간 이후 현재 시점까지 재생된 입력 컨텐츠를 분석하여 제2 라우드니스 정보를 획득할 수 있다. 오디오 신호 처리 장치는 제2 라우드니스 정보에 기초하여 제4 라우드니스 게인을 획득할 수 있다.
다음으로, 오디오 신호 처리 장치는 제3 라우드니스 게인과 제4 라우드니스 게인을 가중합하여, 현재 시점 이후에 재생되는 입력 컨텐츠의 최종 라우드니스 게인을 획득할 수 있다. 이때, 제3 라우드니스 게인에 적용되는 제1 가중치는 제4 라우드니스 게인에 적용되는 제2 가중치 보다 작은 값일 수 있다.
한편, 특정 입력 컨텐츠는 입력 컨텐츠에 대한 라우드니스 측정치가 다른 구간에 비해 상대적으로 작은 상태로 유지되는 특정 일부 구간을 포함할 수 있다. 이 경우, 해당 일부 구간에 대응하는 라우드니스 측정치는 입력 컨텐츠의 라우드니스 정보로 활용하기에 적합하지 않을 수 있다. 이에 따라, 본 발명의 일 실시예에 따른, 오디오 신호 처리 장치는 입력 컨텐츠의 재생이 시작된 시점부터 현재 시점까지 측정된 복수의 라우드니스 측정치들 중에서, 일부 라우드니스 측정치를 제외한 라우드니스 측정치들에 기초하여 라우드니스 정보를 획득할 수 있다. 예를 들어, 트랜지션 구간이 시작되는 시점과 기 설정된 레벨 이상의 라우드니스가 측정되는 시점 사이에 측정된 라우드니스 측정치들이 제외될 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치는 오디오 신호 처리 장치의 저장부에 기 저장된 복수의 라우드니스 측정치들 중에서 일부에 대한 데이터를 삭제할 수 있다. 예를 들어, 오디오 신호 처리 장치는 라우드니스 측정치들을 저장하는 저장부를 포함할 수 있다. 그러나 본 개시가 이에 제한되는 것은 아니며, 오디오 신호 처리 장치는 오디오 신호 처리 장치 외부의 저장소에 입력 컨텐츠에 대한 라우드니스 측정치를 저장할 수도 있다. 또한, 오디오 신호 처리 장치는 오디오 신호 처리 장치 외부의 저장소에 저장된 라우드니스 측정치들 중 일부에 대한 데이터를 삭제할 수도 있다.
구체적으로, 오디오 신호 처리 장치는 트랜지션 구간이 시작되는 시점과 기 설정된 레벨 이상의 라우드니스가 측정되는 시점 사이에 측정된 라우드니스 측정치들에 대한 데이터를 삭제할 수 있다. 이때, 삭제된 측정치들은 기 저장된 복수의 라우드니스 측정치들 중 일부일 수 있다. 이를 통해, 오디오 신호 처리 장치는 출력 라우드니스 레벨 조정에 필요한 데이터 저장 용량을 감소시킬 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 출력 라우드니스 레벨을 효율적으로 조정할 수 있다.
한편, 전술한 실시예들에서, 입력 컨텐츠의 출력 라우드니스 레벨은 입력 컨텐츠와 관련된 부가 정보에 기초하여 조정될 수 있다. 이하에서는, 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 입력 컨텐츠와 관련된 부가 정보를 사용하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정하는 방법에 대해 설명하도록 한다. 이하에서, 부가 정보는 입력 컨텐츠와 관련된 부가 정보를 나타낸다. 오디오 신호 처리 장치는 부가 정보에 따라 서로 다른 방법으로 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다.
도 7은 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 부가 정보에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정하는 방법을 나타내는 흐름도이다. 도 7을 참조하면, 단계 S701에서, 오디오 신호 처리 장치는 부가 정보를 획득할 수 있다. 예를 들어, 오디오 신호 처리 장치는 부가 정보를 외부로부터 획득할 수 있다. 구체적으로, 오디오 신호 처리 장치는 외부의 서버를 통해 컨텐츠 관련 부가 정보를 수신할 수 있다. 오디오 신호 처리 장치는 인터넷 TV 또는 케이블 TV와 같이 실시간으로 수신되는 입력 컨텐츠를 출력하는 장치일 수 있다. 이 경우, 오디오 신호 처리 장치는 적어도 입력 컨텐츠의 전체 구간에 대한 수신을 완료하기 전에, 부가 정보를 수신할 수 있다. 일 실시예에 따라, 부가 정보는 컨텐츠의 시작 시점, 종료 시점 또는 길이 중 적어도 하나를 포함할 수 있다. 또한, 부가 정보는 컨텐츠의 장르, 인기도, 시청 횟수, 또는 컨텐츠 제공자 각각을 나타내는 정보 중 적어도 하나를 포함할 수 있다. 또한, 부가 정보는 컨텐츠의 라우드니스 동적 범위를 포함할 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치는 부가 정보에 기초하여 입력 컨텐츠와 관련된 추가적인 정보를 획득할 수도 있다. 예를 들어, 부가 정보가 입력 컨텐츠의 길이 정보를 포함하지 않는 경우, 오디오 신호 처리 장치는 입력 컨텐츠의 길이가 아닌 다른 정보를 이용하여 입력 컨텐츠의 길이를 예측할 수 있다. 이때, 입력 컨텐츠의 길이가 아닌 다른 정보는 입력 컨텐츠와 관련된 부가 정보에 포함될 수 있다.
구체적으로, 오디오 신호 처리 장치는 입력 컨텐츠의 장르에 기초하여 입력 컨텐츠의 길이에 관한 정보를 획득할 수 있다. 입력 컨텐츠의 장르에 대응하는 기 설정된 길이가 입력 컨텐츠의 길이로 설정될 수 있다. 입력 컨텐츠의 장르가 클래식 음악인 경우, 오디오 신호 처리 장치는 클래식 음악에 대응하는 기 설정된 컨텐츠 길이를 입력 컨텐츠의 길이로 사용할 수 있다. 클래식 음악에 대응하는 기 설정된 컨텐츠 길이는 45분일 수 있다. 입력 컨텐츠의 장르가 광고인 경우, 기 설정된 컨텐츠 길이는 10초일 수 있다. 이는 부가 정보를 기초로 추가적인 정보를 획득하는 방법을 나타낼 뿐 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 부가 정보가 입력 컨텐츠의 장르에 대한 정보를 포함하지 않는 경우, 오디오 신호 처리 장치는 부가 정보에 기초하여 입력 컨텐츠의 장르를 예측할 수 있다.
다음으로, 단계 S703에서, 오디오 신호 처리 장치는 획득된 부가 정보에 기초하여 라우드니스 게인 제한과 관련된 파라미터를 결정할 수 있다. 예를 들어, 라우드니스 게인 제한과 관련된 파라미터는 게인 허용 범위 또는 게인 제한 구간의 듀레이션 중 적어도 하나를 포함할 수 있다. 예를 들어, 게인 제한 구간에서 사용되는 제1 게인 허용 범위는 부가 정보에 기초하여 획득될 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠의 장르에 기초하여 제1 게인 허용 범위를 결정할 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠의 길이에 기초하여 입력 컨텐츠의 장르를 획득할 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 장르에 대응하는 기 설정된 범위를 제한 구간에서의 제1 게인 허용 범위로 사용할 수 있다. 구체적으로, 오디오 신호 처리 장치는 미리 정의된 컨텐츠 장르 별 게인 허용 범위 테이블에 기초하여 제1 게인 허용 범위를 결정할 수 있다.
다른 일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠의 컨텐츠 길이에 기초하여 제1 게인 허용 범위를 결정할 수 있다. 예를 들어, 오디오 신호 처리 장치는 부가 정보로부터 입력 컨텐츠의 길이에 대한 정보를 획득할 수 있다. 다음으로, 오디오 신호 처리 장치는 입력 컨텐츠의 길이에 기초하여 제1 게인 허용 범위를 결정할 수 있다.
본 발명의 일 실시예에 따라, 전술한 게인 제한 구간의 듀레이션은 부가 정보에 기초하여 획득될 수 있다. 오디오 신호 처리 장치는 전술한 부가 정보에 기초하여 입력 컨텐츠의 게인 제한 구간인 제1 구간의 듀레이션을 획득할 수 있다. 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠의 길이에 기초하여 제1 구간의 듀레이션을 결정할 수 있다. 구체적인 실시예에 따라, 오디오 신호 처리 장치는 부가 정보로부터 입력 컨텐츠의 길이에 대한 정보를 획득할 수 있다. 다음으로, 오디오 신호 처리 장치는 입력 컨텐츠의 길이에 기초하여 제1 구간의 듀레이션을 결정할 수 있다. 이때, 제1 구간의 듀레이션은 입력 컨텐츠의 길이보다 길이가 긴 다른 컨텐츠의 라우드니스 게인이 제한되는 구간의 듀레이션 보다 짧을 수 있다.
예를 들어, 게인 제한 구간의 듀레이션은 컨텐츠의 길이가 길수록 긴 값으로 설정될 수 있다. 제1 입력 컨텐츠의 길이가 제2 입력 컨텐츠의 길이보다 긴 경우, 제1 입력 컨텐츠의 게인 제한 구간에 대응하는 제1 듀레이션은 제2 입력 컨텐츠의 게인 제한 구간에 대응하는 제2 듀레이션 보다 길 수 있다. 게인 제한 구간의 듀레이션은 컨텐츠의 길이에 비례할 수 있다.
또한, 게인 제한 구간의 듀레이션은 컨텐츠의 길이가 속하는 컨텐츠 길이 구간에 따라 결정될 수도 있다. 예를 들어, 제1 입력 컨텐츠 및 제2 입력 컨텐츠 각각의 길이가 제1 컨텐츠 길이 구간에 포함되는 경우, 제1 듀레이션 및 제2 듀레이션은 동일한 값일 수 있다. 반면, 제3 입력 컨텐츠의 길이가 제1 컨텐츠 길이 구간에 포함되지 않는 경우, 제3 입력 컨텐츠의 게인 제한 구간에 대응하는 제3 듀레이션은 제1 듀레이션과 다른 값일 수 있다. 이 경우, 제3 듀레이션은 제3 입력 컨텐츠의 길이가 속한 제2 컨텐츠 길이 구간에 따라 결정될 수 있다. 제1 컨텐츠 길이 구간에 속한 길이들이 제2 컨텐츠 길이 구간에 속한 길이들보다 긴 경우, 제3 듀레이션은 제1 듀레이션 보다 짧을 수 있다.
또한, 오디오 신호 처리 장치는 기 설정된 기준 길이와 입력 컨텐츠의 길이를 비교한 결과에 기초하여 게인 제한 구간의 듀레이션을 결정할 수도 있다. 예를 들어, 제1 입력 컨텐츠 및 제2 입력 컨텐츠가 기준 길이 보다 긴 경우, 오디오 신호 처리 장치는 제1 기 설정된 듀레이션을 제1 듀레이션 및 제2 듀레이션으로 사용할 수 있다. 반면, 제3 입력 컨텐츠의 길이가 기준 길이 보다 짧은 경우, 오디오 신호 처리 장치는 제2 기 설정된 듀레이션을 제3 듀레이션으로 사용할 수 있다. 이때, 제1 기 설정된 듀레이션은 제2 기 설정된 듀레이션 보다 긴 값일 수 있다. 구체적인 실시예에 따라, 오디오 신호 처리 장치는 컨텐츠 길이가 20분인 입력 컨텐츠를 수신할 수 있다. 오디오 신호 처리 장치는 컨텐츠 길이에 기초하여 컨텐츠 길이의 1/4을 게인 제한 구간으로 설정할 수 있다. 이 경우, 해당 컨텐츠의 게인 제한 구간은 5분일 수 있다.
구체적인 다른 실시예에 따라, 입력 컨텐츠의 길이가 기 설정된 기준 길이 보다 짧은 경우, 입력 컨텐츠의 게인 제한 구간의 듀레이션은 입력 컨텐츠가 재생되는 전 구간일 수도 있다. 예를 들어, 제3 입력 컨텐츠는 기 설정된 기준 길이 보다 컨텐츠 길이가 짧을 수 있다. 이 경우, 오디오 신호 처리 장치는 제3 입력 컨텐츠가 재생되는 전체 구간 동안 제3 입력 컨텐츠의 라우드니스 게인을 제1 게인 허용 범위에 기초하여 제한할 수 있다.
다음으로, 단계 S705에서, 오디오 신호 처리 장치는 획득된 파라미터에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 구체적으로, 오디오 신호 처리 장치는 게인 제한 구간이 시작되는 특정 시점부터 게인 제한 구간의 듀레이션 동안 재생되는 입력 컨텐츠의 라우드니스 게인을 제할 수 있다. 이때, 게인 제한 구간의 듀레이션은 단계 S403에서 입력 컨텐츠의 부가 정보에 기초하여 획득된 듀레이션일 수 있다. 또한, 오디오 신호 처리 장치는 단계 S403에서 획득된 제1 게인 허용 범위에 기초하여 입력 컨텐츠의 라우드니스 게인을 제한할 수 있다. 또한, 오디오 신호 처리 장치는 제한된 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 게인을 조정할 수 있다.
이를 통해, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 입력 컨텐츠 초기의 과도한 라우드니스 증폭을 방지할 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 길이에 따라 서로 다른 방법으로 라우드니스 게인을 제한할 수 있다. 예를 들어, 상대적으로 컨텐츠의 길이가 짧은 입력 컨텐츠의 경우, 컨텐츠의 길이가 긴 입력 컨텐츠에 비해 게인 제한 구간의 길이가 짧을 수 있다. 이를 통해, 오디오 신호 처리 장치는 입력 컨텐츠의 출력 라우드니스 레벨을 효율적으로 조정할 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 장르에 따라 서로 다른 방법으로 라우드니스 게인을 제한하여 사용자에게 다양한 라우드니스 환경을 제공할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 라우드니스 측정치를 획득하는 방법에 대해 도 8을 참조하여 구체적으로 설명하도록 한다. 도 8은 본 발명의 일 실시예에 따라 오디오 신호 처리 장치가 입력 컨텐츠의 라우드니스를 측정하는 방법을 나타내는 도면이다. 일 실시예에 따라, 오디오 신호 처리 장치는 전술한 측정 윈도우에 기초하여 입력 컨텐츠의 라우드니스를 측정할 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 측정 윈도우 별 라우드니스 측정치를 획득할 수 있다. 오디오 신호 처리 장치는 측정 윈도우 별 라우드니스 측정치에 기초하여 라우드니스 정보를 획득할 수 있다.
도 8의 실시예에서, 오디오 신호 처리 장치는 측정 윈도우(801)의 길이에 기초하여 측정 윈도우 별 측정치를 획득할 수 있다. 이때, 측정 윈도우(801)의 길이는 오디오 신호 처리 장치에 기 저장된 디폴트 값일 수 있다. 본 발명의 일 실시예에 따라, 측정 윈도우(801)의 길이는 입력 컨텐츠에 따라 달라질 수도 있다. 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠의 부가 정보에 기초하여 입력 컨텐츠에 대응하는 측정 윈도우의 길이를 획득할 수 있다. 도 7의 실시예에서, 입력 컨텐츠에 대응하는 측정 윈도우의 길이는 400ms일 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠 전체 구간 중에서 특정 400ms 길이의 구간에 대응하는 라우드니스 측정치를 획득할 수 있다.
일 실시예에 따라, 측정 윈도우의 길이는 부가 정보에 기초하여 획득될 수 있다. 예를 들어, 측정 윈도우의 길이는 입력 컨텐츠의 라우드니스 범위에 기초하여 획득될 수 있다. 여기에서, 라우드니스 범위는 컨텐츠의 전체 구간에 대한 라우드니스 레벨 분포를 나타내는 값일 수 있다. 라우드니스 범위는 LU와 같은 상대적인 측정량을 나타내는 단위를 이용하여 표시될 수 있다. 오디오 신호 처리 장치는 부가 정보로부터 입력 컨텐츠의 라우드니스 범위에 대한 정보를 획득할 수 있다. 다음으로, 오디오 신호 처리 장치는 입력 컨텐츠의 라우드니스 범위에 기초하여 측정 윈도우의 길이를 결정할 수 있다. 이때, 입력 컨텐츠의 측정 윈도우의 길이는 입력 컨텐츠의 라우드니스 범위 보다 넓은 라우드니스 범위의 폭을 가지는 다른 컨텐츠의 측정 윈도우 길이 보다 짧은 값으로 설정될 수 있다. 예를 들어, 제1 입력 컨텐츠의 라우드니스 범위가 제2 입력 컨텐츠의 라우드니스 범위 보다 큰 경우, 제1 입력 컨텐츠에 대한 측정 윈도우의 길이는 제2 입력 컨텐츠에 대한 측정 윈도우의 길이보다 길 수 있다.
또한, 오디오 신호 처리 장치는 입력 컨텐츠에 대한 측정치를 획득하는 측정 주기에 따라 측정 윈도우 별 라우드니스 측정치를 획득할 수 있다. 본 개시에서, 측정 주기는 측정 윈도우가 이동되는 시간적 거리를 나타낼 수 있다. 도 8을 참조하면, 제1 측정치(802)는 입력 컨텐츠가 재생되기 시작한 시점을 기준으로 (300ms~ 700ms) 구간에 대응하는 라우드니스 측정치일 수 있다. 또한, 제2 측정치(803)는 입력 컨텐츠가 재생되기 시작한 시점을 기준으로 (400ms~800ms) 구간에 대응하는 라우드니스 측정치일 수 있다. 입력 컨텐츠가 재생되기 시작한 시점으로부터 현재 시점까지의 시간 길이가 측정 윈도우의 길이 보다 작은 경우, 오디오 신호 처리 장치는 현재 시점 이후 도래하는 가장 가까운 측정 주기에 라우드니스 측정치를 획득할 수 있다. 이 경우, 오디오 신호 처리 장치는 측정 윈도우의 길이 보다 짧은 구간에 대응하는 라우드니스 측정치를 획득할 수 있다.
구체적으로, 오디오 신호 처리 장치는 부가 정보에 기초하여 측정 주기를 결정할 수 있다. 예를 들어, 측정 주기는 입력 컨텐츠의 길이에 기초하여 결정될 수 있다. 예를 들어, 제1 입력 컨텐츠의 길이 보다 제2 입력 컨텐츠의 길이가 긴 경우, 제1 입력 컨텐츠의 측정 주기는 제2 입력 컨텐츠의 측정 주기 보다 짧을 수 있다. 또한, 오디오 신호 처리 장치는 결정된 측정 주기에 기초하여 측정 윈도우 별 라우드니스 측정치를 획득할 수 있다. 도 8의 실시예에서 측정 주기는 100ms일 수 있다. 오디오 신호 처리 장치는 측정 윈도우를 100ms 마다 이동시켜, 측정 윈도우 별 라우드니스 측정치를 획득할 수 있다. 또한, 오디오 신호 처리 장치는 도 8을 통해 측정된 복수의 라우드니스 측정치들에 기초하여 전술한 라우드니스 정보를 획득할 수 있다.
한편, 일 실시예에 따라, 전술한 측정 윈도우의 길이는 입력 컨텐츠의 게인 제한 구간과 제한 해제 구간 각각에서 서로 다른 값으로 설정될 수 있다. 예를 들어, 게인 제한 구간에서 측정 윈도우 길이는 제한 해제 구간에서의 측정 윈도우 길이에 비해 짧을 수 있다. 또한, 측정 주기는 입력 컨텐츠의 게인 제한 구간과 제한 해제 구간 각각에서 서로 다른 값으로 설정될 수도 있다. 예를 들어, 게인 제한 구간에서 측정 주기는 제한 해제 구간에서의 측정 주기 보다 짧을 수 있다. 게인 제한 구간은 입력 컨텐츠에 대한 라우드니스 분석이 일정 수준 이상 수행되지 않은 초기 구간일 수 있기 때문이다. 또한, 제한 해제 구간은 게인 제한 구간 이후의 구간이기 때문에, 입력 컨텐츠에 대한 라우드니스 분석이 일정 수준 이상 수행된 구간일 수 있다.
추가적인 일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠를 재생하는 기기의 출력부의 주파수 응답에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 구체적으로, 입력 컨텐츠를 재생하는 기기의 출력부의 컷오프 주파수(Cut-off frequency)는 400Hz일 수 있다. 이 경우, 오디오 신호 처리 장치는 컷오프 주파수 보다 높은 주파수 성분을 통과시키는 제1 필터를 사용하여 입력 컨텐츠의 라우드니스를 측정할 수 있다. 이때, 제1 필터는 고대역 통과 필터(high-pass filter)일 수 있다. 즉, 오디오 신호 처리 장치는 라우드니스 필터 및 제1 필터에 기초하여 제2 필터를 생성할 수 있다. 또한, 오디오 신호 처리 장치는 입력 컨텐츠의 적어도 일부 구간에 제2 필터를 적용하여 라우드니스 측정치를 획득할 수 있다. 또는 오디오 신호 처리 장치는 입력 컨텐츠의 적어도 일부 구간에 라우드니스 필터 및 제1 필터 각각을 적용하여 복수의 필터링된 신호를 생성할 수 있다. 이 경우, 오디오 신호 처리 장치는 복수의 필터링된 신호를 결합하여 라우드니스 측정치를 획득할 수도 있다.
도 9는 본 발명의 일 실시예에 따라 컨텐츠가 변경되는 경우 입력 컨텐츠의 출력 라우드니스 레벨이 조정되는 방법을 나타내는 도면이다. 본 발명의 일 실시예에 따라, 입력 컨텐츠가 제1 컨텐츠로부터 제2 컨텐츠로 변경되는 경우에도, 오디오 신호 처리 장치는 일정 시간 동안 제1 컨텐츠에 대한 라우드니스 정보를 저장할 수 있다. 제1 컨텐츠가 다시 재생될 수도 있기 때문이다. 구체적으로, 채널을 변경하는 사용자 입력에 의해 컨텐츠가 변경된 경우, 오디오 신호 처리 장치는 이전 채널로 다시 복귀하는 사용자 입력을 수신할 수 있다.
이에 따라, 오디오 신호 처리 장치는 입력 컨텐츠가 제1 컨텐츠로부터 제2 컨텐츠로 변경된 제1 변경 시점(901) 부터 기 설정된 정보 유지 시간 동안 기 분석된 제1 컨텐츠에 대한 라우드니스 정보를 저장할 수 있다. 일 실시예에 따라, 제1 변경 시점(901)을 기준으로 기 설정된 정보 유지 시간 이내에 제1 컨텐츠가 다시 재생되는 경우, 오디오 신호 처리 장치는 기 저장된 라우드니스 정보를 사용할 수 있다. 오디오 신호 처리 장치는 제1 변경 시점(901) 이전에 획득된 라우드니스 정보에 기초하여 제2 변경 시점(902) 이후에 재생되는 입력 컨텐츠의 라우드니스 게인을 획득할 수 있다. 제2 변경 시점(902)은 제1 컨텐츠가 다시 재생되기 시작하는 시점일 수 있다. 반면, 기 설정된 정보 유지 시간 이내에 제1 컨텐츠가 다시 재생되지 않는 경우, 오디오 신호 처리 장치는 제1 컨텐츠에 대해 분석된 라우드니스 정보를 삭제할 수 있다. 이를 통해, 오디오 신호 처리 장치는 저장 메모리를 효율적으로 관리할 수 있다. 또한, 오디오 신호 처리 장치는 제1 컨텐츠가 다시 재생되는 경우, 제1 컨텐츠에 대한 기 설정된 수준 이상의 라우드니스 정보를 획득하는데 소요되는 시간을 단축시킬 수 있다.
추가적인 실시예에 따라, 게인 제한 구간은 연속될 수 있다. 예를 들어, 제1 변경 시점(901) 이전에 제1 컨텐츠의 게인 제한 구간의 듀레이션이 전부 경과되지 못할 수 있다. 이 경우, 제2 변경 시점(902) 이후 제1 컨텐츠가 재생되는 구간 중에서 일부 구간은 게인 제한 구간으로 설졍될 수 있다. 이때, 제2 변경 시점을 기준으로 기 설정된 시간 이내에 게인 제한 구간이 시작될 수 있다. 또한, 제1 변경 시점 이후 설정되는 게인 제한 구간의 듀레이션은 게인 제한 구간의 전체 듀레이션 중에서 제1 변경 시점(901) 이전에 경과하지 못한 나머지 부분일 수 있다. 구체적으로, 제1 컨텐츠의 게인 제한 구간의 듀레이션이 1200ms이고, 제1 변경 시점 이전에 경과된 듀레이션이 600ms인 경우, 제2 변경 시점(902) 이후의 특정 시점부터 적어도 600ms 동안 게인 제한 구간으로 설정될 수 있다. 오디오 신호 처리 장치는 해당 구간 동안 제1 게인 허용 범위에 기초하여 제1 컨텐츠의 라우드니스 게인을 제한할 수 있다.
도 10은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(1000)의 구성을 나타내는 블록도이다. 일 실시예에 따라, 오디오 신호 처리 장치(1000)는 수신부(1100), 프로세서(1200), 출력부(1300) 및 저장부(1400)를 포함할 수 있다. 그러나 도 10에 도시된 구성 요소 모두가 오디오 신호 처리 장치의 필수 구성 요소인 것은 아니다. 오디오 신호 처리 장치(1000)는 도 10에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라 도 10에 도시된 오디오 신호 처리 장치(100)의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 일 실시예에 따른 오디오 신호 처리 장치는 수신부(1100) 및 출력부(1300)를 포함하지 않을 수도 있다.
수신부(1100)는 오디오 신호 처리 장치(1000)로 입력되는 입력 컨텐츠를 수신할 수 있다. 수신부(1100)는 프로세서(1200)에 의한 출력 라우드니스 레벨이 조정되는 입력 컨텐츠를 수신할 수 있다. 전술한 바와 같이, 입력 컨텐츠는 오디오 신호를 포함할 수 있다. 이때, 오디오 신호는 앰비소닉 신호, 오브젝트 신호 또는 채널 신호 중 적어도 하나를 포함할 수 있다. 또한, 오디오 신호는 1개의 오브젝트 신호 또는 모노 신호일 수 있다. 오디오 신호는 멀티 오브젝트 또는 멀티 채널 신호일 수도 있다. 일 실시예에 따라, 수신부(1100)는 유선으로 전송되는 입력 컨텐츠를 수신하는 입력 단자를 포함할 수 있다. 또한, 수신부(1100)는 무선으로 전송되는 입력 컨텐츠를 수신하는 무선 수신 모듈을 포함할 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치(1000)는 별도의 디코더를 포함할 수 있다. 이 경우, 수신부(1100)는 입력 컨텐츠의 부호화된 비트스트림을 수신할 수도 있다. 또한, 부호화된 비트스트림은 디코더를 통해 입력 컨텐츠로 복호화될 수 있다. 추가적으로, 수신부(1100)는 입력 컨텐츠와 관련된 부가 정보를 수신할 수 있다.
일 실시예에 따라, 수신부(1100)는 네트워크를 통해 외부의 장치들과 데이터를 송수신하기 위한 송수신 수단을 구비할 수 있다. 이때, 데이터는 입력 컨텐츠의 비트스트림 또는 부가 정보 중 적어도 하나를 포함할 수 있다. 수신부(1100)는 유선으로 전송되는 데이터를 수신하기 위한 유선 송수신 단자를 포함할 있다. 또한, 수신부(1100)는 무선으로 전송되는 데이터를 수신하기 위한 무선 송수신 모듈을 포함할 수 있다. 이 경우, 수신부(1100)는 블루투스(bluetooth) 또는 와이파이(Wi-Fi) 통신 방법을 이용하여 무선으로 전송되는 데이터를 수신할 수 있다. 또한, 수신부(1100)는 LTE(long term evolution), LTE-advanced와 같은 이동 통신 규격에 따라 전송되는 데이터를 수신할 수 있으며, 본 개시가 이에 한정되는 것은 아니다. 수신부(1100)는 다양한 유무선 통신 규격에 따라 전송되는 다양한 형태의 데이터를 수신할 수 있다.
프로세서(1200)는 오디오 신호 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(1200)는 오디오 신호 처리 장치(100)의 각 구성 요소를 제어할 수 있다. 프로세서(1200)는 각종 데이터와 신호의 연산 및 처리를 수행할 수 있다. 프로세서(1200)는 반도체 칩 또는 전자 회로 형태의 하드웨어로 구현되거나 하드웨어를 제어하는 소프트웨어로 구현될 수 있다. 프로세서(1200)는 하드웨어와 상기 소프트웨어가 결합된 형태로 구현될 수도 있다. 예를 들어, 프로세서(1200)는 적어도 하나의 프로그램을 실행함으로써, 수신부(1100), 출력부(1300) 및 저장부(1400)의 동작을 제어할 수 있다. 또한, 프로세서(1200)는 적어도 하나의 프로그램을 실행하여 전술한 도 1 내지 도 9를 통해 설명된 동작을 수행할 수 있다.
일 실시예에 따라, 프로세서(1200)는 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 예를 들어, 프로세서(1200)는 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 라우드니스 정보는 입력 컨텐츠로부터 분석된 입력 컨텐츠의 라우드니스 특성일 수 있다. 이때, 라우드니스 게인은 라우드니스 정보에 기초하여 획득될 수 있다. 또한, 프로세서(1200)는 게인 제한 구간동안 제1 게인 허용 범위에 기초하여 라우드니스 게인을 제한할 수 있다. 프로세서(1200)는 게인 제한 구간에 후속하는 게인 해제 구간에서 제1 게인 허용 범위에 의한 라우드니스 게인에 대한 제한을 해제할 수 있다. 또한, 프로세서(1200)는 입력 컨텐츠로부터 출력 라우드니스 레벨이 조정된 출력 컨텐츠를 출력할 수 있다. 이때, 프로세서(1200)는 후술할 출력부(1300)를 통해 출력 컨텐츠를 출력할 수 있다.
일 실시예에 따라, 프로세서(1200)는 부가 정보를 획득할 수 있다. 예를 들어, 프로세서(1200)는 수신부(1100)를 통해 부가 정보를 수신할 수 있다. 프로세서(1200)는 부가 정보에 기초하여 게인 제한과 관련된 파라미터를 결정할 수 있다. 구체적으로, 프로세서(1200)는 부가 정보에 기초하여 게인 제한 구간의 듀레이션을 획득할 수 있다. 또한, 프로세서(1200)는 게인 제한 구간이 시작되는 시점부터 획득된 듀레이션 동안 입력 컨텐츠의 라우드니스 게인을 게인 허용 범위에 기초하여 제한할 수 있다.
출력부(1300)는 출력 컨텐츠를 출력할 수 있다. 출력부(1300)는 프로세서(1200)에 의해 입력 컨텐츠로부터 출력 라우드니스 레벨이 조정된 출력 컨텐츠를 출력할 수 있다. 여기에서, 출력 컨텐츠는 출력 오디오 신호를 포함할 수 있다. 이 경우, 출력 오디오 신호는 앰비소닉 신호, 오브젝트 신호 또는 채널 신호 중 적어도 하나를 포함할 수 있다. 출력 오디오 신호는 멀티 오브젝트 또는 멀티 채널 신호일 수도 있다. 또한, 출력 오디오 신호는 청취자의 양이에 각각 대응하는 2 채널 출력 오디오 신호를 포함할 수 있다. 출력 오디오 신호는 바이노럴 2 채널 출력 오디오 신호를 포함할 수 있다. 출력부(1300)는 프로세서(1200)에 의해 출력 라우드니스 레벨이 조정된 오디오 헤드폰 신호를 출력할 수 있다.
일 실시예에 따라, 출력부(1300)는 출력 컨텐츠를 출력하는 출력 수단을 구비할 수 있다. 예를 들어, 출력부(1300)는 출력 오디오 신호를 외부로 출력하는 출력 단자를 포함할 수 있다. 이때, 오디오 신호 처리 장치(100)는 출력 단자에 연결된 외부 장치로 출력 오디오 신호를 출력할 수 있다. 출력부(1300)는 출력 오디오 신호를 외부로 출력하는 무선 오디오 송신 모듈을 포함할 수 있다. 이 경우, 출력부(1300)는 블루투스 또는 와이파이와 같은 무선 통신 방법을 이용하여 외부 장치로 출력 오디오 신호를 출력할 수 있다.
또한, 출력부(1300)는 스피커를 포함할 수 있다. 이 경우, 오디오 신호 처리 장치(100)는 스피커를 통해 출력 오디오 신호를 출력할 수 있다. 또한, 출력부(1300)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환하는 컨버터(예를 들어, digital-to-analog converter, DAC)를 추가적으로 포함할 수 있다. 추가적으로, 출력부(1300)는 출력 컨텐츠가 포함하는 비디오 신호를 출력하는 디스플레이 수단을 구비할 수 있다.
저장부(1400)는 프로세서(1200)의 처리 및 제어를 위한 데이터 또는 프로그램 중 적어도 하나를 저장할 수 있다. 예를 들어, 저장부(1400)는 프로세서(1200)를 통해 획득된 라우드니스 측정치를 저장할 수 있다. 또한, 저장부(1400)는 프로세서(1200)에서 연산된 결과를 저장할 수 있다. 예를 들어, 저장부(1400)는 라우드니스 측정치를 기반으로 획득된 라우드니스 정보를 저장할 수 있다. 또한, 저장부(1400)는 프로세서(1200)에 의해 연산된 누적 라우드니스 레벨을 저장할 수 있다. 또한, 저장부(1400)는 오디오 신호 처리 장치(1000)로 입력되거나 오디오 신호 처리 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
저장부(1400)는 적어도 하나의 메모리를 구비할 수 있다. 이때, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서는 본 개시를 구체적인 실시예를 통하여 설명하였으나, 본 개시가 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 개시의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 개시는 오디오 신호에 대한 라우드니스 레벨 조정의 실시예에 대하여 설명하였지만, 본 개시는 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 개시의 상세한 설명 및 실시예로부터 본 개시가 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 개시의 권리범위에 속하는 것으로 해석된다.
Claims (20)
- 오디오 신호 처리 장치에 있어서,
입력 컨텐츠의 출력 라우드니스(loudness) 레벨을 조정하는 프로세서를 포함하고,
상기 프로세서는,
상기 입력 컨텐츠로부터 분석된 라우드니스 정보를 획득하고,
상기 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 상기 입력 컨텐츠에 적용되는 라우드니스 게인을 획득하고,
상기 입력 컨텐츠의 출력 라우드니스 레벨을 상기 라우드니스 게인에 기초하여 조정하되,
상기 입력 컨텐츠가 재생되는 전체 구간 중 제1 구간에서 상기 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한되고,
상기 제1 게인 허용 범위는, 제1 최대 게인 값보다 작은 라우드니스 게인 값들을 포함하고,
상기 제1 구간에 후속하는 제2 구간에서 상기 라우드니스 게인에 대한 상기 제한이 해제되고, 상기 제1 최대 게인 값보다 큰 라우드니스 게인 값이 상기 제2 구간에서 상기 입력 컨텐츠에 적용되는, 오디오 신호 처리 장치. - 제1 항에 있어서,
상기 제1 구간은 특정 시점으로부터 시작되어 기 설정된 듀레이션을 가지는 초기 구간인, 오디오 신호 처리 장치. - 제1 항에 있어서,
상기 제2 구간에서, 상기 라우드니스 게인은 적어도 상기 제1 게인 허용 범위 보다 넓은 범위의 제2 게인 허용 범위에 기초하여 제한되는, 오디오 신호 처리 장치. - 제3 항에 있어서,
상기 제2 게인 허용 범위는, 제2 최대 게인 값보다 작은 라우드니스 게인 값들을 포함하고,
상기 제1 최대 게인 값은 상기 제2 최대 게인 값보다 작은 값인 오디오 신호 처리 장치. - 제1 항에 있어서,
상기 프로세서는,
상기 입력 컨텐츠와 관련된 부가 정보를 획득하고,
상기 부가 정보에 기초하여 상기 제1 게인 허용 범위를 결정하는, 오디오 신호 처리 장치. - 제5 항에 있어서,
상기 프로세서는,
상기 부가 정보로부터 상기 입력 컨텐츠의 장르에 관한 정보를 획득하고,
상기 제1 게인 허용 범위는 상기 입력 컨텐츠의 장르에 기초하여 결정되는, 오디오 신호 처리 장치. - 제5 항에 있어서,
상기 프로세서는,
상기 부가 정보에 기초하여, 상기 제1 구간의 듀레이션을 획득하고,
상기 제1 구간이 시작되는 특정 시점부터 상기 제1 구간의 듀레이션 동안 재생되는 입력 컨텐츠의 라우드니스 게인은, 상기 제1 게인 허용 범위에 기초하여 제한되는, 오디오 신호 처리 장치. - 제7 항에 있어서,
상기 프로세서는,
상기 부가 정보로부터 상기 입력 컨텐츠의 길이에 대한 정보를 획득하고,
상기 제1 구간의 듀레이션은, 길이가 상기 입력 컨텐츠의 길이보다 긴 다른 컨텐츠의 라우드니스 게인이 제한되는 구간의 듀레이션 보다 짧은, 오디오 신호 처리 장치. - 제7 항에 있어서,
상기 프로세서는,
상기 입력 컨텐츠에 대한 측정 윈도우 별 라우드니스 측정치를 획득하고,
상기 측정 윈도우 별 라우드니스 측정치에 기초하여 상기 라우드니스 정보를 획득하되, 상기 측정 윈도우는 하나의 라우드니스 측정치 획득에 사용되는 단위 시간을 나타내는, 오디오 신호 처리 장치. - 제9 항에 있어서,
상기 제2 구간의 특정 시점부터 기 설정된 시간 이상의 트랜지션(transition) 구간 동안 상기 라우드니스 측정치가 제1 기 설정된 라우드니스 레벨 보다 작은 경우, 상기 트랜지션 구간 이후부터 상기 제1 구간의 듀레이션 동안 재생되는 입력 컨텐츠의 라우드니스 게인은 상기 제1 게인 허용 범위에 기초하여 제한되는, 오디오 신호 처리 장치. - 제10 항에 있어서,
상기 프로세서는,
상기 입력 컨텐츠의 재생이 시작된 시점부터 현재 시점까지 측정된 복수의 라우드니스 측정치들 중에서, 상기 트랜지션 구간이 시작되는 시점과 제2 기 설정된 레벨 이상의 라우드니스가 측정되는 시점 사이에 측정된 라우드니스 측정치를 제외한 복수의 라우드니스 측정치들에 기초하여 상기 라우드니스 정보를 획득하는, 오디오 신호 처리 장치. - 제11 항에 있어서,
상기 오디오 신호 처리 장치는,
상기 복수의 라우드니스 측정치들을 저장하는 저장부를 더 포함하고,
상기 프로세서는,
상기 저장부에 기 저장되고, 상기 트랜지션 구간이 시작되는 시점과 제2 기 설정된 레벨 이상의 라우드니스가 측정되는 시점 사이에 측정된 라우드니스 측정치들에 대한 데이터를 삭제하는, 오디오 신호 처리 장치. - 제10 항에 있어서,
상기 프로세서는,
상기 트랜지션 구간까지 재생된 입력 컨텐츠에 대한 제1 라우드니스 정보에 기초하여 제1 라우드니스 게인을 획득하고,
상기 트랜지션 구간 이후 현재 시점까지 재생된 입력 컨텐츠에 대한 제2 라우드니스 정보에 기초하여 제2 라우드니스 게인을 획득하고,
상기 제1 라우드니스 게인과 상기 제2 라우드니스 게인을 가중합하여, 상기 현재 시점 이후 재생되는 입력 컨텐츠의 라우드니스 게인을 획득하되,
상기 제1 라우드니스 게인에 적용되는 제1 가중치는 상기 제2 라우드니스 게인에 적용되는 제2 가중치 보다 작은, 오디오 신호 처리 장치. - 제9 항에 있어서,
상기 라우드니스 정보는 상기 오디오 신호 처리 장치에 의해 설정된 셋업 시점부터 누적된 라우드니스 측정치를 나타내는 누적 라우드니스 레벨을 포함하고,
상기 프로세서는,
상기 누적 라우드니스 레벨에 기초하여 상기 입력 컨텐츠의 라우드니스 게인을 획득하되,
현재 시점의 라우드니스 측정치와 상기 누적 라우드니스 레벨 사이의 차이가 기 설정된 크기 보다 큰 경우, 상기 셋업 시점은 상기 현재 시점으로 재설정되는, 오디오 신호 처리 장치. - 제14 항에 있어서,
상기 제2 구간의 특정 시점부터 기 설정된 시간 이상의 트랜지션(transition) 구간 동안 상기 라우드니스 측정치가 제1 기 설정된 라우드니스 레벨 보다 작은 경우, 상기 셋업 시점은 상기 트랜지션 구간의 종료 시점으로 재설정되는, 오디오 신호 처리 장치. - 제5 항에 있어서,
상기 부가 정보는 상기 입력 컨텐츠의 길이, 장르, 인기도, 시청 횟수, 라우드니스 동적 범위 또는 컨텐츠 제공자 각각을 나타내는 정보 중 적어도 하나를 포함하는, 오디오 신호 처리 장치. - 입력 컨텐츠의 출력 라우드니스(loudness) 레벨을 조정하는 오디오 신호 처리 방법에 있어서,
상기 입력 컨텐츠로부터 분석된 라우드니스 정보를 획득하는 단계;
상기 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 상기 입력 컨텐츠에 적용되는 라우드니스 게인을 획득하는 단계; 및
상기 입력 컨텐츠의 출력 라우드니스 레벨을 상기 라우드니스 게인에 기초하여 조정하는 단계를 포함하고,
상기 입력 컨텐츠가 재생되는 전체 구간 중 제1 구간에서 상기 라우드니스 게인은 제1 게인 허용 범위에 기초하여 제한되고,
상기 제1 게인 허용 범위는, 제1 최대 게인 값보다 작은 라우드니스 게인 값들 포함하고,
상기 제1 구간에 후속하는 제2 구간에서 상기 라우드니스 게인에 대한 상기 제한이 해제되고, 상기 제1 최대 게인 값보다 큰 라우드니스 게인 값이 상기 제2 구간에서 상기 입력 컨텐츠에 적용되는, 오디오 신호 처리 방법. - 제17 항에 있어서,
상기 제1 구간은 특정 시점으로부터 시작되어 기 설정된 듀레이션을 가지는 초기 구간인, 오디오 신호 처리 방법. - 제17 항에 있어서,
상기 제2 구간에서, 상기 라우드니스 게인은 적어도 상기 제1 게인 허용 범위 보다 넓은 범위의 제2 게인 허용 범위에 기초하여 제한되는, 오디오 신호 처리 방법. - 제17 항에 있어서,
상기 방법은,
상기 입력 컨텐츠와 관련된 부가 정보를 획득하는 단계; 및
상기 부가 정보에 기초하여, 상기 제1 구간의 듀레이션을 획득하는 단계를 포함하고,
상기 제1 구간이 시작되는 특정 시점부터 상기 제1 구간의 듀레이션 동안 재생되는 입력 컨텐츠의 라우드니스 게인은, 상기 제1 게인 허용 범위에 기초하여 제한되는, 오디오 신호 처리 방법.
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180049226 | 2018-04-27 | ||
| KR1020180049226 | 2018-04-27 | ||
| KR1020180051140 | 2018-05-03 | ||
| KR20180051140 | 2018-05-03 | ||
| KR20180051719 | 2018-05-04 | ||
| KR1020180051719 | 2018-05-04 | ||
| KR20180073337 | 2018-06-06 | ||
| KR1020180073337 | 2018-06-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190125219A KR20190125219A (ko) | 2019-11-06 |
| KR102346669B1 true KR102346669B1 (ko) | 2022-01-04 |
Family
ID=68290583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190048899A KR102346669B1 (ko) | 2018-04-27 | 2019-04-26 | 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10686420B2 (ko) |
| KR (1) | KR102346669B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102295287B1 (ko) * | 2019-12-26 | 2021-08-30 | 네이버 주식회사 | 오디오 신호 처리 방법 및 시스템 |
| KR20220033818A (ko) * | 2020-09-10 | 2022-03-17 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
| WO2022086196A1 (ko) * | 2020-10-22 | 2022-04-28 | 가우디오랩 주식회사 | 기계 학습 모델을 이용하여 복수의 신호 성분을 포함하는 오디오 신호 처리 장치 |
| AU2021385196A1 (en) * | 2020-11-24 | 2023-06-22 | Gaudio Lab, Inc. | Method for normalizing audio signal, and device therefor |
| CN113345447B (zh) * | 2021-08-09 | 2021-10-29 | 北京百瑞互联技术有限公司 | 防止广告干扰的音频编解码方法、系统、发射器及接收器 |
| CN114449413B (zh) * | 2022-02-16 | 2023-12-22 | 深圳万兴软件有限公司 | 音频信号的响度控制方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016523006A (ja) * | 2013-03-26 | 2016-08-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ボリューム平準化器コントローラおよび制御方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8275153B2 (en) * | 2007-04-16 | 2012-09-25 | Evertz Microsystems Ltd. | System and method for generating an audio gain control signal |
| US20150207481A1 (en) * | 2007-11-16 | 2015-07-23 | Adobe Systems Incorporated | Genre dependent audio level control |
| US9413322B2 (en) * | 2012-11-19 | 2016-08-09 | Harman International Industries, Incorporated | Audio loudness control system |
-
2019
- 2019-04-26 US US16/396,632 patent/US10686420B2/en active Active
- 2019-04-26 KR KR1020190048899A patent/KR102346669B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016523006A (ja) * | 2013-03-26 | 2016-08-04 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ボリューム平準化器コントローラおよび制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190334496A1 (en) | 2019-10-31 |
| US10686420B2 (en) | 2020-06-16 |
| KR20190125219A (ko) | 2019-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102346669B1 (ko) | 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치 | |
| JP7266916B2 (ja) | ラウドネスレベルを制御するオーディオ信号処理方法及び装置 | |
| US11727948B2 (en) | Efficient DRC profile transmission | |
| EP2149983A1 (en) | A method and an apparatus for processing an audio signal | |
| JP2010513974A (ja) | 音声データを処理するシステム | |
| CN109920440A (zh) | 用于各种回放环境的动态范围控制 | |
| KR102642727B1 (ko) | 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어하는 방법 및 이를 이용하는 장치 | |
| JP2008504783A (ja) | 音声信号のラウドネスを自動的に調整する方法及びシステム | |
| US12040762B2 (en) | Method for performing normalization of audio signal and apparatus therefor | |
| KR102707037B1 (ko) | 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치 | |
| US11539339B2 (en) | Audio signal processing method and apparatus for frequency spectrum correction | |
| JP2024023163A (ja) | 音声信号処理装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |