KR102550396B1 - 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어 방법 및 이를 이용하는 장치 - Google Patents

메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR102550396B1
KR102550396B1 KR1020210030562A KR20210030562A KR102550396B1 KR 102550396 B1 KR102550396 B1 KR 102550396B1 KR 1020210030562 A KR1020210030562 A KR 1020210030562A KR 20210030562 A KR20210030562 A KR 20210030562A KR 102550396 B1 KR102550396 B1 KR 102550396B1
Authority
KR
South Korea
Prior art keywords
loudness
audio signal
meta data
signal processing
distribution information
Prior art date
Application number
KR1020210030562A
Other languages
English (en)
Other versions
KR20210116274A (ko
Inventor
정현주
전상배
오현오
서정훈
Original Assignee
가우디오랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가우디오랩 주식회사 filed Critical 가우디오랩 주식회사
Publication of KR20210116274A publication Critical patent/KR20210116274A/ko
Priority to KR1020230081651A priority Critical patent/KR102642727B1/ko
Application granted granted Critical
Publication of KR102550396B1 publication Critical patent/KR102550396B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G7/00Volume compression or expansion in amplifiers
    • H03G7/002Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/3005Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G7/00Volume compression or expansion in amplifiers
    • H03G7/007Volume compression or expansion in amplifiers of digital or coded signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 장치의 동작 방법이 개시된다. 상기 동작 방법은 상기 오디오 신호를 수신하는 단계; 상기 오디오 신호의 라우드니스에 관련된 정보를 포함하는 메타 데이터를 수신하고, 상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 라우드니스 분포 정보를 포함하는 단계; 및 상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계를 포함한다.

Description

메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어 방법 및 이를 이용하는 장치{METHOD FOR CONTROLL LOUDNESS LEVEL OF AUDIO SIGNL USING METADATA AND APPARATUS USING THE SAME}
본 발명은 오디오 신호를 효과적으로 재생하기 위한 오디오 신호 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 컨텐츠의 오디오 신호가 출력되는 라우드니스 레벨을 조정하여 사용자에게 보다 몰입감이 높은 오디오 신호를 제공하기 위한 오디오 신호 처리 방법 및 장치에 관한 것이다.
사용자에게 오디오를 제공하는 방법이 아날로그 방식에서 디지털화되면서, 더 넓은 음량 영역에 대한 표현이 가능하게 되었다. 또한, 오디오 신호의 음량은 오디오 신호에 대응하는 컨텐츠에 따라 다양화되고 있는 추세이다. 오디오 컨텐츠 제작 과정에서, 오디오 컨텐츠 별로 의도하는 라우드니스가 서로 다르게 설정될 수 있기 때문이다. 이에 따라, 국제 전기 통신 연합(International Telecommunication Union, ITU), 유럽 방송 연합(European Broadcasting Union, EBU)과 같은 국제 표준 단체에서는 오디오의 라우드니스에 대한 표준을 발행하였다. 그러나 국가 별로 라우드니스를 측정하는 방법과 기준이 상이하기 때문에, 국제 표준 단체에 의해 발행된 표준을 적용하기 어려운 문제점이 있다.
컨텐츠의 제작자들은 상대적으로 라우드니스가 크게 믹싱된 컨텐츠를 제작하여 사용자에게 제공하려 한다. 오디오 신호의 음향 크기가 증가하는 경우 해당 오디오 신호의 음질이 향상된 것으로 인지하는 심리적 음향 특성 때문이다. 이에 따라, 라우드니스 전쟁(Loudness War)이라 일컫는 경쟁 구도가 형성되고 있다. 이로 인해, 컨텐츠 내부적으로 또는 복수의 컨텐츠 간의 라우드니스 차이가 발생하게 되고, 사용자는 해당 컨텐츠들이 재생되는 기기의 볼륨을 반복적으로 조정해야 하는 불편함을 겪을 수 있다. 따라서, 컨텐츠 재생 기기를 사용하는 사용자의 편의를 위해 오디오 컨텐츠의 라우드니스를 정규화하는 기술이 요구된다.
본 발명의 일 실시예는 오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 방법에서, 해당 컨텐츠의 출력 라우드니스 레벨을 효율적으로 보정하는 것을 목적으로 한다.
본 발명의 일 실시예에 따라 오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 장치의 동작방법은 상기 오디오 신호를 수신하는 단계; 상기 오디오 신호의 라우드니스에 관련된 정보를 포함하는 메타 데이터를 수신하고, 상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 라우드니스 분포 정보를 포함하는 단계; 및 상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계를 포함한다.
상기 단계 별 상기 비율의 값은 가변 길이로 인코딩될 수 있다.
상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계에 각각 해당하는 상기 비율의 값을 포함하는 비트열을 포함하고, 상기 비트열은 미리 지정된 개수만큼 반복되어 위치하며 각 단계에 해당하는 상기 비율을 나타내는 비트들의 끝을 지시하는 엔딩 플래그를 포함할 수 있다.
상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계는 아래의 비트 연산을 사용하여 상기 단계 별 상기 비율의 값을 획득하는 단계를 포함할 수 있다.
Figure 112021027449250-pat00001
상기 메타 데이터는 상기 라우드니스 분포 정보에 기준이되는 라우드니스의 타입을 지시하는 정보를 포함할 수 있다. 이때, 상기 라우드니스의 타입은 라우드니스를 측정한 시간 구간의 길이에 따라 구분될 수 있다.
상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계는 상기 라우드니스 분포 정보 및 상기 오디오 신호에 적용되는 비선형 프로세싱의 특징을 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계를 포함할 수 있다.
상기 비선형 프로세싱은 DRC(dynamic range control를 포함할 수 있다.
상기 라우드니스 분포 정보 및 상기 오디오 신호에 적용되는 비선형 프로세싱의 특징을 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계는 상기 오디오 신호의 라우드니스에 상기 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 더한 값과 타겟 라우드니스와의 차이를 기초로 라우드니스를 보정하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따라 오디오 신호를 포함하는 컨텐츠를 위한 메타 데이터를 생성하는 방법은 상기 오디오 신호의 라우드니스 분포 정보 획득하고, 상기 라우드니스 분포 정보는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 단계; 및 상기 메타 데이터에 상기 라우드니스 분포 정보를 삽입하는 단계를 포함한다.
상기 메타 데이터에 상기 라우드니스 분포 정보를 삽입하는 단계는 상기 단계 별 상기 비율을 가변 길이로 인코딩하는 단계를 포함할 수 있다.
상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계에 각각 해당하는 상기 오디오 신호 비율을 포함하는 비트열을 포함하고, 상기 비트열은 미리 지정된 개수만큼 반복되어 위치하며 각 단계에 해당하는 상기 오디오 신호 비율을 나타내는 비트들의 끝을 지시하는 엔딩 플래그를 포함할 수 있다.
상기 엔딩 플래그는 상기 비트열에서 매 8비트마다 반복해서 위치할 수 있다.
상기 메타 데이터는 상기 라우드니스 분포 정보에 기준이되는 라우드니스의 타입을 지시하는 정보를 포함할 수 있다.
상기 라우드니스의 타입은 라우드니스를 측정한 시간 구간의 길이에 따라 구분될 수 있다.
본 발명의 실시 예에 따라 오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 장치는 상기 오디오 신호를 수신하는 수신부; 및 상기 오디오 신호 처리 장치를 제어하는 프로세서를 포함한다.
상기 프로세서는 상기 오디오 신호의 라우드니스에 관련된 정보를 포함하는 메타 데이터를 수신하고, 상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 라우드니스 분포 정보를 포함하고, 상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정할 수 있다.
상기 단계 별 상기 비율의 값은 가변 길이로 인코딩될 수 있다.
상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계에 각각 해당하는 상기 비율의 값을 포함하는 비트열을 포함할 수 있다. 이때, 상기 비트열은 미리 지정된 개수만큼 반복되어 위치하며 각 단계에 해당하는 상기 비율을 나타내는 비트들의 끝을 지시하는 엔딩 플래그를 포함할 수 있다.
상기 프로세서는 아래의 비트 연산을 사용하여 상기 단계 별 상기 비율의 값을 획득할 수 있다.
Figure 112021027449250-pat00002
상기 메타 데이터는 상기 라우드니스 분포 정보에 기준이되는 라우드니스의 타입을 지시하는 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 장치 및 방법은 오디오 신호를 포함하는 컨텐츠를 재생할 때, 오디오 신호의 라우드니스 레벨을 효과적으로 보정할 수 있다. 또한, 본 발명의 일 실시예에 따른 장치 및 방법은 사용자에게 음질 향상 및 음량 조절에 대한 편의를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따라 복수의 컨텐츠가 재생되는 동안 시간에 따라 변화하는 라우드니스 레벨을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 동작을 나타내는 블록도이다.
도 3은 본 발명의 실시 예에 따라 라우드니스 분포 정보를 포함하는 메타데이터의 신택스를 보여준다.
도 4는 본 발명의 실시 예에 따른 오디오 신호 처리 장치가 메타 데이터를 이용하여 오디오 신호의 라우드니스를 보정하는 방법을 보여준다.
도 5는 본 발명의 실시 예에 따른 오디오 신호 처리 장치의 동작 방법을 보여준다.
도 6 본 발명의 실시 예에 따라 메타 데이터를 생성하는 방법을 보여준다.
도 7은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 구성을 나타내는 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시는 오디오 신호 처리 장치가 입력 컨텐츠의 출력 라우드니스(loudness) 레벨을 보정하는 방법에 관한 것이다. 본 개시에서, 입력 컨텐츠는 오디오 신호를 포함하는 컨텐츠일 수 있다. 본 개시에서, 입력 컨텐츠는 입력 오디오 신호로 지칭될 수도 있다. 또한, 라우드니스는 청각을 통해 인지되는 음향의 크기를 나타낼 수 있다. 라우드니스 레벨은 라우드니스를 나타내는 수치일 수 있다. 예를 들어, 라우드니스 레벨은 LKFS(Loudness K-Weighted relative to Full Scale) 또는 LUFS(Loudness Unit relative to Full Scale)와 같은 단위를 사용하여 표시될 수 있다. 또한, 라우드니스 레벨은 sone 또는 phon과 같은 단위를 사용하여 표시될 수도 있다.
이하에서는, 도 1을 참조하여 오디오 신호의 라우드니스에 대해 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따라 복수의 컨텐츠가 재생되는 동안 시간에 따라 변화하는 라우드니스 레벨을 나타내는 도면이다. 도 1을 참조하면, 시간에 따라 변화하는 평균 라우드니스(average loudness), 단구간 라우드니스(short-term loudness) 및 라우드니스 동적 범위(dynamic range)가 도시된다. 평균 라우드니스 레벨은 하나의 컨텐츠에 대응하는 단일의 라우드니스 값일 수 있다. 평균 라우드니스 레벨은 컨텐츠(content1, content2, content3) 별로 상이할 수 있다. 도 1에서, 실선은 각 컨텐츠(content1, content2, content3) 별 평균 라우드니스 레벨을 나타낸다.
단구간 라우드니스 레벨은 컨텐츠의 일부분에 대한 라우드니스 측정치일 수 있다. 이때, 컨텐츠의 일부분은 하나의 측정 윈도우에 포함된 부분일 수 있다. 오디오 신호 처리 장치는 하나의 컨텐츠에 대해 복수의 단구간 라우드니스 레벨들을 획득할 수 있다. 또한, 평균 라우드니스 레벨은 복수의 단구간 라우드니스 레벨들의 평균일 수 있다. 도 1에서, 재생 및 전환되는 복수의 컨텐츠들 각각은 서로 다른 라우드니스 특성을 가진다.
예를 들어, 영상 제공 서비스를 제공하는 플랫폼에서 서로 다른 컨텐츠들이 전환되는 경우, 전환되는 컨텐츠들 사이에 광고 컨텐츠가 삽입될 수 있다. 이 경우, 오디오 신호 처리 장치는 일정한 범위 내의 라우드니스 레벨을 유지하기 어려울 수 있다. 또한, 서로 다른 컨텐츠 간에 라우드니스 동적 범위의 차이가 클 수 있다. 이러한 환경에서, 오디오 신호 처리 장치는 청취자가 원하는 범위 내의 라우드니스 레벨을 제공하기 어려울 수 있다.
구체적으로, 컨텐츠가 전환되는 경우, 청취자는 먼저 단구간 라우드니스 레벨이 급격히 변화되는 것을 인지할 수 있다. 이에 따라, 청취자는 오디오 신호를 출력하는 기기의 볼륨을 조절해야 할 수 있다. 또한, 청취자는 전환된 컨텐츠가 재생되면서 평균 라우드니스에 따른 적정 게인을 설정하기 위해 볼륨을 다시 조절해야 할 수 있다. 예를 들어, 전환된 컨텐츠의 초기 구간의 라우드니스에 기반하여 조절된 볼륨에 따라 전환된 컨텐츠가 재생되는 경우, 컨텐츠 특성에 따라 라우드니스 레벨이 급격히 증가하거나 급격히 감소하는 상황이 발생할 수 있다. 라우드니스 레벨이 급격히 증가하거나 급격히 감소하여 컨텐츠의 내용을 파악할 수 없는 경우, 청취자는 오디오 신호를 출력하는 기기의 볼륨을 또 다시 조절해야 할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 입력 컨텐츠의 출력 라우드니스 레벨을 제어하여 청취자의 편의성을 높일 수 있다. 구체적으로, 오디오 신호 처리 장치는 입력 컨텐츠의 라우드니스 레벨에 기초하여 라우드니스 레벨을 보정할 수 있다. 이때, 특정 구간에서 입력된 컨텐츠에 적용되는 게인은 게인 허용 범위에 기초하여 제한될 수 있다.
본 발명의 일 실시예에 따르면, 서로 다른 기준으로 생성되었거나, 특정한 기준 없이 생성된 입력 컨텐츠의 라우드니스 레벨을 타겟 라우드니스(target loudness) 레벨을 기준으로 정규화할 수 있다. 여기에서, 타겟 라우드니스 레벨은 오디오 신호 처리 장치가 출력하고자 하는 라우드니스 레벨일 수 있다. 예를 들어, 타겟 라우드니스 레벨은 입력 컨텐츠의 컨텐츠 제작자에 의해 설정될 수 있다. 이 경우, 오디오 신호 처리 장치는 입력 컨텐츠와 함께 타겟 라우드니스에 대한 정보를 수신할 수 있다. 또한, 타겟 라우드니스 레벨은 입력 컨텐츠의 장르에 따라 서로 다른 값으로 설정될 수도 있다. 이 경우, 오디오 신호 처리 장치는 입력 컨텐츠의 장르에 기초하여 타겟 라우드니스 레벨을 결정할 수 있다. 타겟 라우드니스 레벨은 오디오 신호 처리 장치에 기 저장된 디폴트 값으로 설정될 수도 있다. 이 경우, 타겟 라우드니스 레벨은 입력 컨텐츠 또는 입력 컨텐츠의 장르와 무관한 값으로 설정될 수 있다. 오디오 신호 처리 장치는 타겟 라우드니스 레벨에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 보정할 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠의 라우드니스 레벨과 타겟 라우드니스 레벨 사이의 관계에 기초하여 라우드니스 게인을 획득할 수 있다. 입력 컨텐츠의 라우드니스 레벨과 타겟 라우드니스 레벨 사이의 관계는 입력 컨텐츠의 라우드니스 레벨과 타겟 라우드니스 레벨 간의 차이 또는 비율을 포함할 수 있다.
예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠의 대표 라우드니스 레벨과 타겟 라우드니스 레벨 사이의 관계에 기초하여 라우드니스 게인을 획득할 수 있다. 여기에서, 대표 라우드니스 레벨은 입력 컨텐츠 전 구간에 대한 라우드니스 레벨을 대표하는 라우드니스 레벨일 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠와 함께 입력 컨텐츠의 대표 라우드니스 레벨을 수신할 수 있다. 또는 오디오 신호 처리 장치는 입력 컨텐츠로부터 분석된 라우드니스 정보에 기초하여 대표 라우드니스 레벨을 획득할 수도 있다. 이 경우, 오디오 신호 처리 장치는 입력 컨텐츠에 대한 라우드니스 측정치에 기초하여 라우드니스 정보를 획득할 수 있다.
또한, 오디오 신호 처리 장치는 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 보정할 수 있다. 구체적으로, 오디오 신호 처리 장치는 입력 컨텐츠에 라우드니스 게인을 적용하여 라우드니스 레벨이 보정된 출력 오디오 신호를 획득할 수 있다.
한편, 특정 상황에서, 오디오 신호 처리 장치는 입력 컨텐츠의 재생이 종료되기 전까지 입력 컨텐츠의 대표 라우드니스 레벨을 획득하기 어려울 수 있다. 예를 들어, 특정 컨텐츠가 실시간으로 전송되는 경우, 오디오 신호 처리 장치는 해당 컨텐츠 전구간에 대한 수신을 완료하기 전까지 해당 컨텐츠 전체의 라우드니스 특성을 획득하기 어려울 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 수신되는 컨텐츠의 라우드니스를 실시간으로 측정하여 라우드니스 정규화를 수행할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 입력 컨텐츠의 출력 라우드니스 레벨을 조절하는 방법에 관하여 도 2를 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(200)의 동작을 나타내는 블록도이다. 도 2에서는 입력 컨텐츠의 라우드니스 정규화를 위한 일련의 동작들이 오디오 신호 처리 장치에 의해 수행되는 것으로 도시하였으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 도 2를 통해 설명되는 동작들 중 일부는 오디오 신호 처리 장치 외부의 서버를 통해 수행될 수도 있다.
먼저, 오디오 신호 처리 장치(200)는 입력 컨텐츠를 수신할 수 있다. 입력 컨텐츠는 복수의 프레임들로 구성된 입력 오디오 신호일 수 있다. 다음으로, 오디오 신호 처리 장치(200)는 입력 컨텐츠의 라우드니스 레벨을 측정할 수 있다(S201). 오디오 신호 처리 장치(200)는 청각 척도에 기반한 라우드니스 필터를 사용하여 오디오 신호의 라우드니스 측정치를 획득할 수 있다. 구체적으로, 라우드니스 필터는 등-라우드니스 곡선(equal-loudness contours)의 역필터, 또는 이를 근사화시킨 케이-가중(K-weighting) 필터 중 적어도 하나일 수 있다.
예를 들어, 오디오 신호 처리 장치(200)는 기 수신된 입력 컨텐츠의 적어도 일부 구간에 라우드니스 필터를 적용하여 라우드니스 측정치를 획득할 수 있다. 여기에서, 일부 구간은 하나의 라우드니스 측정치 획득에 사용되는 단위 시간일 수 있다. 일부 구간은 적어도 하나의 프레임을 포함할 수 있다. 본 개시에서, 하나의 라우드니스 측정치 획득에 사용되는 단위 시간은 측정 윈도우로 지칭될 수 있다.
오디오 신호 처리 장치(200)는 입력 컨텐츠에 대한 측정 윈도우 별 라우드니스 측정치를 획득할 수 있다. 이때, 획득된 라우드니스 측정치는 측정 윈도우의 길이에 따라 순간 라우드니스 레벨 또는 단구간 라우드니스 레벨일 수 있다. 순간 라우드니스 레벨은 단구간 라우드니스 레벨에 비해 짧은 시간 구간동안 측정된 라우드니스 측정치일 수 있다. 예를 들어, 하나의 순간 라우드니스 레벨 획득에 사용되는 측정 윈도우의 길이는 400밀리초(ms)일 수 있다. 또한, 하나의 단구간 라우드니스 레벨 획득에 사용되는 측정 윈도우의 길이는 3초일 수 있다. 그러나 본 개시가 이에 제한되는 것은 아니다. 라우드니스 분석을 위한 측정 윈도우의 길이는 입력 컨텐츠 별로 다를 수 있다. 일 실시예에 따라, 측정 윈도우의 길이는 입력 컨텐츠의 부가 정보에 기초하여 결정될 수도 있다.
다음으로, 오디오 신호 처리 장치는 입력 컨텐츠에 대한 라우드니스 측정치에 기초하여 입력 컨텐츠의 라우드니스 정보를 획득할 수 있다. 라우드니스 정보는 입력 컨텐츠에 대한 적어도 하나의 라우드니스 측정치를 포함할 수 있다. 또한, 라우드니스 정보는 입력 컨텐츠에 대한 라우드니스 측정치에 기반하여 연산된 정보를 포함할 수 있다. 오디오 신호 처리 장치는 라우드니스 정보를 실시간으로 업데이트할 수 있다. 예를 들어, 라우드니스 정보는 누적 라우드니스 레벨, 단구간 라우드니스 레벨, 순간 라우드니스 레벨 중 적어도 하나를 포함할 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠에 대한 라우드니스 측정이 시작된 시점부터 현재 시점까지 누적된 복수의 라우드니스 측정치들을 대표하는 누적 라우드니스 레벨을 획득할 수 있다.
본 개시에서, 누적 라우드니스 레벨은 오디오 신호 처리 장치에서 설정된 셋업 시점으로부터 누적된 라우드니스 측정치를 나타낼 수 있다. 예를 들어, 누적 라우드니스 레벨은 셋업 시점과 현재 시점 사이에서 측정된 유효 라우드니스 측정치들의 평균에 기초하여 획득될 수 있다. 여기에서, 유효 라우드니스 측정치들은 셋업 시점과 현재 시점 사이에서 측정된 복수의 라우드니스 측정치들 중에서 적어도 하나의 기준 요건을 만족하는 라우드니스 측정치들일 수 있다.
예를 들어, 유효 라우드니스 측정치들은 라우드니스 레벨이 특정 레벨 이상인 라우드니스 측정치들일 수 있다. 먼저, 오디오 신호 처리 장치는 복수의 라우드니스 측정치들 중에서 라우드니스 레벨이 제1 임계값 이상인 라우드니스 측정치들에 대한 제1 평균을 연산할 수 있다. 이때, 제1 임계값은 최소 가청 크기에 기초하여 설정된 값일 수 있다. 다음으로, 오디오 신호 처리 장치는 제1 평균의 연산에 이용된 라우드니스 측정치들 중에서 라우드니스 레벨이 제2 임계값 이상인 라우드니스 측정치들에 대한 제2 평균을 연산할 수 있다. 이때, 제2 임계값은 제1 평균으로부터 기 설정된 값을 뺀 값일 수 있다. 또한, 오디오 신호 처리 장치는 제2 평균을 입력 컨텐츠의 누적 라우드니스 레벨로 사용할 수 있다. 한편, 오디오 신호 처리 장치는 특정 요건에 따라 누적 라우드니스 레벨을 위한 셋업 시점을 재설정할 수 있다. 오디오 신호 처리 장치가 누적 라우드니스 레벨을 위한 셋업 시점을 재설정하는 방법에 대해서는 도 6을 통해 후술하도록 한다.
다음으로, 오디오 신호 처리 장치는 획득된 라우드니스 정보에 기초하여 입력 컨텐츠에 적용되는 라우드니스 게인을 획득할 수 있다(S203). 구체적으로, 오디오 신호 처리 장치는 라우드니스 정보 및 타겟 라우드니스 레벨에 기초하여 라우드니스 게인을 획득할 수 있다. 일 실시예에 따라, 오디오 신호 처리 장치는 입력 컨텐츠의 특정 프레임에 적용되는 라우드니스 게인을 획득할 수 있다. 입력 컨텐츠의 일부 특정 구간에서 프레임 별로 적용되는 라우드니스 게인은 시간에 따라 동적으로 보정될 수 있다. 특정 구간을 제외한 나머지 구간에서 프레임 별로 적용되는 라우드니스 게인은 동적으로 조정되지 않는 정적 게인일 수 있다. 또한, 입력 컨텐츠의 일부 특정 구간에서 라우드니스 게인은 특정 범위 내의 값으로 제한될 수 있다.
다음으로, 오디오 신호 처리 장치는 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다(S205). 예를 들어, 오디오 신호 처리 장치는 입력 컨텐츠에 라우드니스 게인을 적용하여 출력 라우드니스 레벨을 조정할 수 있다. 일 실시예에 따라, 라우드니스 게인은 입력 컨텐츠를 구성하는 프레임 별로 적용될 수 있다. 이 경우, 오디오 신호 처리 장치는 각각의 프레임에 대응하는 오디오 신호에 라우드니스 게인을 곱하여 입력 컨텐츠의 출력 라우드니스 레벨을 조정할 수 있다. 오디오 신호 처리 장치는 입력 컨텐츠로부터 라우드니스 게인에 의해 출력 라우드니스 레벨이 조정된 출력 컨텐츠를 획득할 수 있다. 또한, 오디오 신호 처리 장치는 획득된 출력 컨텐츠를 출력할 수 있다. 예를 들어, 오디오 신호 처리 장치는 출력 컨텐츠를 재생할 수 있다. 또는 오디오 신호 처리 장치는 출력 컨텐츠를 유/무선 인터페이스를 통해 재생기기로 전달할 수도 있다.
추가적으로, 오디오 신호 처리 장치는 조정된 출력 라우드니스 레벨의 동적 범위를 제어할 수 있다. 입력 컨텐츠의 특정 프레임에 대한 출력 라우드니스 레벨이 기 설정된 동적 범위를 벗어나는 경우, 클리핑(clipping)에 의한 음질 왜곡이 발생할 수 있기 때문이다. 오디오 신호 처리 장치는 기 설정된 동적 범위에 기초하여 출력 라우드니스 레벨의 동적 범위를 제어할 수 있다. 예를 들어, 오디오 신호 처리 장치는 리미터(limiter) 및 동적 범위 제어(dynamic range control, DRC)와 같은 프로세싱을 사용하여 출력 라우드니스 레벨의 동적 범위를 제어할 수 있다.
오디오 신호 처리 장치가 실시간으로 컨텐츠를 재생할 때, 예컨대, 오디오 신호 처리 장치가 실시간 스트리밍 컨텐츠를 재생할 때, 오디오 신호에 비선형(non-linear) 프로세싱이 적용될 수 있다. 구체적으로 앞서 설명한 DRC 프로세싱이 적용될 수 있다. 비선형 프로세싱이 출력 오디오 신호의 라우드니스에 영향을 미치므로, 오디오 신호 처리 장치는 비선형 프로세싱으로 발생하는 비선형 프로세싱 입력 오디오 신호의 라우드니스와 비선형 프로세싱 출력 오디오 신호의 라우드니 신호의 편차인 라우드니스 편차(deviation)를 고려하여 오디오 신호의 라우드니스를 보정해야 한다. 다만, 비선형 프로세싱의 경우 선형 프로세싱과 달리 출력 신호가 비선형적으로 처리되므로 비선형 프로세싱이 적용되기 전에 입력 신호의 라우드니스와 출력 신호의 라우드니스 간의 차이를 예상하기 쉽지 않다. 따라서 오디오 신호 처리 장치가 오디오 신호를 실시간으로 처리해야 하는 경우, 비선형 프로세싱으로 인해 발생하는 라우드니스 편차를 효율적으로 예상할 수 있는 방법이 필요하다. 이를 해결하기 위해, 컨텐츠에 포함된 오디오 신호의 라우드니스 분포(loudness distribution) 정보를 포함하는 메타 데이터가 이용될 수 있다. 이에 대해서는 도 3 내지 도 6을 통해 설명한다.
도 3은 본 발명의 실시 예에 따라 라우드니스 분포 정보를 포함하는 메타데이터의 신택스를 보여준다.
앞서 설명한 바와 같이 오디오 신호 처리 장치가 이용하는 메타 데이터는 라우드니스 분포에 관한 정보를 포함할 수 있다. 설명의 편의를 위해 라우드니스 분포에 관한 정보를 라우드니스 분포 정보로 지칭한다. 이때, 라우드니스 분포 정보는 라우드니스 히스토그램일 수 있다. 구체적으로 라우드니스 분포 정보는 정규화된(normalized) 히스토그램일 수 있다. 구체적인 실시 예에서 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 라우드니스 분포 정보를 포함할 수 있다. 이때, 라우드니스는 미리 지정된 시간 구간 내에서 측정된 것일 수 있다. 예컨대, 메타데이터는 각 단계에 해당하는 미리 지정된 시간 구간의 개수와 시간 구간의 전체 개수의 비율을 나타낼 수 있다. 설명의 편의를 위해, 각 단계에 해당하는 오디오 신호의 양과 전체 오디오 신호의 양 사이의 비율을 오디오 신호 비율이라고 지칭한다. 또한, 미리 지정된 시간 구간은 오디오 신호의 프레임일 수 있다. 라우드니스 분포 정보에 기준이 되는 라우드니스의 타입을 지시하는 정보를 포함할 수 있다. 라우드니스의 타입은 라우드니스를 측정한 시간 구간의 길이에 따라 구분될 수 있다. 예컨대, 라우드니스의 타입은 단 구간(short-term) 라우드니스, 순간(momentary loudness) 중 적어도 어느 하나를 나타낼 수 있다. 구체적으로 라우드니스 분포 정보는 도 3과 같은 신택스를 가질 수 있다.
도 3에서 type은 라우드니스 분포 정보가 나타내는 라우드니스의 타입을 나타낸다. 라우드니스의 타입은 앞서 설명한 바와 같이 라우드니스 분포 정보의 라우드니스가 측정된 시간 구간의 길이에 따른 타입을 나타낼 수 있다. bsMin은 라우드니스 분포 정보에 코딩된 라우드니스의 최솟값을 나타낼 수 있다. bsMax는 라우드니스 분포 정보에 코딩된 라우드니스의 최댓값을 나타낼 수 있다. bsStep은 라우드니스 분포 정보에 사용된 라우드니스 단계의 크기를 나타낼 수 있다. numSteps는 라우드니스 분포 정보가 포함하는 단계의 총 개수를 나타낼 수 있다. bsRatio는 라우드니스 분포 정보에서 각 단계에 해당하는 오디오 신호의 양과 전체 오디오 신호의 양 사이의 비율을 나타낼 수 있다. 구체적으로 bsRatio는 라우드니스 히스토그램의 각 단계 별 값과 모든 단계 별 값의 합의 비율을 나타낸 값일 수 있다. 즉, bsRatio는 앞서 설명한 오디오 신호 비율일 수 있다.
라우드니스 분포 정보가 포함하는 단계 별 오디오 신호 비율은 가변 길이의 비트열로 인코딩될 수 있다. 각 단계 별 오디오 신호 비율의 차가 클 수 있기 때문이다. 따라서 오디오 신호 비율이 가변 길이의 비트열로 인코딩되는 경우 오디오 신호 비율이 고정된 길이의 비트열로 인코딩될 경우보다 훨씬 더 적은 수의 비트로 라우드니스 분포 정보가 인코딩될 수 있다. 구체적으로 복수의 단계에 각각 해당하는 오디오 신호 비율이 하나의 비트열에 포함될 수 있다. 이때, 비트열은 미리 지정된 개수만큼 반복되어 위치하고 각 단계에 해당하는 오디오 신호 비율을 나타내는 비트들의 마지막 비트인지를 지시하는 엔딩 플래그를 포함할 수 있다. 구체적으로 엔딩 플래그는 매 8비트마다 반복해서 위치할 수 있다. 또한, 엔딩 플래그의 값이 미리 지정된 값인 경우 엔딩 플래그 직전 비트가 오디오 신호 비율의 마지막 비트일 수 있다. 이때, 미리 지정된 값은 1일 수 있다.
이러한 구체적인 실시 예에서 오디오 신호 처리 장치는 각 단계 별 오디오 신호 비율을 포함하는 비트열에서 8비트 단위로 처리할 수 있다. 오디오 신호 처리 장치는 8비트 중 7비트의 값을 오디오 신호 비율을 나타내는 비트의 일부로 마지막 1비트를 엔딩 플래그로 획득한다. 엔딩 플래그의 값이 미리 지정된 값인 경우, 이전에 획득한 오디오 신호 비율의 비트들을 결합하여 오디오 신호 비율을 나타내는 비트들을 획득한다. 엔딩 플래그의 값이 미리 지정된 값이 아닌 경우, 오디오 신호 처리 장치는 다음 8비트를 획득하여 앞서 수행한 동작을 반복 수행한다. 오디오 신호 장치는 표 1의 신택스에 따라 단계 별 오디오 신호 성분을 포함하는 비트열에서 오디오 신호 비율을 획득할 수 있다.
Figure 112021027449250-pat00003
오디오 신호 처리 장치는 라우드니스 분포 정보를 기초로 오디오 신호의 라우드니스를 보정할 수 있다. 이에 대해서는 도 4 내지 도 5를 통해 설명한다.
도 4는 본 발명의 실시 예에 따른 오디오 신호 처리 장치가 메타 데이터를 이용하여 오디오 신호의 라우드니스를 보정하는 방법을 보여준다.
앞서 설명한 바와 같이 오디오 신호 처리 장치는 오디오 신호에 비선형 프로세싱을 수행할 수 있다. 예컨대, 비선형 프로세싱은 DRC 또는 이퀄라이저 중 적어도 어느 하나를 포함할 수 있다. 이때, 오디오 신호 처리 장치는 라우드니스 분포 정보 및 비선형 프로세싱의 특성에 관한 정보를 기초로 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 예측할 수 있다. 이때, 비선형 프로세싱의 특성에 관한 정보는 비선형 프로세싱의 주파수 특성 또는 비선형 프로세싱의 게인 특성 중 적어도 어느 하나를 포함할 수 있다. 예컨대, 비선형 프로세싱의 특성에 관한 정보는 이퀄라이저의 주파수 특성을 포함할 수 있다. 또한, 비선형 프로세싱의 특성에 관한 정보는 DRC의 게인 특성을 포함할 수 있다.
오디오 신호 처리 장치는 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 기초로 오디오 신호의 라우드니스를 보정할 수 있다. 구체적으로 오디오 신호 처리 장치는 오디오 신호의 라우드니스에 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 더한 값과 타겟 라우드니스와의 차이만큼 라우드니스를 보정할 수 있다.
실시 예에 따라 오디오 신호 처리 장치는 라우드니스 보정 전에 비선형 프로세싱을 적용할 수 있다. 또한, 오디오 신호 처리 장치는 라우드니스 보정 후에 비선형 프로세싱을 적용할 수 있다.
오디오 신호 처리 장치는 DRC 입력 신호의 기준 크기와 DRC 출력 신호의 기준 크기를 매핑하는 DRC 매핑 커브를 기초로 DRC에 의해 발생하는 라우드니스 편차를 획득할 수 있다. 기준 크기는 입력 신호의 선형 크기 또는 Log 스케일 레벨로 표현된, 일정 구간을 기준으로 계산된 평균 크기, 최대 크기(Peak 값) 또는 라우드니스 값일 수 있다. DRC에 입력되는 DRC 입력 오디오 신호의 통합(integrated) 라우드니스를 L I 라 하고, 오디오 신호 처리 장치에 입력되는 입력 오디오 신호의 통합 라우드니스를 L I,org 라 할 때, DRC 전 다른 프로세싱에 의해 발생하는 라우드니스 편차
Figure 112021027449250-pat00004
는 다음과 같이 정의될 수 있다.
Figure 112021027449250-pat00005
오디오 신호 처리 장치는
Figure 112021027449250-pat00006
를 이용해 라우드니스 분포 정보로부터 획득한 입력 오디오 신호의 라우드니스 분포를 DRC에 입력되는 라우드니스 분포의 범위로 조정할 수 있다. 오디오 신호 처리 장치의 구현에 따라
Figure 112021027449250-pat00007
는 0일 수 있다. 구체적으로 오디오 신호의 라우드니스 분포가 -127< inputDB <0에서 정의될 때, 오디오 신호 처리 장치는 라우드니스 분포, hDB[k(inputDB)]의 범위를 -127+
Figure 112021027449250-pat00008
< inputDB <
Figure 112021027449250-pat00009
로 조정할 수 있다. 구체적으로 오디오 신호 처리 장치는 다음과 같은 수학식에 따라 오디오 신호의 라우드니스 분포의 범위를 DRC에 입력되는 오디오 신호의 라우드니스 분포 범위로 조정할 수 있다.
Figure 112021027449250-pat00010
오디오 신호 처리 장치는 분포의 범위가 조정된 hDB,prev로부터 DRC 매핑 커브, drcDB[K(inputDB)]를 기초로 DRC가 적용된 후 오디오 신호의 라운드니스 분포, hDB,DRC를 초기화할 수 있다.
Figure 112021027449250-pat00011
오디오 신호 처리 장치는 hDB,DRC로부터 DRC 출력 오디오 신호의 라우드니스, LDRC,out를 획득하고, 이로부터 DRC에 의해 발생하는 라우드니스 편차인
Figure 112021027449250-pat00012
를 획득할 수 있다. 구체적으로 오디오 신호 처리 장치는 ITU-R Recommendation BS.1770-4에 따라, 절대 문턱값(absolute threshold)이하 성분을 제거한 분포 성분의 평균값과 이로부터 도출된 비교 문턱값(relative threshold), JO 이상의 분포에 대한 평균을 DRC 출력 오디오 신호의 라우드니스, LDRC,out로 획득할 수 있다. 예컨대, 오디오 신호 처리 장치는 다음의 수학식에 따라
Figure 112021027449250-pat00013
를 획득할 수 있다.
Figure 112021027449250-pat00014
도 5는 본 발명의 실시 예에 따른 오디오 신호 처리 장치의 동작 방법을 보여준다.
오디오 신호 처리 장치는 오디오 신호에 관한 메타 데이터를 획득한다(S501). 이때, 메타 데이터는 앞서 설명한 라우드니스 분포 정보를 포함할 수 있다. 또한, 오디오 신호 처리 장치는 오디오 신호가 포함된 컨텐츠를 포함하는 전송 파일로부터 메타 데이터를 획득할 수 있다. 또 다른 구체적인 실시 예에서 오디오 신호 처리 장치는 오디오 신호를 포함하는 컨텐츠와 별도로 메타 데이터를 획득할 수 있다.
오디오 신호 처리 장치는 오디오 신호를 획득한다(S503). 구체적으로 오디오 신호 처리 장치는 오디오 신호를 포함하는 컨텐츠 파일로부터 오디오 신호를 획득할 수 있다. 이때, 컨텐츠 파일은 네트워크를 통해 오디오 신호 처리 장치에게 스트리밍될 수 있다. 또 다른 구체적인 실시 예에서 오디오 신호 처리 장치는 저장 매체로부터 컨텐츠 파일을 획득할 수 있다.
오디오 신호 처리 장치는 라우드니스 분포 정보를 기초로 오디오 신호의 라우드니스를 보정한다(S505). 앞서 설명한 것과 같이 오디오 신호 처리 장치는 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 획득할 수 있다. 오디오 신호 처리 장치는 획득한 라우드니스 편차를 기초로 오디오 신호의 라우드니스를 보정할 수 있다. 구체적으로 오디오 신호 처리 장치는 오디오 신호의 라우드니스에 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 더한 값과 타겟 라우드니스와의 차이만큼 라우드니스를 보정할 수 있다.
오디오 신호 처리 장치는 라우드니스가 보정된 오디오 신호를 출력한다(S507).
도 6 본 발명의 실시 예에 따라 메타 데이터를 생성하는 방법을 보여준다.
메타 데이터 생성 장치는 오디오 신호의 라우드니스 분포 정보 획득한다(S601). 이때, 라우드니스는 미리 지정된 시간 구간 내에서 측정된 것일 수 있다. 또한, 미리 지정된 시간 구간은 오디오 신호의 프레임일 수 있다. 라우드니스 분포 정보에 기준이 되는 라우드니스의 타입을 지시하는 정보를 포함할 수 있다. 라우드니스의 타입은 라우드니스를 측정한 시간 구간의 길이에 따라 구분될 수 있다. 예컨대, 라우드니스의 타입은 단 구간(short-term) 라우드니스, 순간(momentary loudness) 중 적어도 어느 하나를 나타낼 수 있다.
메타 데이터 생성 장치는 메타 데이터에 오디오 신호의 라우드니스 분포 정보를 삽입한다(S603). 메타 데이터는 라우드니스 분포 정보가 나타내는 라우드니스의 타입에 관한 정보, 라우드니스 분포 정보에 코딩된 라우드니스의 최솟값을 나타내는 정보, 라우드니스 분포 정보에 코딩된 라우드니스의 최댓값을 나타내는 정보, 라우드니스 분포 정보에 사용된 라우드니스 단계의 크기를 나타내는 정보, 라우드니스 분포 정보가 포함하는 단계의 총 개수를 나타내는 정보 및 라우드니스 분포 정보에서 각 단계에 해당하는 오디오 비율을 나타내는 정보 중 적어도 어느 하나를 포함할 수 있다. 이때, 메타 데이터 생성 장치는 앞서 설명한 바와 같이 라우드니스 분포 정보가 포함하는 단계 별 오디오 신호 비율을 가변 길이의 비트열로 인코딩할 수 있다. 복수의 단계에 각각 해당하는 오디오 신호 비율이 하나의 비트열에 포함될 수 있다. 이때, 비트열은 미리 지정된 개수만큼 반복되어 위치하고 각 단계에 해당하는 오디오 신호 비율을 나타내는 비트들의 마지막 비트인지를 지시하는 엔딩 플래그를 포함할 수 있다. 구체적으로 메타 데이터 생성 장치는 도 3을 통해 설명한 형태로 라우드니스 분포 정보가 포함하는 단계 별 오디오 신호 비율을 인코딩할 수 있다.
도 7은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(1000)의 구성을 나타내는 블록도이다.
일 실시예에 따라, 오디오 신호 처리 장치(1000)는 수신부(1100), 프로세서(1200), 출력부(1300) 및 저장부(1400)를 포함할 수 있다. 그러나 도 7에 도시된 구성 요소 모두가 오디오 신호 처리 장치의 필수 구성 요소인 것은 아니다. 오디오 신호 처리 장치(1000)는 도 7에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라 도 7에 도시된 오디오 신호 처리 장치(100)의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 일 실시예에 따른 오디오 신호 처리 장치는 수신부(1100) 및 출력부(1300)를 포함하지 않을 수도 있다.
수신부(1100)는 오디오 신호 처리 장치(1000)로 입력되는 입력 컨텐츠를 수신할 수 있다. 수신부(1100)는 프로세서(1200)에 의한 출력 라우드니스 레벨이 보정되는 입력 컨텐츠를 수신할 수 있다. 구체적으로 수신부(1100)는 네트워크를 통해 외부 서버로부터 입력 컨텐츠를 수신할 수 있다. 또한, 수신부(1100)는 저장매체로부터 입력 컨텐츠를 획득할 수 있다. 전술한 바와 같이, 입력 컨텐츠는 오디오 신호를 포함할 수 있다. 이때, 오디오 신호는 앰비소닉 신호, 오브젝트 신호 또는 채널 신호 중 적어도 하나를 포함할 수 있다. 또한, 오디오 신호는 1개의 오브젝트 신호 또는 모노 신호일 수 있다. 오디오 신호는 멀티 오브젝트 또는 멀티 채널 신호일 수도 있다. 일 실시예에 따라, 수신부(1100)는 유선으로 전송되는 입력 컨텐츠를 수신하는 입력 단자를 포함할 수 있다. 또한, 수신부(1100)는 무선으로 전송되는 입력 컨텐츠를 수신하는 무선 수신 모듈을 포함할 수 있다.
일 실시예에 따라, 오디오 신호 처리 장치(1000)는 별도의 디코더를 포함할 수 있다. 이 경우, 수신부(1100)는 입력 컨텐츠의 부호화된 비트스트림을 수신할 수도 있다. 또한, 부호화된 비트스트림은 디코더를 통해 입력 컨텐츠로 복호화될 수 있다. 추가적으로, 수신부(1100)는 입력 컨텐츠와 관련된 메타 데이터를 수신할 수 있다. 앞서 설명한 바와 같이 입력 컨텐츠는 메타 데이터를 포함할 수 있다.
일 실시예에 따라, 수신부(1100)는 네트워크를 통해 외부의 장치들과 데이터를 송수신하기 위한 송수신 수단을 구비할 수 있다. 이때, 데이터는 입력 컨텐츠의 비트스트림 또는 메타 데이터 중 적어도 하나를 포함할 수 있다. 수신부(1100)는 유선으로 전송되는 데이터를 수신하기 위한 유선 송수신 단자를 포함할 있다. 또한, 수신부(1100)는 무선으로 전송되는 데이터를 수신하기 위한 무선 송수신 모듈을 포함할 수 있다. 이 경우, 수신부(1100)는 블루투스(bluetooth) 또는 와이파이(Wi-Fi) 통신 방법을 이용하여 무선으로 전송되는 데이터를 수신할 수 있다. 또한, 수신부(1100)는 LTE(long term evolution), LTE-advanced와 같은 이동 통신 규격에 따라 전송되는 데이터를 수신할 수 있으며, 본 개시가 이에 한정되는 것은 아니다. 수신부(1100)는 다양한 유무선 통신 규격에 따라 전송되는 다양한 형태의 데이터를 수신할 수 있다.
프로세서(1200)는 오디오 신호 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(1200)는 오디오 신호 처리 장치(100)의 각 구성 요소를 제어할 수 있다. 프로세서(1200)는 각종 데이터와 신호의 연산 및 처리를 수행할 수 있다. 프로세서(1200)는 반도체 칩 또는 전자 회로 형태의 하드웨어로 구현되거나 하드웨어를 제어하는 소프트웨어로 구현될 수 있다. 프로세서(1200)는 하드웨어와 상기 소프트웨어가 결합된 형태로 구현될 수도 있다. 예를 들어, 프로세서(1200)는 적어도 하나의 프로그램을 실행함으로써, 수신부(1100), 출력부(1300) 및 저장부(1400)의 동작을 제어할 수 있다. 또한, 프로세서(1200)는 적어도 하나의 프로그램을 실행하여 전술한 도 1 내지 도 9를 통해 설명된 동작을 수행할 수 있다.
일 실시예에 따라, 프로세서(1200)는 입력 컨텐츠의 출력 라우드니스 레벨을 보정할 수 있다. 예를 들어, 프로세서(1200)는 라우드니스 게인에 기초하여 입력 컨텐츠의 출력 라우드니스 레벨을 보정할 수 있다. 라우드니스 정보는 입력 컨텐츠로부터 분석된 입력 컨텐츠의 라우드니스 특성일 수 있다. 이때, 라우드니스 게인은 라우드니스 정보에 기초하여 획득될 수 있다. 또한, 프로세서(1200)는 게인 제한 구간동안 제1 게인 허용 범위에 기초하여 라우드니스 게인을 제한할 수 있다. 프로세서(1200)는 게인 제한 구간에 후속하는 게인 해제 구간에서 제1 게인 허용 범위에 의한 라우드니스 게인에 대한 제한을 해제할 수 있다. 또한, 프로세서(1200)는 입력 컨텐츠로부터 출력 라우드니스 레벨이 보정된 출력 컨텐츠를 출력할 수 있다. 이때, 프로세서(1200)는 후술할 출력부(1300)를 통해 출력 컨텐츠를 출력할 수 있다.
일 실시예에 따라, 프로세서(1200)는 메타 데이터를 획득할 수 있다. 예를 들어, 프로세서(1200)는 수신부(1100)를 통해 메타 데이터를 수신할 수 있다. 프로세서(1200)는 메타 데이터를 기초로 게인 제한과 관련된 파라미터를 결정할 수 있다. 구체적으로, 프로세서(1200)는 메타 데이터에 기초하여 게인 제한 구간의 듀레이션을 획득할 수 있다. 또한, 프로세서(1200)는 게인 제한 구간이 시작되는 시점부터 획득된 듀레이션 동안 입력 컨텐츠의 라우드니스 게인을 게인 허용 범위에 기초하여 제한할 수 있다.
출력부(1300)는 출력 컨텐츠를 출력할 수 있다. 출력부(1300)는 프로세서(1200)에 의해 입력 컨텐츠로부터 출력 라우드니스 레벨이 보정된 출력 컨텐츠를 출력할 수 있다. 여기에서, 출력 컨텐츠는 출력 오디오 신호를 포함할 수 있다. 이 경우, 출력 오디오 신호는 앰비소닉 신호, 오브젝트 신호 또는 채널 신호 중 적어도 하나를 포함할 수 있다. 출력 오디오 신호는 멀티 오브젝트 또는 멀티 채널 신호일 수도 있다. 또한, 출력 오디오 신호는 청취자의 양이에 각각 대응하는 2 채널 출력 오디오 신호를 포함할 수 있다. 출력 오디오 신호는 바이노럴 2 채널 출력 오디오 신호를 포함할 수 있다. 출력부(1300)는 프로세서(1200)에 의해 출력 라우드니스 레벨이 보정된 오디오 헤드폰 신호를 출력할 수 있다.
일 실시예에 따라, 출력부(1300)는 출력 컨텐츠를 출력하는 출력 수단을 구비할 수 있다. 예를 들어, 출력부(1300)는 출력 오디오 신호를 외부로 출력하는 출력 단자를 포함할 수 있다. 이때, 오디오 신호 처리 장치(100)는 출력 단자에 연결된 외부 장치로 출력 오디오 신호를 출력할 수 있다. 출력부(1300)는 출력 오디오 신호를 외부로 출력하는 무선 오디오 송신 모듈을 포함할 수 있다. 이 경우, 출력부(1300)는 블루투스 또는 와이파이와 같은 무선 통신 방법을 이용하여 외부 장치로 출력 오디오 신호를 출력할 수 있다.
또한, 출력부(1300)는 스피커를 포함할 수 있다. 이 경우, 오디오 신호 처리 장치(100)는 스피커를 통해 출력 오디오 신호를 출력할 수 있다. 또한, 출력부(1300)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환하는 컨버터(예를 들어, digital-to-analog converter, DAC)를 추가적으로 포함할 수 있다. 추가적으로, 출력부(1300)는 출력 컨텐츠가 포함하는 비디오 신호를 출력하는 디스플레이 수단을 구비할 수 있다.
저장부(1400)는 프로세서(1200)의 처리 및 제어를 위한 데이터 또는 프로그램 중 적어도 하나를 저장할 수 있다. 예를 들어, 저장부(1400)는 프로세서(1200)를 통해 획득된 라우드니스 측정치를 저장할 수 있다. 또한, 저장부(1400)는 프로세서(1200)에서 연산된 결과를 저장할 수 있다. 예를 들어, 저장부(1400)는 라우드니스 측정치를 기반으로 획득된 라우드니스 정보를 저장할 수 있다. 또한, 저장부(1400)는 프로세서(1200)에 의해 연산된 누적 라우드니스 레벨을 저장할 수 있다. 또한, 저장부(1400)는 오디오 신호 처리 장치(1000)로 입력되거나 오디오 신호 처리 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다.
저장부(1400)는 적어도 하나의 메모리를 구비할 수 있다. 이때, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서는 본 개시를 구체적인 실시예를 통하여 설명하였으나, 본 개시가 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 개시의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 개시는 오디오 신호에 대한 라우드니스 레벨 보정의 실시예에 대하여 설명하였지만, 본 개시는 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 개시의 상세한 설명 및 실시예로부터 본 개시가 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 개시의 권리범위에 속하는 것으로 해석된다.

Claims (20)

  1. 오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 장치의 동작방법에서,
    상기 오디오 신호를 수신하는 단계;
    상기 오디오 신호의 라우드니스에 관련된 정보를 포함하는 메타 데이터를 수신하고, 상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 라우드니스 분포 정보를 포함하는 단계; 및
    상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계를 포함하고,
    상기 단계 별 상기 비율의 값은 가변 길이의 비트열로 인코딩되고,
    상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계에 각각 해당하는 상기 비율의 값을 포함하는 비트열을 포함하고,
    상기 비트열은 미리 지정된 개수만큼 반복되어 위치하며 각 단계에 해당하는 상기 비율을 나타내는 비트들의 끝을 지시하는 엔딩 플래그를 포함하는
    동작 방법.
  2. 삭제
  3. 삭제
  4. 제1항에서,
    상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계는
    아래의 비트 연산을 사용하여 상기 단계 별 상기 비율의 값을 획득하는 단계를 포함하는
    Figure 112022116969695-pat00024

    동작 방법.
  5. 제1항에서,
    상기 메타 데이터는 상기 라우드니스 분포 정보에 기준이되는 라우드니스의 타입을 지시하는 정보를 포함하는
    동작 방법.
  6. 제5항에서,
    상기 라우드니스의 타입은 라우드니스를 측정한 시간 구간의 길이에 따라 구분되는
    동작 방법.
  7. 제1항에서,
    상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계는
    상기 라우드니스 분포 정보 및 상기 오디오 신호에 적용되는 비선형 프로세싱의 특징을 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계를 포함하는
    동작 방법.
  8. 제7항에서,
    상기 비선형 프로세싱은 DRC(dynamic range control를 포함하는
    동작 방법.
  9. 제7항에서,
    상기 라우드니스 분포 정보 및 상기 오디오 신호에 적용되는 비선형 프로세싱의 특징을 기초로 상기 오디오 신호의 라우드니스를 보정하는 단계는
    상기 오디오 신호의 라우드니스에 상기 비선형 프로세싱에 의해 발생하는 라우드니스 편차를 더한 값과 타겟 라우드니스와의 차이를 기초로 라우드니스를 보정하는 단계를 포함하는
    동작 방법.
  10. 오디오 신호를 포함하는 컨텐츠를 위한 메타 데이터를 생성하는 방법에서,
    상기 오디오 신호의 라우드니스 분포 정보 획득하고, 상기 라우드니스 분포 정보는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 가변 길이의 비트열로 인코딩하는 단계; 및
    상기 메타 데이터에 상기 라우드니스 분포 정보를 삽입하는 단계를 포함하고,
    상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계에 각각 해당하는 상기 비율의 값을 포함하는 비트열을 포함하고,
    상기 비트열은 미리 지정된 개수만큼 반복되어 위치하며 각 단계에 해당하는 상기 비율을 나타내는 비트들의 끝을 지시하는 엔딩 플래그를 포함하는
    동작 방법.
  11. 삭제
  12. 삭제
  13. 제10항에서,
    상기 엔딩 플래그는 상기 비트열에서 매 8비트마다 반복해서 위치하는
    동작 방법.
  14. 제10항에서,
    상기 메타 데이터는 상기 라우드니스 분포 정보에 기준이되는 라우드니스의 타입을 지시하는 정보를 포함하는
    동작 방법.
  15. 제14항에서,
    상기 라우드니스의 타입은 라우드니스를 측정한 시간 구간의 길이에 따라 구분되는
    동작 방법.
  16. 오디오 신호를 포함하는 컨텐츠를 재생하는 오디오 신호 처리 장치에서,
    상기 오디오 신호를 수신하는 수신부; 및
    상기 오디오 신호 처리 장치를 제어하는 프로세서를 포함하고,
    상기 프로세서는
    상기 오디오 신호의 라우드니스에 관련된 정보를 포함하는 메타 데이터를 수신하고, 상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계마다 상기 오디오 신호 중 각 단계에 해당하는 오디오 신호의 양과 상기 오디오 신호 전체 양 사이의 비율을 나타내는 라우드니스 분포 정보를 포함하고,
    상기 메타 데이터를 기초로 상기 오디오 신호의 라우드니스를 보정하고,
    상기 단계 별 상기 비율의 값은 가변 길이의 비트열로 인코딩되고,
    상기 메타 데이터는 라우드니스의 크기에 따라 구분된 복수의 단계에 각각 해당하는 상기 비율의 값을 포함하는 비트열을 포함하고,
    상기 비트열은 미리 지정된 개수만큼 반복되어 위치하며 각 단계에 해당하는 상기 비율을 나타내는 비트들의 끝을 지시하는 엔딩 플래그를 포함하는
    오디오 신호 처리 장치.
  17. 삭제
  18. 삭제
  19. 제16항에서,
    상기 프로세서는
    아래의 비트 연산을 사용하여 상기 단계 별 상기 비율의 값을 획득하는
    Figure 112022116969695-pat00025

    오디오 신호 처리 장치.
  20. 제16항에서,
    상기 메타 데이터는 상기 라우드니스 분포 정보에 기준이되는 라우드니스의 타입을 지시하는 정보를 포함하는
    오디오 신호 처리 장치.
KR1020210030562A 2020-03-12 2021-03-09 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어 방법 및 이를 이용하는 장치 KR102550396B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230081651A KR102642727B1 (ko) 2020-03-12 2023-06-26 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어하는 방법 및 이를 이용하는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062988414P 2020-03-12 2020-03-12
US62/988,414 2020-03-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230081651A Division KR102642727B1 (ko) 2020-03-12 2023-06-26 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어하는 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20210116274A KR20210116274A (ko) 2021-09-27
KR102550396B1 true KR102550396B1 (ko) 2023-07-04

Family

ID=77665061

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210030562A KR102550396B1 (ko) 2020-03-12 2021-03-09 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어 방법 및 이를 이용하는 장치
KR1020230081651A KR102642727B1 (ko) 2020-03-12 2023-06-26 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어하는 방법 및 이를 이용하는 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230081651A KR102642727B1 (ko) 2020-03-12 2023-06-26 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어하는 방법 및 이를 이용하는 장치

Country Status (2)

Country Link
US (2) US11381209B2 (ko)
KR (2) KR102550396B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11381209B2 (en) 2020-03-12 2022-07-05 Gaudio Lab, Inc. Audio signal processing method and apparatus for controlling loudness level and dynamic range
KR20220071954A (ko) * 2020-11-24 2022-05-31 가우디오랩 주식회사 오디오 신호의 정규화를 수행하는 방법 및 이를 위한 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1736001B2 (en) * 2004-04-08 2021-09-29 MediaTek Inc. Audio level control
US8275153B2 (en) * 2007-04-16 2012-09-25 Evertz Microsystems Ltd. System and method for generating an audio gain control signal
US9565508B1 (en) * 2012-09-07 2017-02-07 MUSIC Group IP Ltd. Loudness level and range processing
US9559651B2 (en) * 2013-03-29 2017-01-31 Apple Inc. Metadata for loudness and dynamic range control
CN108712711B (zh) * 2013-10-31 2021-06-15 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
US10341770B2 (en) * 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC
JP2019533404A (ja) * 2016-09-23 2019-11-14 ガウディオ・ラボ・インコーポレイテッド バイノーラルオーディオ信号処理方法及び装置
JP7102024B2 (ja) * 2018-04-10 2022-07-19 ガウディオ・ラボ・インコーポレイテッド メタデータを利用するオーディオ信号処理装置
KR102390643B1 (ko) * 2019-10-10 2022-04-27 가우디오랩 주식회사 오디오 라우드니스 메타데이터 생성 방법 및 이를 위한 장치
US11381209B2 (en) * 2020-03-12 2022-07-05 Gaudio Lab, Inc. Audio signal processing method and apparatus for controlling loudness level and dynamic range
KR20220071954A (ko) * 2020-11-24 2022-05-31 가우디오랩 주식회사 오디오 신호의 정규화를 수행하는 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR102642727B1 (ko) 2024-03-05
KR20210116274A (ko) 2021-09-27
KR20230104553A (ko) 2023-07-10
US11641182B2 (en) 2023-05-02
US20210288626A1 (en) 2021-09-16
US20220286103A1 (en) 2022-09-08
US11381209B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
JP7266916B2 (ja) ラウドネスレベルを制御するオーディオ信号処理方法及び装置
KR102346669B1 (ko) 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
US11727948B2 (en) Efficient DRC profile transmission
KR102642727B1 (ko) 메타데이터를 이용하여 오디오 신호의 라우드니스 레벨을 제어하는 방법 및 이를 이용하는 장치
KR102686742B1 (ko) 객체 기반 오디오 신호 균형화
US12040762B2 (en) Method for performing normalization of audio signal and apparatus therefor
US20210135644A1 (en) Audio signal processing method and apparatus for frequency spectrum correction
CN108769798A (zh) 一种音量的调整方法及系统
KR20080086787A (ko) 오디오 재생장치와 제어방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E701 Decision to grant or registration of patent right
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant