KR20140120555A - 오디오 신호 크기 제어 방법 및 장치 - Google Patents

오디오 신호 크기 제어 방법 및 장치 Download PDF

Info

Publication number
KR20140120555A
KR20140120555A KR1020130036468A KR20130036468A KR20140120555A KR 20140120555 A KR20140120555 A KR 20140120555A KR 1020130036468 A KR1020130036468 A KR 1020130036468A KR 20130036468 A KR20130036468 A KR 20130036468A KR 20140120555 A KR20140120555 A KR 20140120555A
Authority
KR
South Korea
Prior art keywords
audio signal
size
lkfs
control
signal size
Prior art date
Application number
KR1020130036468A
Other languages
English (en)
Other versions
KR101583294B1 (ko
Inventor
김제우
신화선
조충상
최병호
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020130036468A priority Critical patent/KR101583294B1/ko
Priority to US14/778,877 priority patent/US20160049162A1/en
Priority to JP2016505384A priority patent/JP2016514856A/ja
Priority to PCT/KR2014/002362 priority patent/WO2014148845A1/ko
Publication of KR20140120555A publication Critical patent/KR20140120555A/ko
Application granted granted Critical
Publication of KR101583294B1 publication Critical patent/KR101583294B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G7/00Volume compression or expansion in amplifiers

Abstract

오디오 신호 크기 제어 방법이 개시된다. 본 제어 방법은, 기 정의된 게이트 사이즈를 갖는 제1 게이트 블록, 제2 게이트 블록을 입력된 오디오 신호에 적용하여, 제1 게이트 블록에 대응하는 제1 오디오 신호의 크기 제2 게이트 블록에 대응하는 제2 오디오 신호의 크기를 측정하는 단계, 측정된 제1 오디오 신호의 크기를 이용하여 제1 게이트 블록에 대응하는 제1 게이트 가중치를 산출하고, 측정된 제2 오디오 신호의 크기를 이용하여 제2 게이트 블록에 대응하는 제2 게이트 가중치를 산출하는 단계, 제1 게이트 블록 및 제2 게이트 블록에서 게이트 핸드오버가 발생한 프레임을 검출하는 단계, 산출된 제1 및 제2 가중치를 이용하여, 검출된 프레임부터 프레임 가중치를 인터폴레이션하는 단계 및 인터폴레이션된 프레임 가중치, 제1 및 제2 게이트 가중치를 이용하여 입력된 오디오 신호에 대한 스케일링을 수행하여 오디오 신호의 크기를 제어하는 단계를 포함한다.

Description

오디오 신호 크기 제어 방법 및 장치{Method and apparatus for controlling audio signal loudness}
본 발명은 멀티미디어에서 재생되는 오디오 신호의 크기를 제어하는 방법 및 그 장치에 관한 것이다.
사람들은 일상생활을 하면서 다양한 환경에 놓이며 다양한 소리에 노출된다. 사람들이 노출되는 소리는 다양한 원인에 의해서 발생하는데 도 1에서 보이는 것과 같이 사람이 청취 하였을 때 불쾌함을 발생하는 환경 소음, 사람을 즐겁게 하는 멀티미디어 사운드 및 음악, 그리고 사람 사이에서 대화 및 정보를 주고 받을 때 발생하는 소리 등이 있다.
사람들 주변의 여러 소리는 사운드의 크기 및 종류에 따라 사람에게 고통을 줄 수도 있고, 즐거움을 줄 수도 있고, 다양한 정보를 제공할 수도 있다. 이러한 이유는 사람의 청각 구조는 공기로 전달된 사운드의 음압 레벨을 통해 소리를 인지하므로, 사운드 크기 및 강도는 소리에 의한 청각적 피로도 및 소리의 물리적 특징을 정의하는 유용한 수치가 되고 있다.
소리를 평가하는 방법 중 사운드 크기(loudness)는 어떠한 소리가 사람 귀에 전달되었을 때 사람의 청각시스템이 인지하는 주관적인 사운드 크기이며, 소리의 강도(intensity)는 사람의 청각시스템에 전달된 객관적인 사운드의 강도로서 소리의 파워를 뜻하며, 일반적으로 잘 알려진 데시벨로 측정된다. 일반적으로 사람들 사이의 대화는 60 ~ 70 dB이고, 교통량이 많고 소음이 심한 대로변은 약 80dB 정도이며, 일반적으로 약 70dB 범위에서 사람들이 편안함을 느낀다.
도 1을 참조하면, 현대 사람들은 오디오를 접하는 방법과 기회가 점점 증가하고 있으며, 휴대용 멀티미디어 오디오 기기의 발달에 따라 언제 어디서나, 어느 상황에서도 자신이 원하는 멀티미디어 콘텐츠 및 음악을 즐길 수 있게 되었다. 특히 오디오에서는 1990년대 후반 MP3(MPEG-1 Layer III)의 등장과 인터넷의 대중화가 이루어지면서 MP3로 압축된 디지털 음원을 인터넷을 통해 쉽게 다운받고 청취하는 것이 가능해졌다.
상업적인 오디오 음원 시장은 멀티미디어 기기의 대중화와 융합되어 급격히 팽창되었고, 오디오 음원은 영역에서의 경쟁이 심화되면서 사람들의 관심을 끌기 위해서 오디오 음원의 재생 가능한 최대 음향과 최소 음향 차이의 비(dynamic range)가 급격히 감소하고, 파형의 최대값이 증가하여 오디오 사운드 크기가 상당히 증가하였다. 이는 '오디오 사운드 크기가 클수록 사람들이 좋은 음악으로 인식 할 것이다'라는 생각에서 더욱 심화 됐다.
도 2의 (가)는 1970년 음악(Pops)의 파형을, (나)는 2011년 한국 가요(K-Pops)의 파형을 보여주고 있다. 도 2를 참조하면, 오래 전에 녹음된 음악은 다이나믹 범위가 최근에 발매된 음원보다 넓은 것을 볼 수 있으며, 최근 전세계적 대중화를 이룬 K-pops 음원의 파형은 최대치에 이르거나 혹은 최대치를 넘게 되는 경우를 확인 할 수 있다.
그에 따라, 멀티미디어 기기에서 오디오의 사운드 크기를 정확하게 측정하고, 사운드 크기를 조절하는 기술이 필요하며, 오디오 사운드 크기를 제어하기 위한 기술이 필요하다.
본 발명은, 실시간/라이브 취득된 오디오 신호의 오디오 신호 크기를 규격에 맞도록 제어할 수 있는 장치 및 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 방법은, 입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 단계, 상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 단계 및 상기 산출된 제어 정보를 표시하는 단계를 포함한다.
그리고, 상기 제어 정보는, Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함할 수 있다.
또한, 상기 played 오디오 신호 크기 정보는, 현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고, 상기 Remained 오디오 신호 크기 정보는, 목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며, 상기 Recommended Control Factor 정보는, Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보일 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오디오 신호 크기 제어 장치는, 입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 입력부, 상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 제어부 및 상기 산출된 제어 정보를 표시하는 디스플레이부;를 포함한다.
그리고, 상기 제어 정보는, Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함할 수 있다.
또한, 상기 played 오디오 신호 크기 정보는, 현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고, 상기 Remained 오디오 신호 크기 정보는, 목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며, 상기 Recommended Control Factor 정보는, Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보일 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 오디오 신호 크기 제어에 필요한 정보를 제공함으로써, 사용자가 보다 쉽게 오디오 신호 크기를 제어할 수 있다.
도 1은 일상 생활에서 발생하는 다양한 청각적 피로 요인들을 설명하기 위한 도면이다.
도 2는 오디오 신호의 파형에 대한 예들을 나타내는 도면이다.
도 3은 오디오 데이터 클립핑에 따른 왜곡 현상을 설명하기 위한 도면이다.
도 4는 오디오 및 소음에 의한 청각 손실을 설명하기 위한 도면이다.
도 5는 디지털 방송 프로그램의 오디오 신호 크기 정규화를 설명하기 위한 도면이다.
도 6은 오디오 신호의 크기를 측정하는 방법을 나타내는 도면이다.
도 7은 프리-필터(pre-filter)의 주파수 응답 특성에 대한 일예를 나타내는 그래프이다.
도 8은 RLB 필터의 주파수 응답 특성에 대한 일예를 나타내는 그래프이다.
도 9는 녹화 및 사전에 제작된 방송 프로그램에 대한 방송 시스템의 구조에 대한 일 예를 설명하기 위한 도면이다.
도 10은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 나타내는 도면이다.
도 11은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 구체적으로 설명하기 위한 도면이다.
도 12는 오디오 신호 크기를 조절하기 위한 Peek 값 기반의 Loudness Control Ratio 연산에 대한 기본 구조를 나타내는 도면이다.
도 13은 실시간 방송 시스템의 구조에 대한 일예를 나타내는 도면이다.
도 14는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 나타내는 도면이다.
도 15는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 구체적으로 설명하기 위한 도면이다.
도 16은 제1 실시 예, 제2 실시 예의 최종 단에 Live LD control 단계가 추가된 방법을 설명하기 위한 도면이다.
도 17은 오디오 신호의 크기 제어에 따른 음질 열화를 보상하기 위한 방법에 대한 제3 실시 예를 나타내는 도면이다.
도 18은 단말기에서 오디오 신호의 크기를 제어하는 방법에 대한 제4 실시 예를 나타내는 도면이다.
도 19는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치의 오디오 신호 크기 제어 방법을 구체적으로 나타내는 흐름도이다.
도 20은 ITU-R 1770-2에서 언급된 오디오 Gating 방식이 추가된 오디오 신호 크기 측정 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하기 위하여 게이트 핸드오버를 설명하는 도면이다.
도 22는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하는 도면이다.
도 23은 본 발명의 제5 실시 예에 따른 인터폴레이션의 일 예인 선형 인터폴레이션(linear interpolation)을 설명하는 도면이다.
도 24는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보의 일 예를 나타내는 도면이다.
도 25는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보 중 Recommended control factor를 산출하는 방법을 나타내는 도면이다.
도 26 내지 28은 입력 오디오 신호의 파형과 정규화된 오디오 신호의 파형을 비교한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명하기로 한다.
도 3은 오디오 데이터 클립핑에 따른 왜곡 현상을 설명하기 위한 도면이다.
음원의 파형이 디지털 데이터에서 허용 가능한 데이터 분해능(resolution) 범위를 넘을 경우 음원의 파형이 깎이게 되고, 이러한 현상이 오디오 데이터 클립핑이다.
도 3의 (가)는 클립핑 없는 사인파, (나)는 클립핑 없는 파형 주파수 특성, (다)는 클립핑 있는 사인파, (라)는 클립핑 있는 파형의 주파수 특성을 나타낸다.
도 3을 참조하면, 오디오 데이터 클립핑 현상은 오디오 신호를 왜곡하게 되고, 단순한 싸인 파형의 주파수 특성(도 3(나))과 클립핑된 사인 파형의 주파수 특성(도 3(라))을 비교하였을 때, 도 3(라)의 점선으로 표시된 영역처럼 클립핑 없는 사인 파형에 존재하지 않았던 신호 왜곡 성분이 오디오 데이터 클립핑에 의해 발생하는 것을 확인할 수 있다.
한편, 오디오 사운드 크기 증가에 의한 문제는 휴대용 멀티미디어 기기의 대중화에 의해 증폭되고 있다. 현재 멀티미디어 기기에 의해 오디오 청취 시간이 상당히 증가한 청소년들이 상당히 큰 오디오 사운드 크기를 갖는 음원에 지속적으로 장시간 노출되고 있다.
도 4를 참조하면, 1990년대 초반 MP3 기반의 휴대용 멀티미디어 기기 등장전과 비교해서 2000년대 중반 휴대용 멀티미디어 기기가 대중화 되었을 때 미국 청소년의 청각손실이 상당히 증가하였음을 알 수 있다.
또한 국내에서도 소음성 난청 환자가 2000년대 초반과 후반을 비교하면 약 50% 증가하여 멀티미디어기기, 소음환경 등에 의한 청각적 피로가 임계치를 넘어서 청각 기능 열화에 영향을 주고 있는 것을 알 수 있다.
그러므로 사람이 살면서 안전하고 즐겁게 오디오 및 음악 감상 평생 누리기 위해서는 오디오에 의한 청각적 피로를 낮추는 작업이 필요하다.
그를 위해, 본 발명의 일실시예는 멀티미디어 기기에서 오디오 사운드 크기를 정확하게 측정하고, 사운드 크기를 조절하는 방법에 관한 것이다.
도 5는 디지털 방송 프로그램의 오디오 신호 크기의 정규화를 설명하기 위한 도면이다.
국내에서는 방송법 개정을 통하여 각 방송국, 콘텐츠 사이의 오디오 신호 크기(Loudness) 차이를 감소시키기 위한 노력이 진행되고 있다. 현재 방송에서 송출되는 프로그램은 방송사간, 방송 콘텐츠 간 상당한 크기 차이를 보인다.
도 5를 참조하면, 두 가지 음악 콘텐츠의 오디오 신호 크기(일 예로, Channel1 :-23.4LKFS, Channel2 : -8.5LKFS)가 상당한 차이를 보인다. 이러한 차이가 방송 시청자들에게 상당한 불편을 야기하고 있다. 이러한 것을 극복하고자 TTA의 PG803 WG8034 산하에서 "디지털 방송 프로그램 음량 레벨 기준"이라는 내용으로 표준화 작업이 진행되고 있다.
표준화의 목표는 도 5에 보이는 바와 같이 상당한 크기 차이를 갖는 채널/방송프로그램을 표준화된 음량 표준 규격에 따라 조절하여 정규화된 오디오 신호 크기(일 예로, Channel1 : -24LKFS, Channel2 : -24LKFS)를 갖도록 출력하는 기준을 마련하는데 있다.
상기 표준화는 방송법과 연계될 것이므로, 표준의 중요성 및 사용가능성이 상당히 높으면, 표준에서는 국제 오디오 신호 크기 측정 표준인 ITU-1770-1/2을 기반으로 국내 상황에 맞는 오디오 신호 기준과 규격을 제시할 것이며, 이를 준수할 수 있도록 도울 수 있는 기술 및 현재 디지털 방송 신호 크기에 대한 분석 등을 수행할 것이다.
도 6은 오디오 신호의 크기를 측정하는 방법을 나타내는 도면이다.
오디오 신호의 크기 측정 방법에 대한 연구는 2000대 중반부터 시작되어 ITU에서 오디오 신호 크기 측정에 대한 표준인 ITU-R BS. 1770-1을 2006년에 발표하였고, Gating 방식이 추가된 ITU-R BS. 1770-2이 2011년도에 발표되었다.
발표된 표준에서는 오디오 신호 크기 측정에 대한 방법과 True Peak 측정 방법만을 제시되었으며, 오디오 신호 크기 컨트롤에 대한 부분은 이루어지진 않았다. 현재까지도 오디오 신호 크기를 컨트롤하는 방법에 대한 부분은 표준화기 진행되지 않았다.
ITU-R에서 표준화된 오디오 신호 크기 측정 방법은 도 6에 도시된 바와 같은 LKFS(loudness, K weighted, relative to nominal full scale)를 통해 측정한다.
알고리즘의 첫 번째 모듈(Pre-filter)에서는 사람 머리에 의한 음향적 영향을 고려하기 위하여 2차 IIR 필터로서 구성된다.
도 7은 프리-필터(pre-filter)의 주파수 응답 특성에 대한 일 예를 나타내는 그래프이다.
필터의 주파수 특성은 도 7에 보이는 바와 같이 약 1kHz를 기준으로 1kHz 이하 영역을 제거하고 1kHz 이상의 영역에 대해서 통과 시킨다. 일반적으로 많이 사용되는 48kHz 데이터에 대한 필터 계수는 구형태의 머리 모델을 기반으로 ITU-R BS. 1770-1에서 제공되고 있다.
도 8은 RLB 필터의 주파수 응답 특성에 대한 일 예를 나타내는 그래프이다.
두 번째 모듈(RLB filter)에서는 사람의 청각적인 특성을 기반한 가중치 필터를 적용하게 된다. 이 필터는 도 8의 (가)와 같이 사람의 청각이 입력된 소리에 대한 주파수 영역에서 서로 다른 민감도를 갖는 특성을 기반하고 있다.
예를 들어, 도 8의 (가)에서 최소 레벨을 기준으로 250Hz에서의 약 20dB와 1kHz에서의 약 1dB가 동일한 오디오 사운드 크기로 사람에게 인지 된다는 것을 보여주고 있다. 그래서 사람의 청각을 고려하기 위한 필터응답은 도 8의 (나)와 같이 ISO 226에 정의된 동일 오디오 사운드 크기 윤곽선을 역으로 적용한 것과 유사한 필터 응답을 갖도록 대역별 가중치 필터가 설계되었다.
설계된 가중치 필터를 살펴보면 저주파 영역의 가중치는 감소시킨 반면 1kHz 이상의 영역은 저주파 영역 대비 상대적인 가중치가 높게 설계 되었다. 또한 가중치 필터를 단순화 시키기 위하여 약 1kHz이상 영역은 평평하게 설계되었다. RLB 가중치 필터는 2차 IIR 필터 구조를 가지며, ITU-R 문서에 48kHz 데이터에 대한 필터계수를 제공하고 있다.
가중치 필터를 통과한 결과는 도 6의 mean-square energy 모듈에서 다음의 수학식과 같이 변환된다.
Figure pat00001
가중치가 적용된 에너지를 다음의 수학식과 같이 각 채널의 에너지에 채널 별 가중치를 적용하여 합한 후 로그수식에 적용하여 데시벨로 변환한다. 아래 수식에 의해 얻어진 사운드 크기에 대한 단위는 LKFS(loudness, K weighted, relative to nominal full scale)를 사용한다.
Figure pat00002
수식에서 N은 채널 수이고, G는 채널에 대한 가중치이다.
이렇게 설계된 ITU 기반의 오디오 사운드 크기 측정 방법이 정확하게 설계 되었는지 검증하기 위해서는 0dB, 1kHz 사인 파형을 입력하였을 경우 소리 크기 측정 값이 -3.01 LKFS가 출력되어야 한다.
기존 오디오 신호 크기에 대한 연구는 크게 두 가지로 나눌 수 있다. 첫 번째는 ITU-R1770-1과 같이 사람이 청각적으로 인지하는 오디오 음량 레벨에 근접한 객관적 오디오 신호 크기 측정 알고리즘 개발이다.
두 번째로 기존에는 오디오 신호 크기가 비정규화되어 전송되었고, 이에 따라 우리가 듣는 오디오 파일 및 음원의 음량이 제각각 이어서 서로 다른 크기를 갖는 오디오 파일이 들어올 때 자동으로 오디오 신호 크기를 컨트롤하는 연구가 수행되었다.
각국에서 오디오 신호 크기에 대한 문제를 극복하기 위하여 ITU-1770-1/2를 기반으로 오디오 신호 크기를 측정하고, 이를 기준으로 오디오 신호 크기 정규화 기준 값 및 오차범위 제시하고 있다. 현재 일본은 적극적으로 이루어지고 있으나, 그 외의 나라는 아직 시작 단계이거나 상업광고와 같은 일부분에만 적용하고 있다.
즉 표준화 및 규제 법안에 포함된 내용은 정규화 기분과 오차범위, 적용 범위를 정의하고 있으나, 이러한 규격을 지키기 위한 방법을 제시하고 있지는 않다. 즉 꼭 이루어야 하는 목표만을 제시하였고, 방법에 대해서는 제시하지 않았다.
한편, 2011년 3월에 개정된 ITU-R 오디오 신호 크기 측정 방법에는 오디오 Gating 방법이 추가되었다. 오디오 Gating이란 오디오 음량이 낮은 부분은 제외하고 오디오 음량을 측정하기 위한 방법이다.
오디오 음량 측정 Gating을 위한 블럭은 한 주기로 하며, 이웃하는 블록과는 75%의 중첩이 이루어 진다. 또한 파일의 마지막에 블록사이즈를 만족하지 못하는 샘플에 대해서는 측정하지 않는다.
먼저 블록단위의 Mean square는 아래 수식과 같이 연산된다.
Figure pat00003
각 gated block 의 오디오 음량은 기존과 같은 수식 기반으로 다음과 같이 연산된다.
Figure pat00004
각 블록에 Gating이 적용될 경우 ITU-R 1770-2에서는 -70LKFS 이상의 신호에 대해서만 고려하여 Gating이 적용된 신호에 대한 LFKS를 다음 수식과 같이 측정한다.
Figure pat00005
개정된 방법에서는 기존에 사용되던 pre-filter와 RLB filter는 동일하게 사용되면, 알고리즘의 정확도 검증 방법 또한 동일하다.
상술한 내용을 참조할 때, 현재 까지의 표준화 및 규제 법안에 포함된 내용은 정규화 기준, 오차 범위, 적용 범위를 정의하고 있으나, 이러한 규격을 지키기 위한 방법에 대하여 명확하게 개시하고 있지 않다.
이에 따라, 후술할 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
또한, 후술할 본 발명의 제2 실시예에 따르면,실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
또한, 후술한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있다.
또한, 후술할 본 발명의 제4 실시 예에 따르면, 오디오 신호 크기의 정규화를 고려하여, 단말(TV, 스마트폰)에서의 새로운 오디오 컨트롤 기능을 제공할 수 있다.
도 9는 녹화 및 사전에 제작된 방송 프로그램에 대한 방송 시스템의 구조에 대한 일 예를 설명하기 위한 도면이다.
도 9를 참조하면, 현장에서 취득된 오디오 데이터는 Ingest 서버에 저장되고, 저장된 파일은 편집 시스템으로 전달된다. 편집 시스템에서는 잘 알려진 영상/음향 효과, 오디오 노이즈 제거, 영상/오디오 동기화 등 각 파트 별로 편집이 이루어진다.
파트 별 편집이 이루어진 데이터는 종합 편집시스템에서 최종적 가공이 이루어지고 주조정실에서 편집이 완료된 방송 프로그램을 송출하게 된다. 이러한 구조를 볼 때, 오디오 신호 크기 규제에 따른 녹화 및 사전에 제작된 방송 프로그램에 대한 오디오 신호 크기 정규화 작업은, 편집 시스템과 종합편집시스템에서 이루어질 수 있다.바람직하게는, 파일로 제작되는 단계에서는 편집 시스템에서 오디오 데이터를 독립적으로 컨트롤하므로 편집 시스템 후처리 작업으로 수행될 수 있다.
도 10은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 나타내는 도면이다.
기존에 녹화된 방송 프로그램 파일의 경우는, 저장된 파일을 분석하여 오디오 신호 크기 정규화가 이루어져야 한다. 이에 따라, 도 10을 참조하면, 디멀티플렉서(demultiplexer)는 기존에 녹화된 방송 프래그램 파일을 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S101).
그리고, 정규화 판단부는 오디오 데이터가 사전 정규화 되었는지 판단할 수 있다(S102). 여기서 정규화란, 상술한 도 5와 같이, 오디오 신호 크기를 표준화된 오디오 신호 크기 표준 규격에 따라 조절하여 정규화하는 것을 의미한다.
만약, 오디오 데이터에 사전 정규화가 수행되었다면(S102:Y), 정규화가 수행된 오디오 데이터를 저장 장치에 저장할 수 있다(S103).
만약, 오디오 데이터에 사전 정규화가 수행되지 않았다면(S102:N), 오디오 디코더는 오디오 데이터를 디코딩할 수 있다(S104). 그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S105). 그리고, 오디오 인코더는 정규화가 수행된 오디오 데이터를 인코딩할 수 있다(S106).
한편, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S107). 이에 따라 저장부는 오디오 신호 크기가 정규화된 오디오 데이터를 저장할 수 있다(S103).
저장부에 저장된 데이터는 송출실에 제공될 수 있다(S108).
여기서, 오디오 신호 크기 컨트롤러의 구체적인 동작에 대해서는 도 11 내지 12를 참조하여 구체적으로 설명하기로 한다.
한편, 도면에 도시된 점선 블록, 일 예로 S101 단계, S104, 단계, S106 단계, S107 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 오디오 데이터의 압축 여부에 따라 S104, S106 단계는 생략될 수 있다.
이러한, 본 발명의 제1 실시예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 음량 규격에 맞도록 변환하기 위한 오디오 음량을 컨트롤 가능하기 위하여 먼저 방송프로그램 제작단계에 대한 분석을 수행하고, 이를 기반으로 오디오 음량 규제에 따라 필수적인 오디오 음량 측정 및 컨트롤할 수 있다.
도 11은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시예를 구체적으로 설명하기 위한 도면이다. 도 12는 오디오 신호 크기를 조절하기 위한 Peek 값 기반의 Loudness Control Ratio 연산에 대한 기본 구조를 나타내는 도면이다. 이하, 도 11 내지 12를 설명함에 있어서, 도 10에서 설명한 부분에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 11을 참조하면, 컨트롤 정보(information)가 녹화된 방송프로그램을 컨트롤 하기 위해 제공될 수 있다.
먼저 세계 여러 나라가 규정 및 법안으로 정한 목표치 오디오 신호 크기(Target LKFS)값과 오디오 신호 크기 오차 범위가 제공될 수 있다. 일반적으로 미국/일본은 24LKFS(Target LKFS) +/- 2dB(오차 범위) 이고, 유럽은 23LKFS(Target LKFS) +/- 1dB(오차 범위)의 범위를 갖는다.
오디오 gating관련 부분은 ITU-R 1770-2에서 처음으로 언급된 부분으로 Overlap and shift 방식을 적용하여 블록별 LKFS를 측정하여 낮은 블록 LKFS를 갖는 것은 silence로 간주하고 이 분에 대한 평균값을 사용하지 않는 방식이다.
미국의 ATSC의 경우는 AC-3 오디오 시스템을 사용하고 있으면서 "dialnorm" 파라미터를 Metadata parameter에 저장하도록 되어있다. Dialnorm에는 Anchor element에 대한 청각적 오디오 신호 크기를 넣도록 되어 있으며, 즉 부분에는 reference point or element의 청각적 오디오 신호의 크기를 넣도록 되어 있다.
Anchor element는 현재 방송 프로그램의 중심이 되는 것에 대한 표준 오디오 신호 크기를 나타내는 것으로 방송프로그램은 Anchor element를 기준으로 최종 balancing이 이루어지게 된다. 또한 dialnorm에는 LKFS값이 저장되는데, 변수 공간이 5bits으로 -1~-31LKFS 값이 저장 가능하다.
한편, ITU-R 기반으로 오디오 신호 크기를 측정하기 위해서는 두 가지 필터를 적용해야 한다. 그러므로 측정된 LKFS와 Target LKFS 차이값을 LKFS 측정 수식으로 역산하여 오디오 신호 크기 변환 값을 추출해도 두개의 필터에 대한 영향이 있으므로 정확한 값을 얻을 수 없다.
이러한 문제점을 극복하기 위하여 본 발명의 제1 실시 예에 따르면, Peek 값을 이용한 방식을 설계하여 원하는 target LKFS에 맞는 오디오 신호 크기 변환 weight factor를 획득하는 알고리즘을 제공할 수 있다.
상술한 바와 같이, 입력된 오디오의 LKFS(original)와 Target LKFS만으로 정확한 loudness(LD) control ratio를 앞에서 설명된 이유에 의해 구할 수 없다.
따라서 본 발명의 제1 실시 예에 따르면, 두 개의 필터를 고려한 LD control ratio를 구하기 위하여 Peeking 방식을 사용하여 Peek 기반 control ratio를 연산할 수 있다. Peeking 방식이란 Peek 기반 control ratio를 이용하여 오디오 신호를 loudness control해서 Peeked LKFS를 획득하는 방식을 의미할 수 있다. 즉 오디오 신호 크기 컨트롤러는 입력된 오디오 데이터(S105-1), Peek weight(ex.0.9)(S105-2), 목표치 LKFS(S105-3) 및 LKFS 오차 범위(105-4)를 수신하여 오디오 신호 크기를 제어하기 위한 제어 비율(Loudness control ratio)을 연산하여(S105-5), LD control ratio를 산출(S105-6)할 수 있다. 구체적으로 입력된 오디오 데이터를 기반으로 산출된 입력된 오디오 데이터의 LKFS, 입력된 오디오 데이터에 Peek weight를 적용하여 산출된 Peek LKFS, 및 수신된 Target LKFS를 이용하여, Target LKFS에 근접하기 위한 wight factor(LD control ratio)을 연산할 수 있다.
Figure pat00006
그리고 오디오 신호 크기 컨트롤러는 산출된 제어 비율(LD control ratio)을 이용하여 입력된 오디오 신호 크기를 조절하여 정규화를 수행할 수 있다.
이러한, 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 13은 실시간 방송 시스템의 구조에 대한 일예를 나타내는 도면이다.
도 13을 참조하면, 라이브 방송 시스템은 녹화 방송 시스템과 많은 차이를 보인다. 중계 시스템에는 Ingest server가 포함되지 않으며, 파트별 편집 시스템을 따로 사용하지 않는다. 대신 라이브 방송 시스템에서는 중계 시스템이 이러한 기능을 통합하여 수행하게 된다.
중계 시스템에서는 영상/음향 편집 및 효과 등의 작업을 수행하며, 프로그램의 전체 제작을 관리하는 부조정실(종합편집실)과 상호 지시를 통해서 생중계되는 오디오 음향에 대한 컨트롤을 수행하게 된다.
이렇게 조율된 방송 프로그램은 주조정실에서 송출되게 된다. 또한 위성을 통해 수신되는 생중계 데이터는 오디오 음향에 대한 작업 및 자막 삽입 등의 추가 작업을 부조정실(종합편집실)에서 수행하여 주조정실을 통해 송출하게 된다. 그러므로 생중계 방송의 오디오음량을 정확히 컨트롤하기 위해 좀 더 많은 변수가 존재한다.
도 14는 오디오 신호의 크기를 제어하는 장치의 방법에 대한 제2 실시 예를 나타내는 도면이다.
도 14를 참조하면, 라이브 환경에서는 앞에서 설명한 것과 같이 마이크로 취득된 신호와, 위성으로 수신된 신호(이하, 라이브 방송 신호)를 고려할 수 있다. 디멀티플렉서(demultiplexer)는 라이브 방송 신호를 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S201). 그리고, 오디오 디코더는 선택된 오디오 데이터를 디코딩할 수 있다(S203).
그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S206). 구체적으로 오디오 신호 크기 컨트롤러는, 라이브 오디오 데이터의 오디오 신호 크기를 분석하여, 라이브 오디오 신호 크기를 컨트롤하여 정규화를 수행할 수 있다. 여기서 오디오 신호 크기 컨트롤러는, 사용자로부터 수동으로 입력된 오디오 신호 크기 제어 값을 이용하여 정규화를 수행할 수 있다(S205).
그리고, 오디오 인코더는 정규화가 수행된 오디오 데이터를 인코딩할 수 있다(S207). 그리고, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S208).
한편, 상술한 데이터 처리가 수행되면, 데이터는 송출실에 제공될 수 있다(S209).
여기서, 오디오 신호 크기 컨트롤러의 구체적인 동작에 대해서는 도 15를 참조하여 구체적으로 설명하기로 한다.
한편, 도면에 도시된 점선 블록, 일 예로 S201 단계, S203 단계, S205 단계, S207 단계, S208 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 입력 파일이 오디오 Raw 데이터인 경우는 오디오 디코딩이 필요하지 않고, 출력으로 오디오 Raw 파일을 요구할 경우 오디오 인코딩 모듈이 필요하지 않다. 신호가 스트리밍으로 전송될 때, 오디오 신호 크기 제어 시스템은 파일을 demuxing 한 후 오디오 데이터가 압축 비트스트림 인 경우, 오디오 신호로 복호화하고, Raw 데이터인 경우는 오디오 디코딩 블록을 Bypass 한다. 오디오 Raw 신호는 Live 오디오 신호를 자동으로 오디오 신호 크기 기준에 따라 조절하고 조절된 신호는 필요에 따라 오디오 인코딩과 파일 포맷팅을 수행하여 송출장치를 통해 방송되게 된다. 혹은 출력에서의 요구에 따라 오디오 Raw 파일이 출력가능하다.
도 15는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 구체적으로 설명하기 위한 도면이다. 이하, 도 15를 설명함에 있어서, 도 14에서 설명한 부분에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 15를 참조하면, 기존의 시스템과 달리 제안된 시스템에서는 오디오 신호 크기의 정규화와 관련하여(S206), 세 가지 모드가 가능한 구조가 특징이다. 첫 번째는 Manual Loudness 컨트롤 모드, 두 번째는 Half automatic Loudness 컨트롤 모드, 세 번째는 Automatic Loudness 컨트롤 모드이다. 각 모드는 독립적인 동작이 가능하며, 각 모드에서 동작하다가 중간에 다른 모드로 변환 가능하며, 모드 전환에 따른 두 모드 사이의 차이는 Mode Change Control에 의해 보상될 수 있다.
Manual Loudness 컨트롤 모드는, 사람(일 예로, 오디오 신호 편집자)이 입력된 오디오 신호 크기 제어를 위한 가중치를 수동으로 선택(일 예로, 오디오 신호 처리 장치에 구비된 다양한 버튼을 이용하여)하고, 선택된 가중치를 이용하여 입력된 오디오 신호를 스케일링하여 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. Half Automatic Loudness 컨트롤 모드는, 제어를 위한 가중치를 사람이 수동으로 선택한다는 점은 Manual Loudness 컨트롤 모드와 동일하나, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보(일 예로, 오디오 신호 크기를 스케일링하기 위한 가중치, 입력된 오디오 신호의 크기)를 사람이 이용할 수 있도록, 상술한 정보를 제공한다는 점에서 다를 수 있다. Automatic Loudness 컨트롤 모드는 사람의 수동 제어 없이 자동으로 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. 여기서 각 모드 사이를 전환은, 오디오 신호 처리 장치에 구비된 Half Automatic Loudness 컨트롤 모드 선택 버튼, Manual Loudness 컨트롤 모드 선택 버튼, Automatic Loudness 컨트롤 모드 선택 버튼을 통하여 수행될 수 있다. 또는 오디오 신호 처리 장치는, Loudness 컨트롤 모드 전환을 위한 한개의 모드 전환 버튼을 구비할 수 있고, 이 모드 전환 버튼이 선택되면, 각 모드 사이에 순차적으로 전환될 수 있다.
한편, 모드 전환에 따른 두 모드 사이의 차이는 Mode Change Control에 의해 보상될 수 있다. 일 예로, Half Automatic Loudness 컨트롤 모드에서 Automatic Loudness 컨트롤 모드로 전환되는 경우, Peek 가중치가 변경될 수 있고, 또는 도 22 내지 23에 설명된, 게이트 가중치 인터폴레이션할 필요가 있을 수 있다. 이 경우, Mode Change Control는 이러한 변화를 보상하는 동작을 수행할 수 있다.
또한, 도 15에서 실시간 입력 오디오 신호에 대해서는 목표치 오디오 신호 크기(Target LKFS)에 맞추기 위해 필요한 가중치는 상술한 Peeking 방식을 통해서 연산이 가능할 수 있다.
이러한, 본 발명의 제2 실시예에 따르면,실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 16은 제1 실시 예, 제2 실시 예의 최종 단에 Live LD control 단계가 추가된 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 본 발명의 제1 실시 예, 제2 실시 예에 따른 방법의 최종 단에 Live LD control 단계를 더 포함할 수 있다.
즉 상술한 바에 따르면, 파일/Local 방송 프로그램은 Local LD Control(S105)을 통해 저장부에 저장되었다가(S103), 송출하는 데 사용될 수 있다. 또한 상술한 바에 따르면, Live 방송 프로그램은 Live LD Control(S206)을 통해 실시간 처리하여 송출될 수 있다.
다만, 방송국의 입장에서는, 규제에 대비하기 위하여, 최종 단에 Live LD Control(S210)을 더 수행할 수 있다. 즉 방송국의 입장에서는, 앞 단에서 잘못 입력된 방송 프로그램이 전달된다 하더라도 최종 단에서 걸러줄 수 있도록 Live LD Control(S210)을 더 둘 수 있다. 이 경우, Live LD Control(S210)은, Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드 또는 Automatic Loudness 컨트롤 모드를 이용할 수 있다. 다만, 바람직하게는 24시간 항상 자동으로 처리될 수 있도록 Automatic Loudness 컨트롤 모드가 이용될 수 있다.
도 17은 오디오 신호의 크기 제어에 따른 음질 열화를 보상하기 위한 방법에 대한 제3 실시 예를 나타내는 도면이다.
오디오 신호 크기를 컨트롤하는 방법은 상술한 바와 같이, 입력되는 데이터의 조건에 따라 다양하게 이루어 질 수 있다. 다만, 오디오 신호 크기를 Target LKFS와 오차범위에 맞추게 되면 오디오 신호의 구성이 평평한 느낌이 강해질 수 있다.
이는 오디오 신호 크기의 정규화에 따른 역효과 이다. 오디오 신호 크기 정규화의 목적을 달성하면서, 정규화에 의한 역효과를 해결해야 오디오 정규화의 파급력과 사용자의 만족도가 향상 될 수 있다.
이에 따라, 본 발명의 제3 실시예에 따르면, 상술한 역효과를 보상하기 위한 청각적 열화 보상 모듈을 더 구비할 수 있다. 즉 도 17을 참조하면, 디멀티플렉서(demultiplexer)는 기존에 녹화된 방송 프래그램 데이터 또는 라이브 방송 프로그램 데이터를 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S301).
그리고, 정규화 판단부는 오디오 데이터가 사전 정규화 되었는지 판단할 수 있다(S302).
만약, 오디오 데이터에 사전 정규화가 수행되었다면(S302:Y), 정규화가 수행된 오디오 데이터에 대한 이후 절차를 진행할 수 있다(S303).
만약, 오디오 데이터에 사전 정규화가 수행되지 않았다면(S302:N), 오디오 디코더는 오디오 데이터를 디코딩할 수 있다(S304). 그리고, Live Audi Mixing&EQ와 같은 편집자 컨트롤이 수행될 수 있다.(S305). 그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S306).
그리고, 청각적 열화 보상 모듈은, 오디소 신호 크기 컨트롤러에서 수행된 정규화에 따른 역효과를 보상할 수 있다(S307). 그리고, 오디오 인코더는 청각적 열화 보상이 수행된 오디오 데이터를 인코딩할 수 있다(S308).
그리고, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S309).
한편, 도면에 도시된 점선 블록, 일 예로 S301 단계, S304, 단계, S308 단계, S309 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 오디오 데이터의 압축 여부에 따라 S304, S308 단계는 생략될 수 있다.
이러한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있다.
한편, 상술한 방법에 따른 오디오 신호 크기 정규화는 디지털 방송 소비자에게 상당한 청취 환경의 변화를 불러 일으킨다. 또한 오디오 신호 크기가 정규화 됨으로써 디지털 방송 단말기에서 새로 요구되는 서비스/기능들이 생성될 수 있다. 즉 디지털 방송 단말기에서 방송 오디오 음량 관련 기능들을 제공할 수 있다.
도 18은 단말기에서 오디오 신호의 크기를 제어하는 방법에 대한 제4 실시 예를 나타내는 도면이다. 이하, 도 18를 설명함에 있어서, 도 17에서 설명한 부분(정규화된 오디오 신호의 전송과 관련된 처리 부분(S301 ~ S3010)에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 18을 참조하면, 단말기는 정규화된 오디오 신호를 수신하고(S401), 수신된 오디오 신호를 처리하여(S402), 출력할 수 있다(S403). 여기서 오디오 신호 처리(S402)는, 일 예로, 사용자 맞춤형으로 제어될 수 있다. 즉 디지털 방송에서는 방송에 대한 정보가 사용자에게 제공되고, 사용자가 지속적으로 단말기를 사용할 경우 사용자의 사용 정보 누적되게 된다. 이러한 정보를 바탕으로 사용자 정보 분석이 이루어 져서 사용자에게 맞춤형 오디오 음향 서비스를 할 수 있다. 또한 사용자 설정 정보에 의해 방송 정보 기반 사용자 음향 서비스가 바로 적용이 가능할 수 있다.
도 19는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치의 오디오 신호 크기 제어 방법을 구체적으로 나타내는 흐름도이다. 도 19를 참조하면, 먼저 오디오 신호를 입력받을 수 있다(s501). 여기서 입력된 오디오 신호는, 일 예로, 도 10 내지 12에 도시된 디먹스, 디코딩 등의 동작(생략가능한 동작)에 따른 오디오 신호일 수 있다. 이러한, 오디오 신호는, 다양한 파형을 가질 수 있고, 일 예로, 도 5의 전단에 도시된(즉 정규화 되기 전) 형태의 파형을 갖는 오디오 신호일 수 있다.
이 경우, 오디오 신호 크기 측정부는, 도 6 내지 8에서 설명된 오디오 신호 크기 측정 방법을 이용하여 입력 오디오 신호의 LKFS(Original LKFS)를 측정할 수 있다(S503).
또한, 오디오 신호 크기 측정부는, 초기 Peek LKFS를 측정(S502)할 수 있다. 여기서 초기 Peek LKFS는, 기 설정된 초기 Peek 가중치(initial Peek weight)를 이용하여 입력된 오디오 신호를 scaling하고, scaling된 오디오 신호를 기초로 LKFS를 측정함으로써, 측정될 수 있다.
여기서 기 설정된 초기 Peek 가중치(initial Peek weight)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계 당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
한편, 가중치 산출부는, 처음에는(S505:Y), 목표치 LKFS(Target LKFS)(S504), 측정된 초기 Peek LKFS(initial Peek weight)(S502), 측정된 입력 오디오 신호의 LKFS(Original LKFS)(S503)를 이용하여, 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다(S506). 구체적으로, 가중치 산출부는, 하기의 수학식 7을 이용하여 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다.
Figure pat00007
여기서 오디오 신호 크기 제어 비율(Loudness control ratio)은 diff1/diff2일 수 있다.
그리고, 가중치 산출부는, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 하기의 수학식 8에 적용하여 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다(S507).
Figure pat00008
Figure pat00009
여기서 new_Peek_weight는 새로운 Peek 가중치(New Peek weight)를 의미하고, previous_Peek_weight는 new_Peek_weight 산출 이전에 이용한 Peek 가중치를 의미하며, new_weight는 수학식 8에서 산출된 가중치를 의미한다. 일 예로, 상술한 수학식 7 내지 8에 따르면, 처음에는(S505:Y), 초기 Peek 가중치(initial Peek weight)와 new weight를 곱하여, 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다.
한편, 수학식 8에 따르면, original LKFS)와 Peek LKFS의 차이가 original LKFS와 Target LKFS의 차이보다 작은 경우는, 이전 Peek 가중치를 감소시켜 새로운 Peek 가중치를 산출하고, original LKFS와 Peek LKFS의 차이가 original LKFS와 Target LKFS의 차이보다 큰 경우는, 이전 Peek 가중치를 증가시켜 새로운 Peek 가중치를 산출할 수 있다.
이러한, 수학식 8에서는, 감소를 위한 가중치는 0.9, 증가를 위한 가중치는 1.1이 이용하였으나, 이러한 가중치 값에 한정되는 것은 아니고, 다양한 가중치 값이 이용될 수 있다. 일 예로, 보다 세밀한 오디오 신호 크기 조절을 위하여, 감소를 위한 가중치는 0.99, 증가를 위한 가중치는 1.01이 이용될 수 있다.
한편, 여기서 목표치 LKFS(Target LKFS)는, 세계 여러 나라가 규정 및 법안으로 정한 목표치 LKFS(Target LKFS)에 따라 달라질 수 있다. 일 예로, 도 5의 후단에 도시된(즉 정규화된 후)바와 같이, 목표치 LKFS(Target LKFS)는 ?24LKFS일 수 있다. 이러한 목표치 LKFS(Target LKFS)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계 당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
한편, 오디오 신호 크기 제어부는, 상술한 동작에 의하여 산출된 새로운 Peek 가중치(New Peek weight)를 이용하여 오디오 신호 크기를 제어할 수 있다. 구체적으로 오디오 신호 크기 제어부는, 산출된 새로운 Peek 가중치(New Peek weight)를 이용하여 입력된 오디오 신호(S501)를 scaling함으로써, 오디오 신호 크기를 제어할 수 있다(S508).
그리고, 오디오 신호 크기 측정부는, 새로운 Peek 가중치(New Peek weight)에 따라 오디오 신호 크기가 제어된 오디오 신호(S508)의 LKFS(New Peek LKFS)를 측정할 수 있다(S509).
한편, 오디오 신호 크기 제어부는, 목표치 LKFS(Target LKFS)(S504)와 측정된 새로운 Peek LKFS(New Peek LKFS)(S509)를 비교하여, LKFS 오차를 산출할 수 있다(S511).
그리고, 오디오 신호 크기 제어부는, LKFS 오차(D)와 기 설정된 오차 범위(T)를 비교할 수 있다(S512). 일 예로, 목표치 LKFS(Target LKFS)와 오디오 신호 크기 오차 범위가 24LKFS(Target LKFS) +/- 2dB(오차 범위)인 경우, 목표치 LKFS(Target LKFS)와 새로운 Peek LKFS(New Peek LKFS)의 차이가 오차 범위 보다 큰지, 작은지 여부를 판단할 수 있다. 이러한 기 설정된 오차 범위(LKFS 오차 범위)(S510)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계 당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
만약, 작은 경우(S513:Y), 오디오 신호 크기 제어부는, 새로운 Peek 가중치(New Peek weight)에 따라 오디오 신호 크기가 제어된 오디오 신호를 출력할 수 있다.
만약, 큰 경우(S513:N), 오디오 신호 크기 제어부는, 상술한 제어 동작을 반복하도록 제어할 수 있다. 여기서, 상술한 제어 동작을 반복하는 경우, 가중치 산출부는, 처음이 아닌 바,(S505:N), 목표치 LKFS(Target LKFS)(S504), 측정된 새로운 Peek LKFS(New Peek LKFS)(S509), 측정된 Original LKFS(S503)를 이용하여, 새로운 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다(S506). 이 경우, 가중치 산출부는, 상술한 수학식 7을 이용하여 Loudness control ratio를 산출할 수 있다. 또한, 가중치 산출부는, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 상술한 수학식 8에 적용하여 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다(S507). 즉, 오디오 신호의 크기가 목표치 LKFS(Target LKFS) 및 오차 범위를 만족할 때까지, 상술한 동작은 반복될 수 있다.
한편, 본 발명의 제1 실시 예에 따른, 입력 오디오 신호(S501)는, 사전에 제작된 방송 프로그램에 대한 오디오 신호인 바, 방송 프로그램의 시작부터 종료까지에 대한 오디오 신호일 수 있다. 이에 따라, 본 발명의 제1 실시 예에 따르면, 방송 프로그램의 시작부터 종료까지에 대한 오디오 신호의 오디오 신호 크기(Original LKFS)를 기반으로 오디오 신호 크기를 제어할 수 있다.
한편, 출력된 오디오 신호(S513)에는, 도 10 내지 12에 도시된, 인코딩 동작, 멀티플렉싱 동작(생략 가능) 등이 수행될 수 있다.
이러한, 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
상술한, 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 자동으로 제어할 수 있다.
도 20은 ITU-R 1770-2에서 언급된 오디오 Gating 방식이 추가된 오디오 신호 크기 측정 방법을 설명하기 위한 도면이다. 여기서 오디오 Gating 방식은, 도 20과 같이 Gate Block 1에 대한 LKFS를 측정하고, Overlap and shift 방식을 적용하여, Gate Block 2에 대한 LKFS를 측정하며, Overlap and shift 방식을 반복하여 Gate Block 별 LKFS를 측정하고, 측정된 Gate Block의 LKFS가 임계 LKFS(ITU-R 1770-2에서는 -70LKFS) 이하이면 묵음으로 처리하여, Gating이 적용된 오디오 신호에 대한 오디오 신호 크기 측정을 수행할 수 있다.
여기서, 상술한 Gate Block에 대해서, ITU-R 1770-2에서는, Gate Block은 0.4s의 Gate 사이즈를 갖고, 75% Overlap 되는 구조를 갖고 있다.
한편, 실시간/라이브 환경에서는, 오디오 신호가 각각의 Gate Block 별로 취득되는 바, 각각의 Gate Block 별 LKFS가, 상술한 수학식 4 내지 5를 이용하여 측정되고, 각각의 Gate Block 별로 오디오 신호 크기를 제어하기 위한 새로운 Peek 가중치(new Peek weight)가, 상술한 도 19의 방법을 이용하여 산출될 수 있다. 다만, 각각의 Gate Block 별로 산출된 새로운 Peek 가중치(new Peek weight)를 이용하여, 각각의 Gate Block 별로 오디오 신호 크기를 제어하게 되면, 서로 이웃하는 Gate Block 간의 가중치 차이에 의하여, 불연속적인 사운드가 발생할 수 있다.
이러한 문제점을 해결하기 위하여 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법은 다음과 같은 처리를 수행할 수 있다.
도 21은 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하기 위하여 게이트 핸드오버를 설명하는 도면이다. 도 21을 참조하면, Gate Block의 non-overlap 되는 영역의 Gate size는, 일 예로 4800 sample일 수 있다. 또한, AAC, AC-3등과 같은 코덱을 이용하는 경우, 한 번에 받는 데이터 사이즈를 결정하는 한 개의 프레임 사이즈는, 1024 sample일 수 있다. 이 경우, 한 개의 프레임이 2개의 Gate block에 걸치는, 게이트 핸드 오버(Gate hand over)가 발생할 수 있다.
도 22는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하는 도면이다. 도 22를 참조하면, 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법은, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여 오디오 신호 크기를 제어할 수 있다. 여기서 게이트 가중치는, 각각의 Gate Block에 대하여 상술한 도 19의 방법을 이용하여 산출된 새로운 Peek 가중치(new Peek weight)일 수 있다.
이러한, 본 발명의 제5 실시 예에 따르면, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않는다. 즉, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임에서 데이터가 수신되는 시점에는, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임이 걸치는 2 개의 Gate block에 대한 게이트 가중치를 미리 산출할 수 있기 때문에, 미리 산출된 2 개의 Gate block에 대한 게이트 가중치를 이용하여, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임 시점부터 지연 없이 게이트 가중치를 인터폴레이션할 수 있기 때문이다.
한편, 본 발명의 제5 실시 예에 따르면, 게이트 가중치를 인터폴레이션(interpolation)하기 위하여 다양한 인터폴레이션(interpolation) 방법을 사용할 수 있다. 일 예로, 본 선형 인터폴레이션(linear interpolation)을 사용할 수 있다. 이에 대해서는 도 23을 참조하여 구체적으로 설명하기로 한다.
도 23은 본 발명의 제5 실시 예에 따른 인터폴레이션의 일 예인 선형 인터폴레이션(linear interpolation)을 설명하는 도면이다. 도 23을 참조하면, 하기의 수학식과 같은 선형 인터폴레이션(linear interpolation)을 사용할 수 있다.
Figure pat00010
수학식 9에서, WG1는 Gate Block 1의 게이트 가중치, WG2는 Gate Block 2의 게이트 가중치, i는 인터폴레이션할 게이트 가중치의 개수, InterFrame은 인터폴레이션 시작 프레임부터 종류 프레임까지의 프레임 개수를 의미한다.
일 예로, InterFrame의 개수를 3으로하여, 상기 수학식 9에 적용하면, 도 22에서 도시된 바와 같이, 2 개의 프레임에 적용될 게이트 가중치(빨간색으로 도시된 가중치 : W1, W2)가 산출될 수 있다. 즉, InterFrame의 개수의 선택적으로 조절하여, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
한편, 상술한 본 발명의 제5 실시 예에 따른, 게이트 가중치 인터폴레이션 방법은, 게이트 가중치를 이용하여 오디오 신호 크기를 제어하는 방법에 모두 적용될 수 있다. 일 예로, 기존에 녹화된 방송 프로그램에 적용되어 오디오 신호 크기를 제어할 수 있고, 라이브 방송 프로그램에 적용되어 오디오 신호 크기를 제어할 수 있다.
또한, 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
이러한, 본 발명의 제5 실시 예에 따르면, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않도록 할 수 있다.
또한, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
도 24는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보의 일 예를 나타내는 도면이다. 여기서 Half Automatic Loudness 컨트롤 모드는, 제어를 위한 가중치를 사람이 수동으로 선택한다는 점은 Manual Loudness 컨트롤 모드와 동일하나, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보를 사람이 이용할 수 있도록, 상술한 정보를 제공한다는 점에서 다를 수 있다.
이러한 Half Automatic Loudness 컨트롤 모드에서, 제공되는 오디오 신호 크기 제어를 위한 정보는, 도 24에 도시된 바와 같이, Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603), played LKFS(604), Remained LKFS(605), Recommended Control Factor(606)중 적어도 하나를 포함할 수 있다.
여기서 Momentary LKFS(601)는 게이트 블록에 입력된 오디오 신호에 대한 LKFS(일 예로, 도 20과 같이 0.4S동안 입력된 오디오 신호에 대한 LKFS), short term(3s)는 LKFS(602)는 3S 동안 입력된 오디오 신호에 대한 LKFS, integrated LKFS(603)는 현재까지 입력된 오디오 신호에 대한 LKFS, played LKFS(604)는 현재까지 출력된 오디오 신호에 대한 LKFS, Remained LKFS(605)는 목표치 LKFS 대비 played LKFS(604)의 부족하거나 초과한 LKFS, Recommended Control Factor(606)는 Remained LKFS(605)를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치일 수 있다.
이러한, Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603)는 상술한 수학식 4 내지 5를 이용하여 측정될 수 있다.
한편, played LKFS(604)는 출력된 오디오 신호(즉 상술한 도 22 내지 23의 동작에 따라, 오디오 신호 크기가 제어되어 오디오 재생 장치에 출력될 수 있다.), 즉 오디오 신호 크기가 제어된 오디오 신호라는 점에서, 오디오 신호 크기가 제어되지 않은 입력 오디오 신호에 대한 LKFS인 integrated LKFS(603)와 상이할 수 있다.
이러한, played LKFS(604)는 하기의 수학식 10을 이용하여 산출될 수 있다.
Figure pat00011
여기서, x는 LKFS 측정 알고리즘에 정의된 2개의 필터를 통과한 신호에 대해서 현재까지 출력된 오디오 신호, M은 Gate Block의 sample 개수, N은 현재까지 오디오 신호가 입력된 Gate Block의 개수이다.
즉, 도 20을 참조하면, 실시간/라이브 환경에서는, 매 번 Gate Block 마다 오디오 신호가 입력되므로, 수학식 10과 같이, 현재까지의 출력된 오디오 신호의 평균(played_mean)을 지속적으로 연산해야 한다. 이에 따라, 평균(played_mean)이 얻어지면 ITU-R 1770-2에 언급된 수식에 적용하여 played LKFS(604)를 측정할 수 있다.
한편, 상술한 수학식 10과 같이 계산할 경우, 오디오 신호에 대한 데이터가 많아지면, N값이 상당히 커지므로, fixed-point 프로세서의 경우, previous_Mean 과 N-1의 곱의 결과가 프로세서 범위를 초과할 수 있다. 또한, floating point 프로세서에서도 상당한 큰 값이 될 수 있다. 프로세서의 처리 및 메모리의 저장 용량에 부담이 생길 수 있다.
이러한 문제점을 보안하기 위하여 본 발명의 일 실시 예에 따르면, 하기의 수학식 11과 같이, N을 곱하는 방식이 아닌, N을 나누는 방식을 통해서, 현재까지 출력된 오디오 신호에 대한 평균(present_mean)을 산출할 수 있다. 이 경우, 산출된 present_mean을 상술한 수학식 10의 played_mean에 적용함으로써, played LKFS(604)를 측정할 수 있다. 이 경우, 프로세서의 처리 및 메모리의 저장 용량에 부담을 덜 수 있다.
Figure pat00012
도 25는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보 중 Recommended control factor를 산출하는 방법을 나타내는 도면이다. 도 25를 참조하면, 하기의 수학식 12를 이용하여 Remained LKFS(605)를 측정하고, 측정된 Remained LKFS(605)를 이용하여 Recommended Control Factor(606)를 산출할 수 있다.
Figure pat00013
여기서, Remained LKFS(605)는, played LKFS(604), Taget LKFS(607), 총 출력될 오디오 신호의 시간(Total Play Time(Ts))(608), 현재 출력된 오디오 신호의 시간(Played Time(Ps))(609)를 이용하여 산출될 수 있다. 이러한 수학식 12를 참조하면, Remained LKFS(605)는 목표치 LKFS 대비 played LKFS(604)의 부족하거나 초과한 LKFS를 의미할 수 있다.
Recommended Control Factor(606)는 Remained LKFS(605)를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치일 수 있다. 즉 Remained LKFS(605)는, 목표치 LKFS(607) 대비 played LKFS(604)의 부족하거나 초과한 LKFS를 의미하는 바, 가중치 산출부는, Remained LKFS(605)를 이용하여, 총 출력될 오디오 신호의 오디오 신호 크기가 목표치 LKFS(607)가 되기 위한 가중치를 산출할 수 있다.
한편, 상술한 Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603), played LKFS(604), Remained LKFS(605), Recommended Control Factor(606)등과 같은, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보는, 오디오 신호 크기 제어 장치에 구비된 디스플레이 화면을 통하여 제공될 수 있다.
이러한, 본 발명의 실시 예에 따르면, 오디오 신호 크기 제어에 필요한 정보를 제공함으로써, 실시간/라이브 환경에서 사용자가 보다 쉽게 오디오 신호 크기를 제어할 수 있다.
도 26 내지 28은 입력 오디오 신호의 파형과 정규화된 오디오 신호의 파형을 비교한 도면이다.
도 26(a)는 pop의 입력 오디오 신호의 파형, 도 26(b)는 pop의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 26을 참조하면, 입력 오디오 신호의 크기는 -22.23 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -22.72 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
도 27(a)는 Kpop의 입력 오디오 신호의 파형, 도 27(b)는 Kpop의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 27을 참조하면, 입력 오디오 신호의 크기는 -8.9 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -23.28 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
도 28(a)는 classic의 입력 오디오 신호의 파형, 도 28(b)는 classic의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 28을 참조하면, 입력 오디오 신호의 크기는 -26 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -25.34 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
한편, 상술한 본 발명의 다양한 실시 예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (6)

  1. 오디오 신호 크기 제어 방법에 있어서,
    입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 단계;
    상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 단계; 및
    상기 산출된 제어 정보를 표시하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 제어 정보는,
    Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  3. 제2항에 있어서,
    상기 played 오디오 신호 크기 정보는,
    현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고,
    상기 Remained 오디오 신호 크기 정보는,
    목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며,
    상기 Recommended Control Factor 정보는,
    Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보인 것을 특징으로 하는 제어 방법.
  4. 오디오 신호 크기 제어 장치에 있어서,
    입력된 오디오 신호의 제어와 관련된 Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드, Automatic Loudness 컨트롤 모드 중 일 모드를 선택받는 입력부L
    상기 선택받은 컨트롤 모드가 Half automatic Loudness 컨트롤 모드인 경우, 상기 입력된 오디오 신호의 제어를 위해 필요한 제어 정보를 산출하는 제어부; 및
    상기 산출된 제어 정보를 표시하는 디스플레이부;를 포함하는 오디오 신호 크기 제어 장치.
  5. 제4항에 있어서,
    상기 제어 정보는,
    Momentary 오디오 신호 크기 정보, shortterm(3s) 오디오 신호 크기 정보, integrated 오디오 신호 크기 정보, played 오디오 신호 크기 정보, Remained 오디오 신호 크기 정보, Recommended Control Factor 정보중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 크기 제어 장치.
  6. 제4항에 있어서,
    상기 played 오디오 신호 크기 정보는,
    현재까지 출력된 오디오 신호에 대한 오디오 신호 크기 정보이고,
    상기 Remained 오디오 신호 크기 정보는,
    목표치 오디오 신호 크기 대비 played 오디오 신호 크기의 부족하거나 초과한 오디오 신호 크기 정보이며,
    상기 Recommended Control Factor 정보는,
    Remained 오디오 신호 크기 정보를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치 정보인 것을 특징으로 하는 오디오 신호 크기 제어 장치.
KR1020130036468A 2013-03-21 2013-04-03 오디오 신호 크기 제어 방법 및 장치 KR101583294B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130036468A KR101583294B1 (ko) 2013-04-03 2013-04-03 오디오 신호 크기 제어 방법 및 장치
US14/778,877 US20160049162A1 (en) 2013-03-21 2014-03-20 Audio signal size control method and device
JP2016505384A JP2016514856A (ja) 2013-03-21 2014-03-20 オーディオ信号大きさの制御方法及び装置
PCT/KR2014/002362 WO2014148845A1 (ko) 2013-03-21 2014-03-20 오디오 신호 크기 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130036468A KR101583294B1 (ko) 2013-04-03 2013-04-03 오디오 신호 크기 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140120555A true KR20140120555A (ko) 2014-10-14
KR101583294B1 KR101583294B1 (ko) 2016-01-07

Family

ID=51992400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036468A KR101583294B1 (ko) 2013-03-21 2013-04-03 오디오 신호 크기 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101583294B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180006233A (ko) * 2016-07-08 2018-01-17 전자부품연구원 오디오 ld 자동 복합 제어 방법 및 시스템
KR20180006126A (ko) * 2016-07-08 2018-01-17 전자부품연구원 저-지연 오디오 ld 자동 제어 방법 및 시스템
KR20190048248A (ko) * 2017-10-31 2019-05-09 전자부품연구원 신호 분석 및 딥 러닝 기반의 오디오 음량 제어 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005502979A (ja) * 2001-09-11 2005-01-27 トムソン ライセンシング ソシエテ アノニム 等化モードを自動的に作動化するための方法および装置
WO2010131470A1 (ja) * 2009-05-14 2010-11-18 シャープ株式会社 ゲイン制御装置及びゲイン制御方法、音声出力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005502979A (ja) * 2001-09-11 2005-01-27 トムソン ライセンシング ソシエテ アノニム 等化モードを自動的に作動化するための方法および装置
WO2010131470A1 (ja) * 2009-05-14 2010-11-18 シャープ株式会社 ゲイン制御装置及びゲイン制御方法、音声出力装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180006233A (ko) * 2016-07-08 2018-01-17 전자부품연구원 오디오 ld 자동 복합 제어 방법 및 시스템
KR20180006126A (ko) * 2016-07-08 2018-01-17 전자부품연구원 저-지연 오디오 ld 자동 제어 방법 및 시스템
KR20190048248A (ko) * 2017-10-31 2019-05-09 전자부품연구원 신호 분석 및 딥 러닝 기반의 오디오 음량 제어 방법 및 시스템

Also Published As

Publication number Publication date
KR101583294B1 (ko) 2016-01-07

Similar Documents

Publication Publication Date Title
US10276173B2 (en) Encoded audio extended metadata-based dynamic range control
KR101482945B1 (ko) 단말 장치 및 그의 오디오 신호 출력 방법
KR101849612B1 (ko) 새로운 미디어 장치 상에 내장된 라우드니스 메타데이터를 갖거나 또는 갖지 않고 미디어의 정규화된 오디오 재생을 위한 방법 및 장치
TWI580180B (zh) 用於改進感知頻譜失衡之音訊信號動態補償技術
EP3236586B1 (en) System for combining loudness measurements in a single playback mode
JP2016514856A (ja) オーディオ信号大きさの制御方法及び装置
CN108432130B (zh) 基于对象的音频信号平衡
JP2016522597A (ja) 端末装置及びそのオーディオ信号の出力方法
CN103119846B (zh) 利用对白水平归一化对音频流进行混合
JP2013543712A (ja) 音を増強させるための方法及びシステム
CN113257274A (zh) 高效drc配置文件传输
US20160049914A1 (en) Audio signal size control method and device
KR101583294B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101482946B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101603992B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101583296B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101583293B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101602273B1 (ko) 오디오 신호 크기 제어 방법 및 장치
GB2494894A (en) Dynamic range control
KR20080086787A (ko) 오디오 재생장치와 제어방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191125

Year of fee payment: 5