KR20140120573A - 단말 장치 및 그의 오디오 신호 출력 방법 - Google Patents

단말 장치 및 그의 오디오 신호 출력 방법 Download PDF

Info

Publication number
KR20140120573A
KR20140120573A KR1020130036507A KR20130036507A KR20140120573A KR 20140120573 A KR20140120573 A KR 20140120573A KR 1020130036507 A KR1020130036507 A KR 1020130036507A KR 20130036507 A KR20130036507 A KR 20130036507A KR 20140120573 A KR20140120573 A KR 20140120573A
Authority
KR
South Korea
Prior art keywords
audio signal
size
lkfs
audio
data
Prior art date
Application number
KR1020130036507A
Other languages
English (en)
Other versions
KR101482945B1 (ko
Inventor
김제우
신화선
조충상
최병호
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR20130036507A priority Critical patent/KR101482945B1/ko
Priority to PCT/KR2014/002360 priority patent/WO2014148844A1/ko
Priority to JP2016505383A priority patent/JP2016522597A/ja
Priority to US14/778,971 priority patent/US20160065160A1/en
Publication of KR20140120573A publication Critical patent/KR20140120573A/ko
Application granted granted Critical
Publication of KR101482945B1 publication Critical patent/KR101482945B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

단말 장치의 오디오 신호 출력 방법이 개시된다. 본 오디오 신호 출력 방법은, 기 설정된 오디오 신호 크기를 갖는 정규화 오디오 신호를 포함하는 방송 신호를 수신하는 단계, 방송 신호에서 프로그램 장르 정보를 검출하는 단계, 검출된 프로그램 장르 정보에 대응되는 선호 오디오 신호 크기를 검출하는 단계 및 검출된 선호 오디오 신호 크기가 되도록, 정규화 오디오 신호의 크기를 제어하는 단계를 포함한다.

Description

단말 장치 및 그의 오디오 신호 출력 방법{TERMINAL APPRATUS AND AUDIO SIGNAL OUTPUT METHOD THEREOF}
본 발명은 정규화된 오디오 신호를 수신하여 출력하는 단말 장치 및 그의 오디오 신호 출력 방법에 관한 것이다.
사람들은 일상생활을 하면서 다양한 환경에 놓이며 다양한 소리에 노출된다. 사람들이 노출되는 소리는 다양한 원인에 의해서 발생하는데 도 1에서 보이는 것과 같이 사람이 청취 하였을 때 불쾌함을 발생하는 환경 소음, 사람을 즐겁게 하는 멀티미디어 사운드 및 음악, 그리고 사람 사이에서 대화 및 정보를 주고 받을 때 발생하는 소리 등이 있다.
사람들 주변의 여러 소리는 사운드의 크기 및 종류에 따라 사람에게 고통을 줄 수도 있고, 즐거움을 줄 수도 있고, 다양한 정보를 제공할 수도 있다. 이러한 이유는 사람의 청각 구조는 공기로 전달된 사운드의 음압 레벨을 통해 소리를 인지하므로, 사운드 크기 및 강도는 소리에 의한 청각적 피로도 및 소리의 물리적 특징을 정의하는 유용한 수치가 되고 있다.
소리를 평가하는 방법 중 사운드 크기(loudness)는 어떠한 소리가 사람 귀에 전달되었을 때 사람의 청각시스템이 인지하는 주관적인 사운드 크기이며, 소리의 강도(intensity)는 사람의 청각시스템에 전달된 객관적인 사운드의 강도로서 소리의 파워를 뜻하며, 일반적으로 잘 알려진 데시벨로 측정된다. 일반적으로 사람들 사이의 대화는 60 ~ 70 dB이고, 교통량이 많고 소음이 심한 대로변은 약 80dB 정도이며, 일반적으로 약 70dB 범위에서 사람들이 편안함을 느낀다.
도 1을 참조하면, 현대 사람들은 오디오를 접하는 방법과 기회가 점점 증가하고 있으며, 휴대용 멀티미디어 오디오 기기의 발달에 따라 언제 어디서나, 어느 상황에서도 자신이 원하는 멀티미디어 콘텐츠 및 음악을 즐길 수 있게 되었다. 특히 오디오에서는 1990년대 후반 MP3(MPEG-1 Layer III)의 등장과 인터넷의 대중화가 이루어지면서 MP3로 압축된 디지털 음원을 인터넷을 통해 쉽게 다운받고 청취하는 것이 가능해졌다.
상업적인 오디오 음원 시장은 멀티미디어 기기의 대중화와 융합되어 급격히 팽창되었고, 오디오 음원은 영역에서의 경쟁이 심화되면서 사람들의 관심을 끌기 위해서 오디오 음원의 재생 가능한 최대 음향과 최소 음향 차이의 비(dynamic range)가 급격히 감소하고, 파형의 최대값이 증가하여 오디오 사운드 크기가 상당히 증가하였다. 이는 '오디오 사운드 크기가 클수록 사람들이 좋은 음악으로 인식 할 것이다'라는 생각에서 더욱 심화 됐다.
도 2의 (가)는 1970년 음악(Pops)의 파형을, (나)는 2011년 한국 가요(K-Pops)의 파형을 보여주고 있다. 도 2를 참조하면, 오래 전에 녹음된 음악은 다이나믹 범위가 최근에 발매된 음원보다 넓은 것을 볼 수 있으며, 최근 전세계적 대중화를 이룬 K-Pops 음원의 파형은 최대치에 이르거나 혹은 최대치를 넘게 되는 경우를 확인 할 수 있다.
그에 따라, 멀티미디어 기기에서 오디오의 사운드 크기를 정확하게 측정하고, 사운드 크기를 조절하는 기술이 필요하며, 오디오 사운드 크기를 제어하기 위한 기술이 필요하다.
본 발명은 정규화된 오디오 신호를 수신하여 출력하는 단말 장치 및 그의 오디오 신호 출력 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 단말 장치의 오디오 신호 출력 방법은, 기 설정된 오디오 신호 크기를 갖는 정규화 오디오 신호를 포함하는 방송 신호를 수신하는 단계, 상기 방송 신호에서 프로그램 장르 정보를 검출하는 단계, 상기 검출된 프로그램 장르 정보에 대응되는 선호 오디오 신호 크기를 검출하는 단계 및 상기 검출된 선호 오디오 신호 크기가 되도록, 상기 정규화 오디오 신호의 크기를 제어하는 단계를 포함한다.
그리고, 상기 선호 오디오 신호 크기를 검출하는 단계는, 상기 단말 장치에 대한 사용자 식별 정보가 입력된 경우, 상기 선호 오디오 신호 크기 중 상기 사용자 식별 정보에 대응되는 선호 오디오 신호 크기를 검출할 수 있다.
또한, 상기 선호 오디오 신호 크기는, 상기 단말 장치에 대한 사용자 식별 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 프로그램 장르 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 사용자 선택 오디오 신호 크기를 이용하여, 사용자에 대응되는 프로그램 장르 별 선호 오디오 신호 크기를 학습함으로써 생성될 수 있다.
그리고, 상기 단말 장치의 오디오 신호 크기를 상기 정규화 오디오 신호의 크기로 하는 사용자 입력을 수신하는 단계 및 상기 사용자 입력이 수신되면, 상기 정규화 오디오 신호를 출력하는 단계를 더 포함할 수 있다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 단말 장치는, 기 설정된 오디오 신호 크기를 갖는 정규화 오디오 신호를 포함하는 방송 신호를 수신하는 통신부, 상기 방송 신호에서 프로그램 장르 정보를 검출하는 검출부, 상기 검출된 프로그램 장르 정보에 대응되는 선호 오디오 신호 크기를 검출하고, 상기 검출된 선호 오디오 신호 크기가 되도록, 상기 정규화 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부를 포함한다.
그리고, 상기 검출부는, 상기 단말 장치에 대한 사용자 식별 정보가 입력된 경우, 상기 선호 오디오 신호 크기 중 상기 사용자 식별 정보에 대응되는 선호 오디오 신호 크기를 검출할 수 있다.
또한, 상기 선호 오디오 신호 크기는, 상기 단말 장치에 대한 사용자 식별 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 프로그램 장르 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 사용자 선택 오디오 신호 크기를 이용하여, 사용자에 대응되는 프로그램 장르 별 선호 오디오 신호 크기를 학습함으로써 생성될 수 있다.
그리고, 상기 단말 장치의 오디오 신호 크기를 상기 정규화 오디오 신호의 크기로 하는 사용자 입력을 수신하는 입력부를 더 포함하고, 상기 오디오 신호 크기 제어는, 상기 사용자 입력이 수신되면, 상기 정규화 오디오 신호를 출력할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 각 국의 방송법에서 정해진 오디오 신호 크기를 갖는 정규화 오디오 신호를 편리하게 사용자에게 제공할 수 있다.
또한, 프로그램 장르별 선호 볼륨 학습이 지속적으로 갱신되는 구조를 갖고 있으므로, 시간의 흐름에 따른 사용자 취향의 변화도 계속적인 학습갱신을 통해 고려가 가능할 수 있다.
또한, 방송 채널 변환 시 또는 단말의 전원을 ON하는 경우, 재생될 프로그램의 장르에 따라 사용자 선호 볼륨을 제공함으로써, 사용자가 자신의 취향에 따라 최상의 오디오 효과를 느끼도록 할 수 있다.
도 1은 일상 생활에서 발생하는 다양한 청각적 피로 요인들을 설명하기 위한 도면이다.
도 2는 오디오 신호의 파형에 대한 예들을 나타내는 도면이다.
도 3은 오디오 데이터 클립핑에 따른 왜곡 현상을 설명하기 위한 도면이다.
도 4는 오디오 및 소음에 의한 청각 손실을 설명하기 위한 도면이다.
도 5는 디지털 방송 프로그램의 오디오 신호 크기 정규화를 설명하기 위한 도면이다.
도 6은 오디오 신호의 크기를 측정하는 방법을 나타내는 도면이다.
도 7은 프리-필터(pre-filter)의 주파수 응답 특성에 대한 일예를 나타내는 그래프이다.
도 8은 RLB 필터의 주파수 응답 특성에 대한 일예를 나타내는 그래프이다.
도 9는 녹화 및 사전에 제작된 방송 프로그램에 대한 방송 시스템의 구조에 대한 일 예를 설명하기 위한 도면이다.
도 10은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 나타내는 도면이다.
도 11은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 구체적으로 설명하기 위한 도면이다.
도 12는 오디오 신호 크기를 조절하기 위한 Peek 값 기반의 Loudness Control Ratio 연산에 대한 기본 구조를 나타내는 도면이다.
도 13은 실시간 방송 시스템의 구조에 대한 일예를 나타내는 도면이다.
도 14는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 나타내는 도면이다.
도 15는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 구체적으로 설명하기 위한 도면이다.
도 16은 제1 실시 예, 제2 실시 예의 최종 단에 Live LD control 단계가 추가된 방법을 설명하기 위한 도면이다.
도 17은 오디오 신호의 크기 제어에 따른 음질 열화를 보상하기 위한 방법에 대한 제3 실시 예를 나타내는 도면이다.
도 18은 단말기에서 오디오 신호의 크기를 제어하는 방법에 대한 제4 실시 예를 나타내는 도면이다.
도 19는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치의 오디오 신호 크기 제어 방법을 구체적으로 나타내는 흐름도이다.
도 20은 ITU-R 1770-2에서 언급된 오디오 Gating 방식이 추가된 오디오 신호 크기 측정 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하기 위하여 게이트 핸드오버를 설명하는 도면이다.
도 22는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하는 도면이다.
도 23은 본 발명의 제5 실시 예에 따른 인터폴레이션의 일 예인 선형 인터폴레이션(linear interpolation)을 설명하는 도면이다.
도 24는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보의 일 예를 나타내는 도면이다.
도 25는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보 중 Recommended control factor를 산출하는 방법을 나타내는 도면이다.
도 26은 본 발명의 제2 실시 예의 Automatic Loudness 컨트롤 모드에서 오디오 신호 크기 제어 방법을 나타내는 도면이다.
도 27은 도 26에 따른 매핑 오디오 신호 크기(mapped LKFS)를 산출하기 위한 매핑 커브(mapping curve)를 설계하기 위한 방법을 나타내는 도면이다.
도 28은 본 발명의 제3 실시 예에 따른 오디오 신호 크기 제어 방법 중 일 방안을 구체적으로 나타내는 도면이다.
도 29는 본 발명의 제3 실시 예에 따른 오디오 신호 크기 제어 방법 중 다른 방안을 구체적으로 나타내는 도면이다.
도 30은 도 29를 더욱 구체적으로 나타내는 도면이다.
도 31은 본 발명의 제4 실시 예에 따른 단말 장치의 오디오 신호 출력 방법을 구체적으로 나타내는 도면이다.
도 32는 오디오 신호 크기 제어 모듈의 동작을 구체적으로 나타내는 도면이다.
도 33은 본 발명의 제4 실시 예에 따른 볼륨 매핑 테이블을 구체적으로 나타내는 도면이다.
도 34는 본 발명의 제4 실시 예에 따른 장르별 선호 볼륨 추천 및 학습 기능을 나타내는 도면이다.
도 35는 도 34를 더욱 구체적으로 나태는 도면이다.
도 36 내지 38은 입력 오디오 신호의 파형과 정규화된 오디오 신호의 파형을 비교한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시 예들 뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명하기로 한다.
도 3은 오디오 데이터 클립핑에 따른 왜곡 현상을 설명하기 위한 도면이다.
음원의 파형이 디지털 데이터에서 허용 가능한 데이터 분해능(resolution) 범위를 넘을 경우 음원의 파형이 깎이게 되고, 이러한 현상이 오디오 데이터 클립핑이다.
도 3의 (가)는 클립핑 없는 사인파, (나)는 클립핑 없는 파형 주파수 특성, (다)는 클립핑 있는 사인파, (라)는 클립핑 있는 파형의 주파수 특성을 나타낸다.
도 3을 참조하면, 오디오 데이터 클립핑 현상은 오디오 신호를 왜곡하게 되고, 단순한 싸인 파형의 주파수 특성(도 3(나))과 클립핑된 사인 파형의 주파수 특성(도 3(라))을 비교하였을 때, 도 3(라)의 점선으로 표시된 영역처럼 클립핑 없는 사인 파형에 존재하지 않았던 신호 왜곡 성분이 오디오 데이터 클립핑에 의해 발생하는 것을 확인할 수 있다.
한편, 오디오 사운드 크기 증가에 의한 문제는 휴대용 멀티미디어 기기의 대중화에 의해 증폭되고 있다. 현재 멀티미디어 기기에 의해 오디오 청취 시간이 상당히 증가한 청소년들이 상당히 큰 오디오 사운드 크기를 갖는 음원에 지속적으로 장시간 노출되고 있다.
도 4를 참조하면, 1990년대 초반 MP3 기반의 휴대용 멀티미디어 기기 등장전과 비교해서 2000년대 중반 휴대용 멀티미디어 기기가 대중화 되었을 때 미국 청소년의 청각손실이 상당히 증가하였음을 알 수 있다.
또한 국내에서도 소음성 난청 환자가 2000년대 초반과 후반을 비교하면 약 50% 증가하여 멀티미디어기기, 소음환경 등에 의한 청각적 피로가 임계치를 넘어서 청각 기능 열화에 영향을 주고 있는 것을 알 수 있다.
그러므로 사람이 살면서 안전하고 즐겁게 오디오 및 음악 감상 평생 누리기 위해서는 오디오에 의한 청각적 피로를 낮추는 작업이 필요하다.
그를 위해, 본 발명의 일실시예는 멀티미디어 기기에서 오디오 사운드 크기를 정확하게 측정하고, 사운드 크기를 조절하는 방법에 관한 것이다.
도 5는 디지털 방송 프로그램의 오디오 신호 크기의 정규화를 설명하기 위한 도면이다.
국내에서는 방송법 개정을 통하여 각 방송국, 콘텐츠 사이의 오디오 신호 크기(Loudness) 차이를 감소시키기 위한 노력이 진행되고 있다. 현재 방송에서 송출되는 프로그램은 방송사간, 방송 콘텐츠 간 상당한 크기 차이를 보인다.
도 5를 참조하면, 두 가지 음악 콘텐츠의 오디오 신호 크기(일 예로, Channel1 :-23.4LKFS, Channel2 : -8.5LKFS)가 상당한 차이를 보인다. 이러한 차이가 방송 시청자들에게 상당한 불편을 야기하고 있다. 이러한 것을 극복하고자 TTA의 PG803 WG8034 산하에서 "디지털 방송 프로그램 음량 레벨 기준"이라는 내용으로 표준화 작업이 진행되고 있다.
표준화의 목표는 도 5에 보이는 바와 같이 상당한 크기 차이를 갖는 채널/방송프로그램을 표준화된 음량 표준 규격에 따라 조절하여 정규화된 오디오 신호 크기(일 예로, Channel1 : -24LKFS, Channel2 : -24LKFS)를 갖도록 출력하는 기준을 마련하는데 있다.
상기 표준화는 방송법과 연계될 것이므로, 표준의 중요성 및 사용가능성이 상당히 높으면, 표준에서는 국제 오디오 신호 크기 측정 표준인 ITU-1770-1/2을 기반으로 국내 상황에 맞는 오디오 신호 기준과 규격을 제시할 것이며, 이를 준수할 수 있도록 도울 수 있는 기술 및 현재 디지털 방송 신호 크기에 대한 분석 등을 수행할 것이다.
도 6은 오디오 신호의 크기를 측정하는 방법을 나타내는 도면이다.
오디오 신호의 크기 측정 방법에 대한 연구는 2000대 중반부터 시작되어 ITU에서 오디오 신호 크기 측정에 대한 표준인 ITU-R BS. 1770-1을 2006년에 발표하였고, Gating 방식이 추가된 ITU-R BS. 1770-2이 2011년도에 발표되었다.
발표된 표준에서는 오디오 신호 크기 측정에 대한 방법과 True Peak 측정 방법만을 제시되었으며, 오디오 신호 크기 컨트롤에 대한 부분은 이루어지진 않았다. 현재까지도 오디오 신호 크기를 컨트롤하는 방법에 대한 부분은 표준화기 진행되지 않았다.
ITU-R에서 표준화된 오디오 신호 크기 측정 방법은 도 6에 도시된 바와 같은 LKFS(loudness, K weighted, relative to nominal full scale)를 통해 측정한다.
알고리즘의 첫 번째 모듈(Pre-filter)에서는 사람 머리에 의한 음향적 영향을 고려하기 위하여 2차 IIR 필터로서 구성된다.
도 7은 프리-필터(pre-filter)의 주파수 응답 특성에 대한 일 예를 나타내는 그래프이다.
필터의 주파수 특성은 도 7에 보이는 바와 같이 약 1kHz를 기준으로 1kHz 이하 영역을 제거하고 1kHz 이상의 영역에 대해서 통과 시킨다. 일반적으로 많이 사용되는 48kHz 데이터에 대한 필터 계수는 구형태의 머리 모델을 기반으로 ITU-R BS. 1770-1에서 제공되고 있다.
도 8은 RLB 필터의 주파수 응답 특성에 대한 일 예를 나타내는 그래프이다.
두 번째 모듈(RLB filter)에서는 사람의 청각적인 특성을 기반한 가중치 필터를 적용하게 된다. 이 필터는 도 8의 (가)와 같이 사람의 청각이 입력된 소리에 대한 주파수 영역에서 서로 다른 민감도를 갖는 특성을 기반하고 있다.
예를 들어, 도 8의 (가)에서 최소 레벨을 기준으로 250Hz에서의 약 20dB와 1kHz에서의 약 1dB가 동일한 오디오 사운드 크기로 사람에게 인지 된다는 것을 보여주고 있다. 그래서 사람의 청각을 고려하기 위한 필터응답은 도 8의 (나)와 같이 ISO 226에 정의된 동일 오디오 사운드 크기 윤곽선을 역으로 적용한 것과 유사한 필터 응답을 갖도록 대역별 가중치 필터가 설계되었다.
설계된 가중치 필터를 살펴보면 저주파 영역의 가중치는 감소시킨 반면 1kHz 이상의 영역은 저주파 영역 대비 상대적인 가중치가 높게 설계 되었다. 또한 가중치 필터를 단순화 시키기 위하여 약 1kHz이상 영역은 평평하게 설계되었다. RLB 가중치 필터는 2차 IIR 필터 구조를 가지며, ITU-R 문서에 48kHz 데이터에 대한 필터계수를 제공하고 있다.
가중치 필터를 통과한 결과는 도 6의 mean-square energy 모듈에서 다음의 수학식과 같이 변환된다.
Figure pat00001
가중치가 적용된 에너지를 다음의 수학식과 같이 각 채널의 에너지에 채널 별 가중치를 적용하여 합한 후 로그수식에 적용하여 데시벨로 변환한다. 아래 수식에 의해 얻어진 사운드 크기에 대한 단위는 LKFS(loudness, K weighted, relative to nominal full scale)를 사용한다.
Figure pat00002
수식에서 N은 채널 수이고, G는 채널에 대한 가중치이다.
이렇게 설계된 ITU 기반의 오디오 사운드 크기 측정 방법이 정확하게 설계 되었는지 검증하기 위해서는 0dB, 1kHz 사인 파형을 입력하였을 경우 소리 크기 측정 값이 -3.01 LKFS가 출력되어야 한다.
기존 오디오 신호 크기에 대한 연구는 크게 두 가지로 나눌 수 있다. 첫 번째는 ITU-R1770-1과 같이 사람이 청각적으로 인지하는 오디오 음량 레벨에 근접한 객관적 오디오 신호 크기 측정 알고리즘 개발이다.
두 번째로 기존에는 오디오 신호 크기가 비정규화되어 전송되었고, 이에 따라 우리가 듣는 오디오 파일 및 음원의 음량이 제각각 이어서 서로 다른 크기를 갖는 오디오 파일이 들어올 때 자동으로 오디오 신호 크기를 컨트롤하는 연구가 수행되었다.
각국에서 오디오 신호 크기에 대한 문제를 극복하기 위하여 ITU-1770-1/2를 기반으로 오디오 신호 크기를 측정하고, 이를 기준으로 오디오 신호 크기 정규화 기준 값 및 오차범위 제시하고 있다. 현재 일본은 적극적으로 이루어지고 있으나, 그 외의 나라는 아직 시작 단계이거나 상업광고와 같은 일부분에만 적용하고 있다.
즉 표준화 및 규제 법안에 포함된 내용은 정규화 기분과 오차범위, 적용 범위를 정의하고 있으나, 이러한 규격을 지키기 위한 방법을 제시하고 있지는 않다. 즉 꼭 이루어야 하는 목표만을 제시하였고, 방법에 대해서는 제시하지 않았다.
한편, 2011년 3월에 개정된 ITU-R 오디오 신호 크기 측정 방법에는 오디오 Gating 방법이 추가되었다. 오디오 Gating이란 오디오 음량이 낮은 부분은 제외하고 오디오 음량을 측정하기 위한 방법이다.
오디오 음량 측정 Gating을 위한 블럭은 한 주기로 하며, 이웃하는 블록과는 75%의 중첩이 이루어 진다. 또한 파일의 마지막에 블록사이즈를 만족하지 못하는 샘플에 대해서는 측정하지 않는다.
먼저 블록단위의 Mean square는 아래 수식과 같이 연산된다.
Figure pat00003
각 gated block 의 오디오 음량은 기존과 같은 수식 기반으로 다음과 같이 연산된다.
Figure pat00004
각 블록에 Gating이 적용될 경우 ITU-R 1770-2에서는 -70LKFS 이상의 신호에 대해서만 고려하여 Gating이 적용된 신호에 대한 LFKS를 다음 수식과 같이 측정한다.
Figure pat00005
개정된 방법에서는 기존에 사용되던 pre-filter와 RLB filter는 동일하게 사용되면, 알고리즘의 정확도 검증 방법 또한 동일하다.
상술한 내용을 참조할 때, 현재 까지의 표준화 및 규제 법안에 포함된 내용은 정규화 기준, 오차 범위, 적용 범위를 정의하고 있으나, 이러한 규격을 지키기 위한 방법에 대하여 명확하게 개시하고 있지 않다.
이에 따라, 후술할 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
또한, 후술할 본 발명의 제2 실시예에 따르면,실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
또한, 후술한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있다.
또한, 후술할 본 발명의 제4 실시 예에 따르면, 오디오 신호 크기의 정규화를 고려하여, 단말(TV, 스마트폰)에서의 새로운 오디오 컨트롤 기능을 제공할 수 있다.
도 9는 녹화 및 사전에 제작된 방송 프로그램에 대한 방송 시스템의 구조에 대한 일 예를 설명하기 위한 도면이다.
도 9를 참조하면, 현장에서 취득된 오디오 데이터는 Ingest 서버에 저장되고, 저장된 파일은 편집 시스템으로 전달된다. 편집 시스템에서는 잘 알려진 영상/음향 효과, 오디오 노이즈 제거, 영상/오디오 동기화 등 각 파트 별로 편집이 이루어진다.
파트 별 편집이 이루어진 데이터는 종합 편집시스템에서 최종적 가공이 이루어지고 주조정실에서 편집이 완료된 방송 프로그램을 송출하게 된다. 이러한 구조를 볼 때, 오디오 신호 크기 규제에 따른 녹화 및 사전에 제작된 방송 프로그램에 대한 오디오 신호 크기 정규화 작업은, 편집 시스템과 종합편집시스템에서 이루어질 수 있다.바람직하게는, 파일로 제작되는 단계에서는 편집 시스템에서 오디오 데이터를 독립적으로 컨트롤하므로 편집 시스템 후처리 작업으로 수행될 수 있다.
도 10은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시 예를 나타내는 도면이다.
기존에 녹화된 방송 프로그램 파일의 경우는, 저장된 파일을 분석하여 오디오 신호 크기 정규화가 이루어져야 한다. 이에 따라, 도 10을 참조하면, 디멀티플렉서(demultiplexer)는 기존에 녹화된 방송 프래그램 파일을 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S101).
그리고, 정규화 판단부는 오디오 데이터가 사전 정규화 되었는지 판단할 수 있다(S102). 여기서 정규화란, 상술한 도 5와 같이, 오디오 신호 크기를 표준화된 오디오 신호 크기 표준 규격에 따라 조절하여 정규화하는 것을 의미한다.
만약, 오디오 데이터에 사전 정규화가 수행되었다면(S102:Y), 정규화가 수행된 오디오 데이터를 저장 장치에 저장할 수 있다(S103).
만약, 오디오 데이터에 사전 정규화가 수행되지 않았다면(S102:N), 오디오 디코더는 오디오 데이터를 디코딩할 수 있다(S104). 그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S105). 그리고, 오디오 인코더는 정규화가 수행된 오디오 데이터를 인코딩할 수 있다(S106).
한편, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S107). 이에 따라 저장부는 오디오 신호 크기가 정규화된 오디오 데이터를 저장할 수 있다(S103).
저장부에 저장된 데이터는 송출실에 제공될 수 있다(S108).
여기서, 오디오 신호 크기 컨트롤러의 구체적인 동작에 대해서는 도 11 내지 12를 참조하여 구체적으로 설명하기로 한다.
한편, 도면에 도시된 점선 블록, 일 예로 S101 단계, S104, 단계, S106 단계, S107 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 오디오 데이터의 압축 여부에 따라 S104, S106 단계는 생략될 수 있다.
이러한, 본 발명의 제1 실시예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 음량 규격에 맞도록 변환하기 위한 오디오 음량을 컨트롤 가능하기 위하여 먼저 방송프로그램 제작단계에 대한 분석을 수행하고, 이를 기반으로 오디오 음량 규제에 따라 필수적인 오디오 음량 측정 및 컨트롤할 수 있다.
도 11은 오디오 신호의 크기를 제어하는 방법에 대한 제1 실시예를 구체적으로 설명하기 위한 도면이다. 도 12는 오디오 신호 크기를 조절하기 위한 Peek 값 기반의 Loudness Control Ratio 연산에 대한 기본 구조를 나타내는 도면이다. 이하, 도 11 내지 12를 설명함에 있어서, 도 10에서 설명한 부분에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 11을 참조하면, 컨트롤 정보(information)가 녹화된 방송프로그램을 컨트롤 하기 위해 제공될 수 있다.
먼저 세계 여러 나라가 규정 및 법안으로 정한 목표치 오디오 신호 크기(Target LKFS)값과 오디오 신호 크기 오차 범위가 제공될 수 있다. 일반적으로 미국/일본은 24LKFS(Target LKFS) +/- 2dB(오차 범위) 이고, 유럽은 23LKFS(Target LKFS) +/- 1dB(오차 범위)의 범위를 갖는다.
오디오 gating관련 부분은 ITU-R 1770-2에서 처음으로 언급된 부분으로 Overlap and shift 방식을 적용하여 블록별 LKFS를 측정하여 낮은 블록 LKFS를 갖는 것은 silence로 간주하고 이 분에 대한 평균값을 사용하지 않는 방식이다.
미국의 ATSC의 경우는 AC-3 오디오 시스템을 사용하고 있으면서 "dialnorm" 파라미터를 Metadata parameter에 저장하도록 되어있다. Dialnorm에는 Anchor element에 대한 청각적 오디오 신호 크기를 넣도록 되어 있으며, 즉 부분에는 reference point or element의 청각적 오디오 신호의 크기를 넣도록 되어 있다.
Anchor element는 현재 방송 프로그램의 중심이 되는 것에 대한 표준 오디오 신호 크기를 나타내는 것으로 방송프로그램은 Anchor element를 기준으로 최종 balancing이 이루어지게 된다. 또한 dialnorm에는 LKFS값이 저장되는데, 변수 공간이 5bits으로 -1~-31LKFS 값이 저장 가능하다.
한편, ITU-R 기반으로 오디오 신호 크기를 측정하기 위해서는 두 가지 필터를 적용해야 한다. 그러므로 측정된 LKFS와 Target LKFS 차이값을 LKFS 측정 수식으로 역산하여 오디오 신호 크기 변환 값을 추출해도 두개의 필터에 대한 영향이 있으므로 정확한 값을 얻을 수 없다.
이러한 문제점을 극복하기 위하여 본 발명의 제1 실시 예에 따르면, Peek 값을 이용한 방식을 설계하여 원하는 target LKFS에 맞는 오디오 신호 크기 변환 weight factor를 획득하는 알고리즘을 제공할 수 있다.
상술한 바와 같이, 입력된 오디오의 LKFS(original)와 Target LKFS만으로 정확한 loudness(LD) control ratio를 앞에서 설명된 이유에 의해 구할 수 없다.
따라서 본 발명의 제1 실시 예에 따르면, 두 개의 필터를 고려한 LD control ratio를 구하기 위하여 Peeking 방식을 사용하여 Peek 기반 control ratio를 연산할 수 있다. Peeking 방식이란 Peek 기반 control ratio를 이용하여 오디오 신호를 loudness control해서 Peeked LKFS를 획득하는 방식을 의미할 수 있다. 즉 오디오 신호 크기 컨트롤러는 입력된 오디오 데이터(S105-1), Peek weight(ex.0.9)(S105-2), 목표치 LKFS(S105-3) 및 LKFS 오차 범위(105-4)를 수신하여 오디오 신호 크기를 제어하기 위한 제어 비율(Loudness control ratio)을 연산하여(S105-5), LD control ratio를 산출(S105-6)할 수 있다. 구체적으로 입력된 오디오 데이터를 기반으로 산출된 입력된 오디오 데이터의 LKFS, 입력된 오디오 데이터에 Peek weight를 적용하여 산출된 Peek LKFS, 및 수신된 Target LKFS를 이용하여, Target LKFS에 근접하기 위한 wight factor(LD control ratio)을 연산할 수 있다.
Figure pat00006
그리고 오디오 신호 크기 컨트롤러는 산출된 제어 비율(LD control ratio)을 이용하여 입력된 오디오 신호 크기를 조절하여 정규화를 수행할 수 있다.
이러한, 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 13은 실시간 방송 시스템의 구조에 대한 일예를 나타내는 도면이다.
도 13을 참조하면, 라이브 방송 시스템은 녹화 방송 시스템과 많은 차이를 보인다. 중계 시스템에는 Ingest server가 포함되지 않으며, 파트별 편집 시스템을 따로 사용하지 않는다. 대신 라이브 방송 시스템에서는 중계 시스템이 이러한 기능을 통합하여 수행하게 된다.
중계 시스템에서는 영상/음향 편집 및 효과 등의 작업을 수행하며, 프로그램의 전체 제작을 관리하는 부조정실(종합편집실)과 상호 지시를 통해서 생중계되는 오디오 음향에 대한 컨트롤을 수행하게 된다.
이렇게 조율된 방송 프로그램은 주조정실에서 송출되게 된다. 또한 위성을 통해 수신되는 생중계 데이터는 오디오 음향에 대한 작업 및 자막 삽입 등의 추가 작업을 부조정실(종합편집실)에서 수행하여 주조정실을 통해 송출하게 된다. 그러므로 생중계 방송의 오디오음량을 정확히 컨트롤하기 위해 좀 더 많은 변수가 존재한다.
도 14는 오디오 신호의 크기를 제어하는 장치의 방법에 대한 제2 실시 예를 나타내는 도면이다.
도 14를 참조하면, 라이브 환경에서는 앞에서 설명한 것과 같이 마이크로 취득된 신호와, 위성으로 수신된 신호(이하, 라이브 방송 신호)를 고려할 수 있다. 디멀티플렉서(demultiplexer)는 라이브 방송 신호를 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S201). 그리고, 오디오 디코더는 선택된 오디오 데이터를 디코딩할 수 있다(S203).
그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S206). 구체적으로 오디오 신호 크기 컨트롤러는, 라이브 오디오 데이터의 오디오 신호 크기를 분석하여, 라이브 오디오 신호 크기를 컨트롤하여 정규화를 수행할 수 있다. 여기서 오디오 신호 크기 컨트롤러는, 사용자로부터 수동으로 입력된 오디오 신호 크기 제어 값을 이용하여 정규화를 수행할 수 있다(S205).
그리고, 오디오 인코더는 정규화가 수행된 오디오 데이터를 인코딩할 수 있다(S207). 그리고, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S208).
한편, 상술한 데이터 처리가 수행되면, 데이터는 송출실에 제공될 수 있다(S209).
여기서, 오디오 신호 크기 컨트롤러의 구체적인 동작에 대해서는 도 15를 참조하여 구체적으로 설명하기로 한다.
한편, 도면에 도시된 점선 블록, 일 예로 S201 단계, S203 단계, S205 단계, S207 단계, S208 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 입력 파일이 오디오 Raw 데이터인 경우는 오디오 디코딩이 필요하지 않고, 출력으로 오디오 Raw 파일을 요구할 경우 오디오 인코딩 모듈이 필요하지 않다. 신호가 스트리밍으로 전송될 때, 오디오 신호 크기 제어 시스템은 파일을 demuxing 한 후 오디오 데이터가 압축 비트스트림 인 경우, 오디오 신호로 복호화하고, Raw 데이터인 경우는 오디오 디코딩 블록을 Bypass 한다. 오디오 Raw 신호는 Live 오디오 신호를 자동으로 오디오 신호 크기 기준에 따라 조절하고 조절된 신호는 필요에 따라 오디오 인코딩과 파일 포맷팅을 수행하여 송출장치를 통해 방송되게 된다. 혹은 출력에서의 요구에 따라 오디오 Raw 파일이 출력가능하다.
도 15는 오디오 신호의 크기를 제어하는 방법에 대한 제2 실시 예를 구체적으로 설명하기 위한 도면이다. 이하, 도 15를 설명함에 있어서, 도 14에서 설명한 부분에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 15를 참조하면, 기존의 시스템과 달리 제안된 시스템에서는 오디오 신호 크기의 정규화와 관련하여(S206), 세 가지 모드가 가능한 구조가 특징이다. 첫 번째는 Manual Loudness 컨트롤 모드, 두 번째는 Half automatic Loudness 컨트롤 모드, 세 번째는 Automatic Loudness 컨트롤 모드이다. 각 모드는 독립적인 동작이 가능하며, 각 모드에서 동작하다가 중간에 다른 모드로 변환 가능하며, 모드 전환에 따른 두 모드 사이의 차이는 Mode Change Control에 의해 보상될 수 있다.
Manual Loudness 컨트롤 모드는, 사람(일 예로, 오디오 신호 편집자)이 입력된 오디오 신호 크기 제어를 위한 가중치를 수동으로 선택(일 예로, 오디오 신호 처리 장치에 구비된 다양한 버튼을 이용하여)하고, 선택된 가중치를 이용하여 입력된 오디오 신호를 스케일링하여 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. Half Automatic Loudness 컨트롤 모드는, 제어를 위한 가중치를 사람이 수동으로 선택한다는 점은 Manual Loudness 컨트롤 모드와 동일하나, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보(일 예로, 오디오 신호 크기를 스케일링하기 위한 가중치, 입력된 오디오 신호의 크기)를 사람이 이용할 수 있도록, 상술한 정보를 제공한다는 점에서 다를 수 있다. Automatic Loudness 컨트롤 모드는 사람의 수동 제어 없이 자동으로 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. 여기서 각 모드 사이를 전환은, 오디오 신호 처리 장치에 구비된 Half Automatic Loudness 컨트롤 모드 선택 버튼, Manual Loudness 컨트롤 모드 선택 버튼, Automatic Loudness 컨트롤 모드 선택 버튼을 통하여 수행될 수 있다. 또는 오디오 신호 처리 장치는, Loudness 컨트롤 모드 전환을 위한 한개의 모드 전환 버튼을 구비할 수 있고, 이 모드 전환 버튼이 선택되면, 각 모드 사이에 순차적으로 전환될 수 있다.
한편, 모드 전환에 따른 두 모드 사이의 차이는 Mode Change Control에 의해 보상될 수 있다. 일 예로, Half Automatic Loudness 컨트롤 모드에서 Automatic Loudness 컨트롤 모드로 전환되는 경우, Peek 가중치가 변경될 수 있고, 또는 도 22 내지 23에 설명된, 게이트 가중치 인터폴레이션할 필요가 있을 수 있다. 이 경우, Mode Change Control는 이러한 변화를 보상하는 동작을 수행할 수 있다.
또한, 도 15에서 실시간 입력 오디오 신호에 대해서는 목표치 오디오 신호 크기(Target LKFS)에 맞추기 위해 필요한 가중치는 상술한 Peeking 방식을 통해서 연산이 가능할 수 있다.
이러한, 본 발명의 제2 실시예에 따르면,실시간/라이브 취득된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 제어할 수 있다.
도 16은 제1 실시 예, 제2 실시 예의 최종 단에 Live LD control 단계가 추가된 방법을 설명하기 위한 도면이다. 도 16을 참조하면, 본 발명의 제1 실시 예, 제2 실시 예에 따른 방법의 최종 단에 Live LD control 단계를 더 포함할 수 있다.
즉 상술한 바에 따르면, 파일/Local 방송 프로그램은 Local LD Control(S105)을 통해 저장부에 저장되었다가(S103), 송출하는 데 사용될 수 있다. 또한 상술한 바에 따르면, Live 방송 프로그램은 Live LD Control(S206)을 통해 실시간 처리하여 송출될 수 있다.
다만, 방송국의 입장에서는, 규제에 대비하기 위하여, 최종 단에 Live LD Control(S210)을 더 수행할 수 있다. 즉 방송국의 입장에서는, 앞 단에서 잘못 입력된 방송 프로그램이 전달된다 하더라도 최종 단에서 걸러줄 수 있도록 Live LD Control(S210)을 더 둘 수 있다. 이 경우, Live LD Control(S210)은, Manual Loudness 컨트롤 모드, Half automatic Loudness 컨트롤 모드 또는 Automatic Loudness 컨트롤 모드를 이용할 수 있다. 다만, 바람직하게는 24시간 항상 자동으로 처리될 수 있도록 Automatic Loudness 컨트롤 모드가 이용될 수 있다.
도 17은 오디오 신호의 크기 제어에 따른 음질 열화를 보상하기 위한 방법에 대한 제3 실시 예를 나타내는 도면이다.
오디오 신호 크기를 컨트롤하는 방법은 상술한 바와 같이, 입력되는 데이터의 조건에 따라 다양하게 이루어 질 수 있다. 다만, 오디오 신호 크기를 Target LKFS와 오차범위에 맞추게 되면 오디오 신호의 구성이 평평한 느낌이 강해질 수 있다.
이는 오디오 신호 크기의 정규화에 따른 역효과 이다. 오디오 신호 크기 정규화의 목적을 달성하면서, 정규화에 의한 역효과를 해결해야 오디오 정규화의 파급력과 사용자의 만족도가 향상 될 수 있다.
이에 따라, 본 발명의 제3 실시예에 따르면, 상술한 역효과를 보상하기 위한 청각적 열화 보상 모듈을 더 구비할 수 있다. 즉 도 17을 참조하면, 디멀티플렉서(demultiplexer)는 기존에 녹화된 방송 프래그램 데이터 또는 라이브 방송 프로그램 데이터를 디먹스(demux)하여 오디오 데이터를 선택할 수 있다(S301).
그리고, 정규화 판단부는 오디오 데이터가 사전 정규화 되었는지 판단할 수 있다(S302).
만약, 오디오 데이터에 사전 정규화가 수행되었다면(S302:Y), 정규화가 수행된 오디오 데이터에 대한 이후 절차를 진행할 수 있다(S303).
만약, 오디오 데이터에 사전 정규화가 수행되지 않았다면(S302:N), 오디오 디코더는 오디오 데이터를 디코딩할 수 있다(S304). 그리고, Live Audi Mixing&EQ와 같은 편집자 컨트롤이 수행될 수 있다.(S305). 그리고, 오디오 신호 크기 컨트롤러는 디코딩된 오디오 데이터를 이용하여 오디오 신호 크기의 정규화를 수행할 수 있다(S306).
그리고, 청각적 열화 보상 모듈은, 오디소 신호 크기 컨트롤러에서 수행된 정규화에 따른 역효과를 보상할 수 있다(S307). 그리고, 오디오 인코더는 청각적 열화 보상이 수행된 오디오 데이터를 인코딩할 수 있다(S308).
그리고, 멀티플렉서는 인코딩된 오디오 데이터를 디멀티플렉서에서 선택되지 않은 다른 데이터와 멀티플렉싱할 수 있다(S309).
한편, 도면에 도시된 점선 블록, 일 예로 S301 단계, S304, 단계, S308 단계, S309 단계는 오디오 데이터의 포맷 등에 따라 경우에 따라서는 생략될 수 있다. 일 예로, 오디오 데이터의 압축 여부에 따라 S304, S308 단계는 생략될 수 있다.
이러한 본 발명의 제3 실시 예에 따르면, 오디오 신호 크기의 정규화에 따른 청감적 오디오 음질 열화를 최소화시키면서 오디오 신호 크기를 컨트롤할 수 있다.
한편, 상술한 방법에 따른 오디오 신호 크기 정규화는 디지털 방송 소비자에게 상당한 청취 환경의 변화를 불러 일으킨다. 또한 오디오 신호 크기가 정규화 됨으로써 디지털 방송 단말기에서 새로 요구되는 서비스/기능들이 생성될 수 있다. 즉 디지털 방송 단말기에서 방송 오디오 음량 관련 기능들을 제공할 수 있다.
도 18은 단말기에서 오디오 신호의 크기를 제어하는 방법에 대한 제4 실시 예를 나타내는 도면이다. 이하, 도 18를 설명함에 있어서, 도 17에서 설명한 부분(정규화된 오디오 신호의 전송과 관련된 처리 부분(S301 ~ S3010)에 대한 구체적인 설명을 생략하고 설명하기로 한다.
도 18을 참조하면, 단말기는 정규화된 오디오 신호를 수신하고(S401), 수신된 오디오 신호를 처리하여(S402), 출력할 수 있다(S403). 여기서 오디오 신호 처리(S402)는, 일 예로, 사용자 맞춤형으로 제어될 수 있다. 즉 디지털 방송에서는 방송에 대한 정보가 사용자에게 제공되고, 사용자가 지속적으로 단말기를 사용할 경우 사용자의 사용 정보 누적되게 된다. 이러한 정보를 바탕으로 사용자 정보 분석이 이루어 져서 사용자에게 맞춤형 오디오 음향 서비스를 할 수 있다. 또한 사용자 설정 정보에 의해 방송 정보 기반 사용자 음향 서비스가 바로 적용이 가능할 수 있다.
도 19는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치의 오디오 신호 크기 제어 방법을 구체적으로 나타내는 흐름도이다. 도 19를 참조하면, 먼저 오디오 신호를 입력받을 수 있다(s501). 여기서 입력된 오디오 신호는, 일 예로, 도 10 내지 12에 도시된 디먹스, 디코딩 등의 동작(생략가능한 동작)에 따른 오디오 신호일 수 있다. 이러한, 오디오 신호는, 다양한 파형을 가질 수 있고, 일 예로, 도 5의 전단에 도시된(즉 정규화 되기 전) 형태의 파형을 갖는 오디오 신호일 수 있다.
이 경우, 오디오 신호 크기 측정부는, 도 6 내지 8에서 설명된 오디오 신호 크기 측정 방법을 이용하여 입력 오디오 신호의 LKFS(Original LKFS)를 측정할 수 있다(S503).
또한, 오디오 신호 크기 측정부는, 초기 Peek LKFS를 측정(S502)할 수 있다. 여기서 초기 Peek LKFS는, 기 설정된 초기 Peek 가중치(initial Peek weight)를 이용하여 입력된 오디오 신호를 scaling하고, scaling된 오디오 신호를 기초로 LKFS를 측정함으로써, 측정될 수 있다.
여기서 기 설정된 초기 Peek 가중치(initial Peek weight)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계　당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
한편, 가중치 산출부는, 처음에는(S505:Y), 목표치 LKFS(Target LKFS)(S504), 측정된 초기 Peek LKFS(initial Peek weight)(S502), 측정된 입력 오디오 신호의 LKFS(Original LKFS)(S503)를 이용하여, 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다(S506). 구체적으로, 가중치 산출부는, 하기의 수학식 7을 이용하여 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다.
Figure pat00007
여기서 오디오 신호 크기 제어 비율(Loudness control ratio)은 diff1/diff2일 수 있다.
그리고, 가중치 산출부는, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 하기의 수학식 8에 적용하여 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다(S507).
Figure pat00008
Figure pat00009
여기서 new_Peek_weight는 새로운 Peek 가중치(New Peek weight)를 의미하고, previous_Peek_weight는 new_Peek_weight 산출 이전에 이용한 Peek 가중치를 의미하며, new_weight는 수학식 8에서 산출된 가중치를 의미한다. 일 예로, 상술한 수학식 7 내지 8에 따르면, 처음에는(S505:Y), 초기 Peek 가중치(initial Peek weight)와 new weight를 곱하여, 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다.
한편, 수학식 8에 따르면, original LKFS)와 Peek LKFS의 차이가 original LKFS와 Target LKFS의 차이보다 작은 경우는, 이전 Peek 가중치를 감소시켜 새로운 Peek 가중치를 산출하고, original LKFS와 Peek LKFS의 차이가 original LKFS와 Target LKFS의 차이보다 큰 경우는, 이전 Peek 가중치를 증가시켜 새로운 Peek 가중치를 산출할 수 있다.
이러한, 수학식 8에서는, 감소를 위한 가중치는 0.9, 증가를 위한 가중치는 1.1이 이용하였으나, 이러한 가중치 값에 한정되는 것은 아니고, 다양한 가중치 값이 이용될 수 있다. 일 예로, 보다 세밀한 오디오 신호 크기 조절을 위하여, 감소를 위한 가중치는 0.99, 증가를 위한 가중치는 1.01이 이용될 수 있다.
한편, 여기서 목표치 LKFS(Target LKFS)는, 세계 여러 나라가 규정 및 법안으로 정한 목표치 LKFS(Target LKFS)에 따라 달라질 수 있다. 일 예로, 도 5의 후단에 도시된(즉 정규화된 후)바와 같이, 목표치 LKFS(Target LKFS)는 ?24LKFS일 수 있다. 이러한 목표치 LKFS(Target LKFS)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계　당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
한편, 오디오 신호 크기 제어부는, 상술한 동작에 의하여 산출된 새로운 Peek 가중치(New Peek weight)를 이용하여 오디오 신호 크기를 제어할 수 있다. 구체적으로 오디오 신호 크기 제어부는, 산출된 새로운 Peek 가중치(New Peek weight)를 이용하여 입력된 오디오 신호(S501)를 scaling함으로써, 오디오 신호 크기를 제어할 수 있다(S508).
그리고, 오디오 신호 크기 측정부는, 새로운 Peek 가중치(New Peek weight)에 따라 오디오 신호 크기가 제어된 오디오 신호(S508)의 LKFS(New Peek LKFS)를 측정할 수 있다(S509).
한편, 오디오 신호 크기 제어부는, 목표치 LKFS(Target LKFS)(S504)와 측정된 새로운 Peek LKFS(New Peek LKFS)(S509)를 비교하여, LKFS 오차를 산출할 수 있다(S511).
그리고, 오디오 신호 크기 제어부는, LKFS 오차(D)와 기 설정된 오차 범위(T)를 비교할 수 있다(S512). 일 예로, 목표치 LKFS(Target LKFS)와 오디오 신호 크기 오차 범위가 24LKFS(Target LKFS) +/- 2dB(오차 범위)인 경우, 목표치 LKFS(Target LKFS)와 새로운 Peek LKFS(New Peek LKFS)의 차이가 오차 범위 보다 큰지, 작은지 여부를 판단할 수 있다. 이러한 기 설정된 오차 범위(LKFS 오차 범위)(S510)는, 오디오 신호 및 영상 신호를 포함하는 방송 신호에 컨트롤 정보의 형태로 제공될 수 있다. 또는 오디오 신호 크기 제어 장치의 설계　당시에 기 저장된 값으로 제공될 수 있다. 또는 사용자로부터의 입력으로 제공될 수 있다.
만약, 작은 경우(S513:Y), 오디오 신호 크기 제어부는, 새로운 Peek 가중치(New Peek weight)에 따라 오디오 신호 크기가 제어된 오디오 신호를 출력할 수 있다.
만약, 큰 경우(S513:N), 오디오 신호 크기 제어부는, 상술한 제어 동작을 반복하도록 제어할 수 있다. 여기서, 상술한 제어 동작을 반복하는 경우, 가중치 산출부는, 처음이 아닌 바,(S505:N), 목표치 LKFS(Target LKFS)(S504), 측정된 새로운 Peek LKFS(New Peek LKFS)(S509), 측정된 Original LKFS(S503)를 이용하여, 새로운 오디오 신호 크기 제어 비율(Loudness control ratio)을 산출할 수 있다(S506). 이 경우, 가중치 산출부는, 상술한 수학식 7을 이용하여 Loudness control ratio를 산출할 수 있다. 또한, 가중치 산출부는, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 상술한 수학식 8에 적용하여 새로운 Peek 가중치(New Peek weight)를 산출할 수 있다(S507). 즉, 오디오 신호의 크기가 목표치 LKFS(Target LKFS) 및 오차 범위를 만족할 때까지, 상술한 동작은 반복될 수 있다.
한편, 본 발명의 제1 실시 예에 따른, 입력 오디오 신호(S501)는, 사전에 제작된 방송 프로그램에 대한 오디오 신호인 바, 방송 프로그램의 시작부터 종료까지에 대한 오디오 신호일 수 있다. 이에 따라, 본 발명의 제1 실시 예에 따르면, 방송 프로그램의 시작부터 종료까지에 대한 오디오 신호의 오디오 신호 크기(Original LKFS)를 기반으로 오디오 신호 크기를 제어할 수 있다.
한편, 출력된 오디오 신호(S513)에는, 도 10 내지 12에 도시된, 인코딩 동작, 멀티플렉싱 동작(생략 가능) 등이 수행될 수 있다.
이러한, 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제1 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
상술한, 본 발명의 제1 실시 예에 따르면, 녹화 및 사전에 제작된 방송 프로그램에 대하여 오디오 신호 크기를 규격에 맞도록 자동으로 제어할 수 있다.
도 20은 ITU-R 1770-2에서 언급된 오디오 Gating 방식이 추가된 오디오 신호 크기 측정 방법을 설명하기 위한 도면이다. 여기서 오디오 Gating 방식은, 도 20과 같이 Gate Block 1에 대한 LKFS를 측정하고, Overlap and shift 방식을 적용하여, Gate Block 2에 대한 LKFS를 측정하며, Overlap and shift 방식을 반복하여 Gate Block 별 LKFS를 측정하고, 측정된 Gate Block의 LKFS가 임계 LKFS(ITU-R 1770-2에서는 -70LKFS) 이하이면 묵음으로 처리하여, Gating이 적용된 오디오 신호에 대한 오디오 신호 크기 측정을 수행할 수 있다.
여기서, 상술한 Gate Block에 대해서, ITU-R 1770-2에서는, Gate Block은 0.4s의 Gate 사이즈를 갖고, 75% Overlap 되는 구조를 갖고 있다.
한편, 실시간/라이브 환경에서는, 오디오 신호가 각각의 Gate Block 별로 취득되는 바, 각각의 Gate Block 별 LKFS가, 상술한 수학식 4 내지 5를 이용하여 측정되고, 각각의 Gate Block 별로 오디오 신호 크기를 제어하기 위한 새로운 Peek 가중치(new Peek weight)가, 상술한 도 19의 방법을 이용하여 산출될 수 있다. 다만, 각각의 Gate Block 별로 산출된 새로운 Peek 가중치(new Peek weight)를 이용하여, 각각의 Gate Block 별로 오디오 신호 크기를 제어하게 되면, 서로 이웃하는 Gate Block 간의 가중치 차이에 의하여, 불연속적인 사운드가 발생할 수 있다.
이러한 문제점을 해결하기 위하여 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법은 다음과 같은 처리를 수행할 수 있다.
도 21은 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하기 위하여 게이트 핸드오버를 설명하는 도면이다. 도 21을 참조하면, Gate Block의 non-overlap 되는 영역의 Gate size는, 일 예로 4800 sample일 수 있다. 또한, AAC, AC-3등과 같은 코덱을 이용하는 경우, 한 번에 받는 데이터 사이즈를 결정하는 한 개의 프레임 사이즈는, 1024 sample일 수 있다. 이 경우, 한 개의 프레임이 2개의 Gate block에 걸치는, 게이트 핸드 오버(Gate hand over)가 발생할 수 있다.
도 22는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법을 설명하는 도면이다. 도 22를 참조하면, 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 방법은, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여 오디오 신호 크기를 제어할 수 있다. 여기서 게이트 가중치는, 각각의 Gate Block에 대하여 상술한 도 19의 방법을 이용하여 산출된 새로운 Peek 가중치(new Peek weight)일 수 있다.
이러한, 본 발명의 제5 실시 예에 따르면, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않는다. 즉, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임에서 데이터가 수신되는 시점에는, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임이 걸치는 2 개의 Gate block에 대한 게이트 가중치를 미리 산출할 수 있기 때문에, 미리 산출된 2 개의 Gate block에 대한 게이트 가중치를 이용하여, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임 시점부터 지연 없이 게이트 가중치를 인터폴레이션할 수 있기 때문이다.
한편, 본 발명의 제5 실시 예에 따르면, 게이트 가중치를 인터폴레이션(interpolation)하기 위하여 다양한 인터폴레이션(interpolation) 방법을 사용할 수 있다. 일 예로, 본 선형 인터폴레이션(linear interpolation)을 사용할 수 있다. 이에 대해서는 도 23을 참조하여 구체적으로 설명하기로 한다.
도 23은 본 발명의 제5 실시 예에 따른 인터폴레이션의 일 예인 선형 인터폴레이션(linear interpolation)을 설명하는 도면이다. 도 23을 참조하면, 하기의 수학식과 같은 선형 인터폴레이션(linear interpolation)을 사용할 수 있다.
Figure pat00010
수학식 9에서, WG1는 Gate Block 1의 게이트 가중치, WG2는 Gate Block 2의 게이트 가중치, i는 인터폴레이션할 게이트 가중치의 개수, InterFrame은 인터폴레이션 시작 프레임부터 종류 프레임까지의 프레임 개수를 의미한다.
일 예로, InterFrame의 개수를 3으로하여, 상기 수학식 9에 적용하면, 도 22에서 도시된 바와 같이, 2 개의 프레임에 적용될 게이트 가중치(빨간색으로 도시된 가중치 : W1, W2)가 산출될 수 있다. 즉, InterFrame의 개수의 선택적으로 조절하여, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
한편, 상술한 본 발명의 제5 실시 예에 따른, 게이트 가중치 인터폴레이션 방법은, 게이트 가중치를 이용하여 오디오 신호 크기를 제어하는 방법에 모두 적용될 수 있다. 일 예로, 기존에 녹화된 방송 프로그램에 적용되어 오디오 신호 크기를 제어할 수 있고, 라이브 방송 프로그램에 적용되어 오디오 신호 크기를 제어할 수 있다.
또한, 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제5 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
이러한, 본 발명의 제5 실시 예에 따르면, 게이트 핸드 오버(Gate hand over)가 발생하는 프레임부터 게이트 가중치를 인터폴레이션(interpolation)하여, 게이트 가중치의 인터폴레이션에 의한 게이트 딜레이가 발생하지 않도록 할 수 있다.
또한, 게이트 가중치가 인터폴레이션되는 개수를 가변적으로 제어할 수 있다.
도 24는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보의 일 예를 나타내는 도면이다. 여기서 Half Automatic Loudness 컨트롤 모드는, 제어를 위한 가중치를 사람이 수동으로 선택한다는 점은 Manual Loudness 컨트롤 모드와 동일하나, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보를 사람이 이용할 수 있도록, 상술한 정보를 제공한다는 점에서 다를 수 있다.
이러한 Half Automatic Loudness 컨트롤 모드에서, 제공되는 오디오 신호 크기 제어를 위한 정보는, 도 24에 도시된 바와 같이, Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603), played LKFS(604), Remained LKFS(605), Recommended Control Factor(606)중 적어도 하나를 포함할 수 있다.
여기서 Momentary LKFS(601)는 게이트 블록에 입력된 오디오 신호에 대한 LKFS(일 예로, 도 20과 같이 0.4S동안 입력된 오디오 신호에 대한 LKFS), short term(3s)는 LKFS(602)는 3S 동안 입력된 오디오 신호에 대한 LKFS, integrated LKFS(603)는 현재까지 입력된 오디오 신호에 대한 LKFS, played LKFS(604)는 현재까지 출력된 오디오 신호에 대한 LKFS, Remained LKFS(605)는 목표치 LKFS 대비 played LKFS(604)의 부족하거나 초과한 LKFS, Recommended Control Factor(606)는 Remained LKFS(605)를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치일 수 있다.
이러한, Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603)는 상술한 수학식 4 내지 5를 이용하여 측정될 수 있다.
한편, played LKFS(604)는 출력된 오디오 신호(즉 상술한 도 22 내지 23의 동작에 따라, 오디오 신호 크기가 제어되어 오디오 재생 장치에 출력될 수 있다.), 즉 오디오 신호 크기가 제어된 오디오 신호라는 점에서, 오디오 신호 크기가 제어되지 않은 입력 오디오 신호에 대한 LKFS인 integrated LKFS(603)와 상이할 수 있다.
이러한, played LKFS(604)는 하기의 수학식 10을 이용하여 산출될 수 있다.
Figure pat00011
여기서, x는 LKFS 측정 알고리즘에 정의된 2개의 필터를 통과한 신호에 대해서 현재까지 출력된 오디오 신호, M은 Gate Block의 sample 개수, N은 현재까지 오디오 신호가 입력된 Gate Block의 개수이다.
즉, 도 20을 참조하면, 실시간/라이브 환경에서는, 매 번 Gate Block 마다 오디오 신호가 입력되므로, 수학식 10과 같이, 현재까지의 출력된 오디오 신호의 평균(played_mean)을 지속적으로 연산해야 한다. 이에 따라, 평균(played_mean)이 얻어지면 ITU-R 1770-2에 언급된 수식에 적용하여 played LKFS(604)를 측정할 수 있다.
한편, 상술한 수학식 10과 같이 계산할 경우, 오디오 신호에 대한 데이터가 많아지면, N값이 상당히 커지므로, fixed-point 프로세서의 경우, previous_Mean 과 N-1의 곱의 결과가 프로세서 범위를 초과할 수 있다. 또한, floating point 프로세서에서도 상당한 큰 값이 될 수 있다. 프로세서의 처리 및 메모리의 저장 용량에 부담이 생길 수 있다.
이러한 문제점을 보안하기 위하여 본 발명의 일 실시 예에 따르면, 하기의 수학식 11과 같이, N을 곱하는 방식이 아닌, N을 나누는 방식을 통해서, 현재까지 출력된 오디오 신호에 대한 평균(present_mean)을 산출할 수 있다. 이 경우, 산출된 present_mean을 상술한 수학식 10의 played_mean에 적용함으로써, played LKFS(604)를 측정할 수 있다. 이 경우, 프로세서의 처리 및 메모리의 저장 용량에 부담을 덜 수 있다.
Figure pat00012
도 25는 본 발명의 제2 실시 예의 Half Automatic Loudness 컨트롤 모드에서 제공되는 정보 중 Recommended control factor를 산출하는 방법을 나타내는 도면이다. 도 25를 참조하면, 하기의 수학식 12를 이용하여 Remained LKFS(605)를 측정하고, 측정된 Remained LKFS(605)를 이용하여 Recommended Control Factor(606)를 산출할 수 있다.
Figure pat00013
여기서, Remained LKFS(605)는, played LKFS(604), Taget LKFS(607), 총 출력될 오디오 신호의 시간(Total Play Time(Ts))(608), 현재 출력된 오디오 신호의 시간(Played Time(Ps))(609)를 이용하여 산출될 수 있다. 이러한 수학식 12를 참조하면, Remained LKFS(605)는 목표치 LKFS 대비 played LKFS(604)의 부족하거나 초과한 LKFS를 의미할 수 있다.
Recommended Control Factor(606)는 Remained LKFS(605)를 이용하여 산출된 오디오 신호 크기를 제어하기 위한 가중치일 수 있다. 즉 Remained LKFS(605)는, 목표치 LKFS(607) 대비 played LKFS(604)의 부족하거나 초과한 LKFS를 의미하는 바, 가중치 산출부는, Remained LKFS(605)를 이용하여, 총 출력될 오디오 신호의 오디오 신호 크기가 목표치 LKFS(607)가 되기 위한 가중치를 산출할 수 있다.
한편, 상술한 Momentary LKFS(601), short term(3s) LKFS(602), integrated LKFS(603), played LKFS(604), Remained LKFS(605), Recommended Control Factor(606)등과 같은, Half Automatic Loudness 컨트롤 모드에서는 오디오 신호 크기 제어에 필요한 정보는, 오디오 신호 크기 제어 장치에 구비된 디스플레이 화면을 통하여 제공될 수 있다.
이러한, 본 발명의 실시 예에 따르면, 오디오 신호 크기 제어에 필요한 정보를 제공함으로써, 실시간/라이브 환경에서 사용자가 보다 쉽게 오디오 신호 크기를 제어할 수 있다.
도 26은 본 발명의 제2 실시 예의 Automatic Loudness 컨트롤 모드에서 오디오 신호 크기 제어 방법을 나타내는 도면이다. 여기서 Automatic Loudness 컨트롤 모드는 사람의 수동 제어 없이 자동으로 오디오 신호 크기를 목표치 오디오 신호 크기에 매칭되도록 제어하는 모드일 수 있다. 이러한, Automatic Loudness 컨트롤 모드에서는, 각 Gate Block 별로 적용되어야 하는 게이트 가중치를 자동으로 산출하여야 한다.
이를 위해, 본 발명의 일 실시 예에 따른, Automatic Loudness 컨트롤 모드에서는, 가중치 산출부는 각각의 Gate Block 별로 실시간 취득된 입력 오디오 신호의 크기(Original LKFS), 각각의 Gate Block 별로 실시간 취득된 입력 오디오 신호에 Peek 가중치로 스케일링한 오디오 신호의 크기(Peek LKFS), 입력된 오디오 신호 크기(Original LKFS)를 매핑 커브에 적용하여 산출된 Mapped LKFS를 이용하여, Gate 별로 오디오 신호를 스케일링하기 위한 게이트 가중치를 자동으로 산출하고, 오디오 신호 크기 제어부는 산출된 게이트 가중치를 이용하여 오디오 신호 크기를 제어할 수 있다.
여기서, 매핑 커브는, 오디오 신호의 시작부터 끝까지에 대해 입력된 전체 오디오 신호의 오디오 신호 크기를 목표치 오디오 신호의 크기(Target LKFS)(일 예로, -24LKFS)가 되도록 하면서, 출력되는 오디오 신호의 전체적인 크기 편차는 유지하도록 한 커브일 수 있다. 즉, 입력된 전체 오디오 신호의 오디오 신호 크기가 목표치 오디오 신호의 크기(Target LKFS)(일 예로, -24LKFS)가 되도록 하는 정규화 작업이 수행되면, 각각의 Gate Block 별로 오디오 신호 크기가 작은 Block은 크기가 커지고, 크기가 큰 Block은 크기가 작아지는 바, 사람의 귀에 전달되는 사운드 크기의 편차가 작아져서 문제가 될 수 있다. 이에 따라, 본 발명의 일 실시 예에 따르면, 출력되는 오디오 신호의 전체적인 크기 편차를 유지하도록 하는 매핑 커브를 이용함으로써, 사람의 귀에 전달되는 사운드 크기의 편차를 유지할 수 있다.
한편, 가중치 산출부는 상술한 수학식 7의 Target LKFS에 Mapped LKFS를 적용하여 오디오 신호 크기 제어 비율(Loudness control ratio)인 diff1/diff2을 산출하고, 산출된 오디오 신호 크기 제어 비율(Loudness control ratio)을 수학식 8에 적용하여 게이트 가중치(New Peek weight)를 산출할 수 있다.
그리고, 오디오 신호 크기 제어부는, 각각의 Gate Block 별로 산출된 오디오 신호를 스케일링하기 위한 게이트 가중치를 이용하여 오디오 신호 크기를 제어할 수 있다. 이러한 동작에 대한 구체적인 설명의 도 19에서 상술하였는 바, 생략하기로 한다.
도 27은 도 26에 따른 매핑 오디오 신호 크기(mapped LKFS)를 산출하기 위한 매핑 커브(mapping curve)를 설계하기 위한 방법을 나타내는 도면이다. 여기서 매핑 커브(mapping curve)는 각각의 Gate Block 별로 입력된 오디오 신호의 크기(Original LKFS)와 매핑 오디오 신호 크기(mapped LKFS)와의 관계를 나타내는 커브이다. 도 27(a)를 참조하면, 매핑 커브(mapping curve)를 설계하기 위하여 주요 LKFS 영역과, 비주요 LKFS 영역(Low LKFS region)을 분리하여 매핑 커브(mapping curve)를 설계할 수 있다.
여기서, 비주요 LKFS 영역(Low LKFS region)은, 사람의 귀에 작게 전달되는 입력 오디오 신호 크기가 기 설정된 값보다 작은 LKFS 영역일 수 있고, 주요 LKFS 영역은, 사람의 귀에 크게 전달되는 입력 오디오 신호 크기가 기 설정된 값보다 큰 LKFS 영역일 수 있다.
즉, 도 27(b)를 참조하면, 주요 LKFS 영역은 variable weight를 기반으로 mapping curve를 설계하고, 비주요 LKFS 영역은 선형의 형태로 mapping curve를 설계할 수 있다.
여기서, 주요 LKFS 영역에 대한 mapping curve는 하기의 수학식 13을 이용하여 설계될 수 있다.
Figure pat00014
여기서, iLKFS는 게이트 별로 입력되는 오디오 신호의 크기(original LKFS)이고, oLKFS는 게이트별로 매핑된 오디오 신호 크기(mapped LKFS)이며, w은 가중치 이다. 이에 따라, 주요 LKFS region에 대한 variable mapping curve 생성 할 수 있다. 이러한, mapping curve는 mapping curve control을 통해 조절 가능할 수 있다.
이러한, 본 발명의 일 실시 예에 따르면, 입력된 오디오 신호에 매핑 커브를 이용하여 정규화하여 출력함으로써, 정규화되어 출력되는 오디오 신호가 입력된 오디오 신호의 크기 편차를 유지하도록 할 수 있고, 이에 따라, 사람의 귀에 전달되는 사운드 크기의 편차를 유지할 수 있다.
한편, 상술한 동작에 의하여 입력 오디오 신호 크기를 목표치 오디오 신호 크기(Target LKFS)와 오차 범위에 정규화하여 출력하면, 출력된 오디오 신호의 구성이 평평한 느낌이 강해질 수 있다. 이러한 부분은 오디오 신호 크기의 정규화에 의한 역효과이다. 따라서, 오디오 신호 크기 정규화의 목적을 달성하면서, 오디오 신호 크기 정규화에 의한 역효과를 해결해야 오디오 신호 크기 정규화의 파급력과 사용자의 만족도가 향상 될 수 있다.
또한, 도 17의 S305에 도시된, 오디오 믹싱 및 EQ는, 오디오 편집자가 컨트롤하는 부분으로, 오디오 편집자는 자신의 느낌과 예술성을 바탕으로 방송 오디오 신호를 편집/수정할 수 있다. 그리고, 이러한 편집/수정된 오디오 신호가, 바로 오디오 신호 크기 제어 모듈에 전송되면, 오디오 신호 크기 제어 모듈은, 목표치 오디오 신호 크기(Target LKFS)보다 높은 부분은 줄이고 낮은 부분을 높이거나, 또는 전체적으로 오디오 신호 크기를 조절하여 목표치 오디오 신호 크기(Target LKFS)에 정규화할 수 있다. 그리고, 오디오 신호 크기 제어 모듈은, 오디오 신호 크기가 제어된 오디오 신호를 출력하게 된다. 다만, 이러한 방식은, 정규화의 수행에 따라, 오디오 편집자에 의해 편집/수정된 음량 편차 등이 사라지거나 감소될 수 있다.
이에 따라, 본 발명의 제3 실시 예에 따르면, 이러한 문제점을 해결하기 위하여 두 가지 방안을 제공한다.
도 28은 본 발명의 제3 실시 예에 따른 오디오 신호 크기 제어 방법 중 일 방안을 구체적으로 나타내는 도면이다. 도 28을 참조하면, 일 방안은, 오디오 신호 크기 정규화(708)의 수행 전에, 오디오 신호 크기 정규화에 의해 발생될 음질 열화 를 사전에 고려하여 보상하는 방안일 수 있다.
구체적으로, 방송 신호에 대한 데이터(오디오 데이터, 영상 데이터 및 방송 데이터(방송에 관한 메타 데이터로, 일 예로, 프로그램 장르 데이터 등)를 포함)가 입력되면, deformater(701)는 입력된 방송 신호에 대한 데이터에서 프로그램 장르 데이터(702) 및 오디오 데이터를 분리할 수 있다. 만약, 입력된 데이터가 프로그램 장르 데이터를 포함하는 경우, 기 저장된 장르별 밴드 이득 테이블(703) 중 분리된 프로그램 장르 데이터에 대응되는 밴드 이득 테이블을 검출할 수 있다. 그리고, 검출된 밴드 이득 테이블에 대응하는 밴드 이득을 멀티 밴드 제어 이득 생성 모듈(706)에 전송할 수 있다. 다만, 입력된 데이터가 프로그램 장르 데이터를 포함하지 않는 경우, 프로그램 장르 데이터에 대응되는 밴드 게인 테이블 고려하지 않을 수 있다.
한편, 분리된 오디오 데이터가 압축된 데이터인 경우, 오디오 복호화기(704)를 통하여 복호화될 수 있다. 그리고, 정규화 열화 보상 밴드 게인 생성 모듈(705)은 복호화된 오디오 데이터를 분석하여, 각 밴드의 보상 이득을 결정할 수 있다. 여기서, 정규화 열화 보상 밴드 게인 생성 모듈(705)은 기 정의된 테이블을 통하여 각 밴드의 보상 이득을 결정할 수 있다. 그리고, 결정된 보상 이득을 멀티 밴드 제어 이득 생성 모듈(706)에 전송할 수 있다. 다만, 분리된 오디오 데이터가 압축된 데이터가 아닌 경우, 오디오 복호화 단계는 생략될 수 있다.
한편, 멀티 밴드 제어 이득 생성 모듈(706)은, 정규화 열화 보상 밴드 게인 생성 모듈(705)에서 결정된 보상 이득, 장르별 밴드 이득 테이블(703)에서 결정된 장르에 따른 이득을 융합하여 멀티 밴드의 이득을 산출할 수 있다.
그리고, 멀티밴드 음량 컨트롤 모듈(707)은, 복호화된 오디오 데이터를 멀티밴드로 변환할 수 있다. 그리고, 멀티밴드 음량 컨트롤 모듈(707)은, 복호화된 오디오 데이터가 변환된 멀티 밴드에, 오디오 멀티 밴드 제어 이득 생성 모듈(706)에서 산출된 멀티 밴드 이득을 적용할 수 있다. 그리고, 멀티밴드 음량 컨트롤 모듈(707)은, 적용된 멀티 밴드를 오디오 데이터로 다시 변환할 수 있다.
이 경우, 변환된 오디오 데이터는, 정규화에 의한 열화가 사전에 고려된 오디오 데이터일 수 있다.
한편, 이러한 변환된 오디오 데이터는, 오디오 음량 정규화 모듈(708)를 통해 정규화될 수 있다. 여기서 오디오 음량 정규화 모듈(708)은, 상술한 본 발명의 제1, 제2 실시 예에 기재된 가중치를 산출하여 오디오 신호의 정규화 동작을 수행하는 모듈일 수 있다.
도 29는 본 발명의 제3 실시 예에 따른 오디오 신호 크기 제어 방법 중 다른 방안을 구체적으로 나타내는 도면이다. 도 30은 도 29를 더욱 구체적으로 나타내는 도면이다. 도 29 내지 30을 참조하면, 다른 방안은, 오디오 신호 크기 정규화의 수행 후에, 오디오 신호 크기 정규화에 의해 발생된 음질 열화를 보상하는 방안일 수 있다.
구체적으로, 방송 신호에 대한 데이터(오디오 데이터, 영상 데이터 및 방송 데이터(방송에 관한 메타 데이터로, 일 예로, 프로그램 장르 데이터 등)를 포함)가 입력되면, deformater(801)는 입력된 방송 신호에 대한 데이터에서 프로그램 장르 데이터(802) 및 오디오 데이터를 분리할 수 있다. 만약, 입력된 데이터가 프로그램 장르 데이터를 포함하는 경우, 기 저장된 장르별 밴드 이득 테이블(803) 중 분리된 프로그램 장르 데이터에 대응되는 밴드 이득 테이블을 검출할 수 있다. 그리고, 검출된 밴드 이득 테이블에 대응하는 밴드 이득을 멀티 밴드 제어 이득 생성 모듈(806)에 전송할 수 있다. 여기서 장르 별 밴드 이득 테이블은, 입력되는 방송 프로그램의 장르에 따라, 음성 영역을 강조하거나, 배경 영역을 강조하는 등의 이득 값을 갖는 테이블일 수 있다. 다만, 입력된 데이터가 프로그램 장르 데이터를 포함하지 않는 경우, 프로그램 장르 데이터에 대응되는 밴드 게인 테이블 고려하지 않을 수 있다.
한편, 분리된 오디오 데이터가 압축된 데이터인 경우, 오디오 복호화기(804)를 통하여 복호화될 수 있다. 그리고, 오디오 음량 정규화 이득 생성 모듈(805)은 복호화된 오디오 데이터를 이용하여 정규화를 위한 이득을 산출할 수 있다. 그리고, 산출된 정규화를 위한 이득을 멀티 밴드 제어 이득 생성 모듈(806)에 전송할 수 있다. 여기서 오디오 음량 정규화 이득 생성 모듈(805)은, 상술한 본 발명의 제1, 제2 실시 예에 기재된 가중치를 산출하여 오디오 신호의 정규화 동작을 수행하는 모듈일 수 있다. 여기서, 분리된 오디오 데이터가 압축된 데이터가 아닌 경우, 오디오 복호화 단계는 생략될 수 있다.
한편, 멀티 밴드 제어 이득 생성 모듈(806)은, 오디오 음량 정규화 이득 생성 모듈(805)에서 산출된 정규화 이득, 장르별 밴드 이득 테이블(803)에서 산출된 장르에 따른 이득을 융합하여 멀티 밴드의 이득을 산출할 수 있다.
그리고, 멀티밴드 음량 컨트롤 모듈(807)은, 복호화된 오디오 데이터를 멀티밴드로 변환할 수 있다. 그리고, 멀티밴드 음량 컨트롤 모듈(807)은, 복호화된 오디오 데이터가 변환된 멀티 밴드에, 멀티 밴드 제어 이득 생성 모듈(806)에서 산출된 멀티 밴드 이득을 적용할 수 있다. 그리고, 멀티밴드 음량 컨트롤 모듈(807)은, 적용된 멀티 밴드를 오디오 데이터로 다시 변환할 수 있다.
이하에서는, 도 30을 참조하여, 도 29의 동작을 보다 상세하게 설명하기로 한다. 다만, 도 30을 설명함에 있어서, 도 29에서 기 설명된 동작에 대한 구체적인 설명은 생략하기로 한다.
도 30을 참조하면, 오디오 음량 정규화 이득 생성 모듈(905)은, 오디오 정규화를 위한 이득을 연산하는 블록으로, 입력된 오디오 신호의 크기를 측정하고, 목표치 오디오 신호 크기(Target LKFS)에 맞추기 위한 이득값을 연산할 수 있다. 이경우 이득을 연산하는 방법은, 실시간/라이브 환경에서는, Manual, Half Automatic, and Automatic 모드를 통한 획득이 가능할 수 있다.
한편, 멀티 밴드 제어 이득 생성 모듈(906)은, 오디오 음량 정규화 이득 생성 모듈(905)에서 산출된 정규화 이득, 장르별 밴드 이득 테이블(903)에서 산출된 장르에 따른 이득을 융합하여 멀티 밴드의 이득을 산출할 수 있다.
일 예로, 멀티 밴드 제어 이득 생성 모듈(906)은, [nGi = g * Gi, i= 1 ~ 멀티밴드수]에 적용하여 멀티 밴드의 이득을 산출할 수 있다.
여기서 g는 오디오 음량 정규화 이득 생성 모듈(905)에서 산출된 정규화 이득이고, Gi는 장르별 밴드 이득 테이블(903)에서 산출된 장르에 따른 이득이며, nGi는 정규화 및 장르가 모두 고려된 멀티 밴드의 이득일 수 있다.
한편, 복호화된 오디오 데이터는 멀티밴드 변환 분석 모듈(907)에서, QMF 혹은 멀티 필터링등의 기법으로 멀티 밴드 신호로 변환될 수 있다. 그리고, 멀티밴드 Weighting 모듈(908)은, 변환된 멀티밴드 신호에, 멀티 밴드 제어 이득 생성 모듈(906)에서 산출된 멀티 밴드의 이득을 적용할 수 있다. 그리고, 이득이 적용된 멀티밴드 신호는 멀티밴드 변환 합성 모듈(909)을 통해 오디오 데이터로 변환될 수 있다.
이러한, 본 발명의 제3 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제작하는 제작자 측, 또는 제작된 오디오 신호를 공급하는 공급자 측에 구비 또는 수행될 수 있다. 또는 본 발명의 제3 실시 예에 따른 오디오 신호 크기 제어 장치 또는 방법은, 오디오 신호를 제공받아 출력하는 사용자 측(일 예로, MP3 플레이어 등과 같은 휴대용 멀티 기기)에 구비 또는 수행될 수 있다.
한편, 본 발명의 정규화에 따른 청각적 열화 보상 방법에 따르면, 사람의 청각이 저대역에 민감하고 고대역에 둔감하다는 점과, 정규화에 따라 오디오 신호 크기 편차가 감소한다는 점을 고려한 보완 필터링을 수행할 수 있다. 이에 따라, 정규화 되어 출력되는 오디오 신호에서, 오디오 신호의 구성이 평평해지는 문제, 오디오 편집자에 의해 편집/수정된 음량 편차 등이 사라지거나 감소되는 문제 등과 같은 오디오 신호 크기의 정규화에 따른 역효과를 해결할 수 있다.
한편, 상술한 동작에 따라, 외부(일 예로, 방송국)로부터 수신되는 오디오 신호가 정규화된 오디오 신호인 경우, 이를 출력하는 단말에서는 수신된 정규화 오디오 신호를 출력 오디오 신호로 하여 출력하는 기능이 필요할 수 있다. 이에 대해서는 도 31 내지 33을 참조하여 구체적으로 설명하기로 한다.
도 31은 본 발명의 제4 실시 예에 따른 단말 장치의 오디오 신호 출력 방법을 구체적으로 나타내는 도면이다. 여기서 단말 장치는,스마트 폰, 태블릿 컴퓨터, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 디지털 TV, 데스크탑 컴퓨터, 노트북 컴퓨터 등과 같이 사람의 귀에 제공될 오디오 신호를 출력할 수 있는 다양한 장치로 구현될 수 있다. 도 31을 참조하면, 단말 장치는, 외부로부터 방송 스트리밍 데이터를 수신할 수 있다(1001). 그리고, 단말 장치는, 수신된 방송 스트리밍 데이터를 디멀티플렉싱하여(1002), 프로그램 장르 데이터(1004), 오디오 신호의 정규화 레벨 데이터(1005), 오디오 데이터를 분리할 수 있다.
여기서 프로그램 장르 데이터는, 수신된 방송의 장르(일 예로, 스포츠, 드라마, 뉴스, 영화, 음악 등)를 나타내는 데이터일 수 있다. 이러한, 프로그램 장르 데이터는, 도 34 내지 35에서 설명될 장르별 선호 볼륨 추천 및 장르별 선호 볼륨 학습 기능에서 사용될 수 있다.
또한, 오디오 신호의 정규화 레벨 데이터는, 각 국의 방송법과 연계되어, 방송 스트리밍 데이터에 포함될 수 있고, 또는 생략될 수 있다. 여기서 오디오 신호의 정규화 레벨 데이터는, 방송 스트리밍 데이터에 포함된 오디오 데이터가 정규화된 오디오 데이터인 경우, 정규화된 오디오 신호 크기를 나타내는 데이터(일 예로, -24LKFS)일 수 있다. 또는 방송 스트리밍 데이터에 포함된 오디오 데이터가 정규화 되지 않은 오디오 데이터인 경우, 단말 장치에서 정규화를 수행하여 출력하도록 하기 위한 정규화된 오디오 신호 크기를 나타내는 데이터일 수 있다.
또한, 오디오 데이터는, 각 국의 방송법에 따라, 외부(일 예로, 방송국)로부터 정규화되어 전송되는 오디오 데이터이거나 또는 정규화되지 않고 전송되어 단말 장치에서 정규화가 수행되어야 하는 오디오 데이터일 수 있다. 만약, 정규화되지 않고 전송되는 경우, 단말 장치는 상술한 오디오 신호 정규화 방법에 따라 입력되는 오디오 신호를 정규화하여 출력할 수 있다.
한편, 단말 장치는, 분리된 오디오 데이터를 디코딩하여 오디오 신호 크기 제어 모듈(1007)에 전송할 수 있다. 이 경우, 오디오 신호 크기 제어 모듈(1007)은, 오디오 신호에, '사용자 선택 볼륨 값'을 적용하여, 제어된 오디오 신호를 출력할 수 있다.
이러한 '사용자 선택 볼륨 값'은 단말 장치의 출력 오디오 신호의 크기를 제어하는 제어 장치(일 예로, 리모컨 등)를 통하여 입력되거나, 단말 장치(일 예로, 디지털 TV)에 구비된 다양한 버튼을 통하여 입력될 수 있다.
일 예로, '사용자 선택 볼륨 값'은, 리모컨에 구비된 볼륨 UP 버튼, 볼륨 Down 버튼, Default 버튼을 통하여 입력될 수 있다. 여기서 Default 버튼은, 입력된 오디오 신호를, 각 국의 방송법에서 정한 정규화 오디오 신호 크기로 제어하여 출력하도록 하기 위한 버튼일 수 있다.
이러한, 오디오 신호 크기 제어 모듈(1007)의 구체적인 동작에 대해서는 도 32를 참조하여 구체적으로 설명하기로 한다.
도 32는 오디오 신호 크기 제어 모듈의 동작을 구체적으로 나타내는 도면이다. 외부(일 예로, 방송국)로부터 입력되는 오디오 신호가 정규화(ex: -24LKFS, 미국)된 오디오 신호인 경우, 도 32(a)와 같이, 입력된 오디오 신호에 '사용자 선택 볼륨 값'에 따라 조절된 오디오 앰프의 이득 값을 적용하여, 크기가 제어된 출력 오디오 신호를 생성할 수 있다. 일 예로, Default 버튼이 선택되면, 오디오 앰프의 이득 값을 1로하여, 입력된 오디오 신호를 그대로 출력시킴으로써, 각 국가의 법규에 정해진 정규화된 오디오 신호 크기로 출력할 수 있다. 또는, 볼륨 UP 버튼, 볼륨 Down 버튼을 선택되면, 정규화된 오디오 신호 크기보다 크거나 작게 오디오 신호 크기를 조절하여 출력할 수 있다.
또는, 미국의 경우는 AC-3기반으로 ATSC에서는 metadata의 dialnorm에 anchor element의 오디오 음량 값을 저장할 수 있다. 이 경우, 도 32(b)와 같이, anchor element LKFS가 Target LKFS에 매칭되도록 하는 이득을 계산하여 디지털 오디오 칩 앰프의 이득을 조절할 수 있다.
한편, 단말 장치는 사용자로부터 입력된 사용자 선택 볼륨 값에 대응되는 크기를 갖는 오디오 신호를 출력하기 위하여 '볼륨 매핑 테이블'을 구비할 수 있다. 이에 대해서는 도 33을 참조하여 구체적으로 설명하기로 한다.
도 33은 본 발명의 제4 실시 예에 따른 볼륨 매핑 테이블을 구체적으로 나타내는 도면이다. 도 33을 참조하면, '볼륨 매핑 테이블(1103)'은 '오디오 앰프의 이득 값'과 '사용자 선택 볼륨 값'과의 관계를 나타내는 테이블일 수 있다. 일 예로, '볼륨 매핑 테이블(1103)'은, '사용자 선택 볼륨 값'이 0부터 10까지 범위로 지정된 경우, 0부터 10까지 볼륨마다 해당하는 '오디오 앰프의 이득 값'을 정의해둘 수 있다. 여기서 '오디오 앰프의 이득 값' 중 1은, 디폴트 값으로, 단말 장치의 전원이 ON 된 경우에는 자동으로 1로 설정될 수 있다. 또는 단말 장치에서 방송 시청중에 사용자로부터 Default 버튼이 선택되면, '오디오 앰프의 이득 값'은 자동으로 1로 설정될 수 있다.
한편, 단말 장치는 리모컨을 통해 선택된 '사용자 선택 볼륨 값'을 표시할 수 있다. 여기서 단말 장치에 표시된 볼륨 값은, '오디오 앰프의 이득 값' 또는 'dB' 등의 기계적인 수치가 아닌, 사용자에게 친숙한 논리적 수치로 표시될 수 있다. 일 예로, 단말 장치의 사용자 선택 볼륨 값이 0부터 10까지 정해져 있다면, Default 버튼을 눌렀을 때 4로 표시되고, 볼륨 UP 버튼을 누를 때 4부터 10까지 단계적으로 진행하여 표시되고, 반대로 볼륨 Down 버튼을 누르면 10부터 단계적으로 감소하는 식으로 표시될 수 있다.
이러한, 본 발명의 일 실시 예에 따르면, 각 국의 방송법에서 정해진 오디오 신호 크기를 갖는 정규화 오디오 신호를 편리하게 사용자에게 제공할 수 있다.
한편, 정규화된 오디오 신호가 수신되면, 단말 장치에서 출력되는 모든 방송의 오디오 신호 크기의 평균이 동일해 진다. 즉, 방송 프로그램이 단말 장치에서 재생될 때, 출력되는 오디오 신호 크기는 절대적인 크기가 된다. 이러한 특성을 이용하여, 사용자가 방송 프로그램을 시청할 때 선택하는 볼륨을 추천해 줄 수 있다. 이에 대해서는 도 34 내지 35를 참조하여 구체적으로 설명하기로 한다.
도 34는 본 발명의 제4 실시 예에 따른 장르별 선호 볼륨 추천 및 학습 기능을 나타내는 도면이다. 도 34를 설명함에 있어서, 도 31에서 기 설명된 부분에 대한 구체적인 설명은 생략하기로 한다.
도 34를 참조하면, 단말 장치는, 재생 중인 방송 프로그램에 대한 프로그램 장르 정보(1204), 재생 중인 방송 프로그램에 대한 사용자 선택 볼륨 값(1207), 사용자 식별 정보(1209)를 이용하여, 프로그램 장르 별 선호 볼륨을 학습(1211)할 수 있다.
구체적으로 사용자 식별 정보(1209)가 제공 가능한 상태에서, 재생 중인 방송 프로그램에 대한 프로그램 장르 정보(1204)와 재생 중인 방송 프로그램에 대한 사용자 선택 볼륨 값(1207)이 입력되면, 프로그램 장르 별 선호 볼륨을 학습 모듈은(1211) 사용자 식별 정보에 대응되는 사용자에 대한 프로그램 장르 별 선호 볼륨을 학습할 수 있다. 이에 따라, 프로그램 장르 별 선호 볼륨을 학습 모듈은(1211), 사용자 식별 정보에 대응되는 사용자에 대한 다양한 프로그램 장르에서의 선호 볼륨을 학습할 수 있다.
한편, 도 35와 같이, 사용자가 단말 장치에서 채널이나 콘테츠 종류를 변경하거나 전원을 ON하면, 프로그램 장르 별 선호 볼륨을 학습 모듈은(1211)은 선호 볼륨 정보를 이용하여 사용자에게 볼륨을 추천할 수 있다(1212). 이 경우, 오디오 신호 크기 제어 모듈은, 추천된 볼륨에 대응되는 앰프 이득 값을 이용하여 자동으로 오디오 신호 크기를 제어하거나, 또는 사용자로부터 승인한다는 입력이 수신되는 경우, 오디오 신호 크기를 제어할 수 있다. 그리고 제어된 오디오 신호를 사용자가 들을 수 있도록 출력(1305)할 수 있다.
한편, 사용자 식별 정보가 제공되지 않는 경우는, 사용자 별 학습/추천이 아닌, 단말 장치 전체 사용에 대한 학습과 추천 작업이 수행될 수 있다.
즉, 프로그램 장르 별 선호 볼륨 학습 구조는 다음 그림과 같다. 사용자에 대한 정보가 제공되면 사용자별 선호 볼륨에 대한 학습이 이루어지고, 사용자 정보가 없으면 기기 전체를 기준으로 하는 학습이 이루어질 수 있다.
여기서, 학습은, 종래의 학습 알고리즘인 HMM, SVM, 신경망 회로 등 다양한 알고리즘이 이용하여 수행될 수 있다.
즉, 종래의 경우 "상대 적인 볼륨 기준"에 따라 조절하였으나, 본원 발명의 일 실시 예에 따르면, 각 국각의 방송법에서 지정한 "절대 기준"(Target LKFS)에 근거하여 단말 장치의 볼륨을 조절할 수 있다. 즉 음악(Music), 스포츠(Sports), 뉴스(News), 영화(Movie)등 특정 상황에 대응되는 음향 효과 또는 볼륨을 절대적인 기준에 따라 제공할 수 있다. 또한, 학습된 절대적 볼륨은 단일 컨텐츠 또는 단일 방송 채널에만 국한되는 것이 아니라, 해당 로컬 방송 및 콘텐츠 전체에 대해 일관적인 볼륨이 제공될 수 있다.
이러한 본 발명의 일 실시 예에 따르면, 프로그램 장르별 선호 볼륨 학습이 지속적으로 갱신되는 구조를 갖고 있으므로, 시간의 흐름에 따른 사용자 취향의 변화도 계속적인 학습갱신을 통해 고려가 가능할 수 있다.
또한, 방송 채널 변환 시 또는 단말의 전원을 ON하는 경우, 재생될 프로그램의 장르에 따라 사용자 선호 볼륨을 제공함으로써, 사용자가 자신의 취향에 따라 최상의 오디오 효과를 느끼도록 할 수 있다.
도 36 내지 38은 입력 오디오 신호의 파형과 정규화된 오디오 신호의 파형을 비교한 도면이다.
도 36(a)는 pop의 입력 오디오 신호의 파형, 도 36(b)는 pop의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 36을 참조하면, 입력 오디오 신호의 크기는 -22.23 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -22.72 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
도 37(a)는 Kpop의 입력 오디오 신호의 파형, 도 37(b)는 Kpop의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 37을 참조하면, 입력 오디오 신호의 크기는 -8.9 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -23.28 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
도 38(a)는 classic의 입력 오디오 신호의 파형, 도 38(b)는 classic의 정규화된 오디오 신호의 파형을 나타내는 도면이다. 도 38을 참조하면, 입력 오디오 신호의 크기는 -26 LKFS 이였으나, 상술한 정규화 동작이 수행되어, 정규화된 오디오 신호의 크기는 -25.34 LKFS 로되어 목표치 오디오 신호 크기 및 오차 범위 내로 정규화된 것을 알 수 있다.
한편, 상술한 본 발명의 다양한 실시 예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (8)

  1. 단말 장치의 오디오 신호 출력 방법에 있어서,
    기 설정된 오디오 신호 크기를 갖는 정규화 오디오 신호를 포함하는 방송 신호를 수신하는 단계;
    상기 방송 신호에서 프로그램 장르 정보를 검출하는 단계;
    상기 검출된 프로그램 장르 정보에 대응되는 선호 오디오 신호 크기를 검출하는 단계; 및
    상기 검출된 선호 오디오 신호 크기가 되도록, 상기 정규화 오디오 신호의 크기를 제어하는 단계;를 포함하는 오디오 신호 출력 방법.
  2. 제1항에 있어서,
    상기 선호 오디오 신호 크기를 검출하는 단계는,
    상기 단말 장치에 대한 사용자 식별 정보가 입력된 경우, 상기 선호 오디오 신호 크기 중 상기 사용자 식별 정보에 대응되는 선호 오디오 신호 크기를 검출하는 것을 특징으로 하는 오디오 신호 출력 방법.
  3. 제2항에 있어서,
    상기 선호 오디오 신호 크기는,
    상기 단말 장치에 대한 사용자 식별 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 프로그램 장르 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 사용자 선택 오디오 신호 크기를 이용하여, 사용자에 대응되는 프로그램 장르 별 선호 오디오 신호 크기를 학습함으로써 생성되는 것을 특징으로 하는 오디오 신호 출력 방법.
  4. 제1항에 있어서,
    상기 단말 장치의 오디오 신호 크기를 상기 정규화 오디오 신호의 크기로 하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력이 수신되면, 상기 정규화 오디오 신호를 출력하는 단계;를더 포함하는 것을 특징으로 하는 오디오 신호 출력 방법.
  5. 단말 장치에 있어서,
    기 설정된 오디오 신호 크기를 갖는 정규화 오디오 신호를 포함하는 방송 신호를 수신하는 통신부;
    상기 방송 신호에서 프로그램 장르 정보를 검출하는 검출부;
    상기 검출된 프로그램 장르 정보에 대응되는 선호 오디오 신호 크기를 검출하고, 상기 검출된 선호 오디오 신호 크기가 되도록, 상기 정규화 오디오 신호의 크기를 제어하는 오디오 신호 크기 제어부;를 포함하는 단말 장치.
  6. 제5항에 있어서,
    상기 검출부는,
    상기 단말 장치에 대한 사용자 식별 정보가 입력된 경우, 상기 선호 오디오 신호 크기 중 상기 사용자 식별 정보에 대응되는 선호 오디오 신호 크기를 검출하는 것을 특징으로 하는 단말 장치.
  7. 제6항에 있어서,
    상기 선호 오디오 신호 크기는,
    상기 단말 장치에 대한 사용자 식별 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 프로그램 장르 정보, 상기 수신된 방송 신호에 따라 재생 중인 방송 프로그램에 대한 사용자 선택 오디오 신호 크기를 이용하여, 사용자에 대응되는 프로그램 장르 별 선호 오디오 신호 크기를 학습함으로써 생성되는 것을 특징으로 하는 단말 장치.
  8. 제5항에 있어서,
    상기 단말 장치의 오디오 신호 크기를 상기 정규화 오디오 신호의 크기로 하는 사용자 입력을 수신하는 입력부;를 더 포함하고,
    상기 오디오 신호 크기 제어부는,
    상기 사용자 입력이 수신되면, 상기 정규화 오디오 신호를 출력하는 것을 특징으로 하는 단말 장치.
KR20130036507A 2013-03-21 2013-04-03 단말 장치 및 그의 오디오 신호 출력 방법 KR101482945B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20130036507A KR101482945B1 (ko) 2013-04-03 2013-04-03 단말 장치 및 그의 오디오 신호 출력 방법
PCT/KR2014/002360 WO2014148844A1 (ko) 2013-03-21 2014-03-20 단말 장치 및 그의 오디오 신호 출력 방법
JP2016505383A JP2016522597A (ja) 2013-03-21 2014-03-20 端末装置及びそのオーディオ信号の出力方法
US14/778,971 US20160065160A1 (en) 2013-03-21 2014-03-20 Terminal device and audio signal output method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130036507A KR101482945B1 (ko) 2013-04-03 2013-04-03 단말 장치 및 그의 오디오 신호 출력 방법

Publications (2)

Publication Number Publication Date
KR20140120573A true KR20140120573A (ko) 2014-10-14
KR101482945B1 KR101482945B1 (ko) 2015-01-16

Family

ID=51992411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130036507A KR101482945B1 (ko) 2013-03-21 2013-04-03 단말 장치 및 그의 오디오 신호 출력 방법

Country Status (1)

Country Link
KR (1) KR101482945B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093763A1 (en) * 2017-11-07 2019-05-16 Samsung Electronics Co., Ltd. Display apparatus, control system for the same, and method for controlling the same
KR20190066175A (ko) * 2017-12-05 2019-06-13 삼성전자주식회사 디스플레이 장치 및 음향 출력 방법
US10630254B2 (en) 2016-10-07 2020-04-21 Sony Corporation Information processing device and information processing method
KR102253242B1 (ko) * 2020-02-17 2021-05-17 에스케이브로드밴드주식회사 시청각보호장치 및 그 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102583931B1 (ko) 2017-01-25 2023-10-04 삼성전자주식회사 음향 출력 장치 및 그의 제어 방법
KR20220033818A (ko) * 2020-09-10 2022-03-17 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070015755A (ko) * 2005-08-01 2007-02-06 엘지전자 주식회사 이동 통신 단말기의 오디오 이퀄라이징 장치와 방법
KR101260941B1 (ko) * 2006-06-14 2013-05-06 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 컨텐츠의 장르에 따른음향효과를 제공하기 위한 수신 장치 및 방법
KR100857086B1 (ko) * 2006-10-09 2008-09-05 엘지전자 주식회사 오디오 볼륨 레벨 설정 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630254B2 (en) 2016-10-07 2020-04-21 Sony Corporation Information processing device and information processing method
WO2019093763A1 (en) * 2017-11-07 2019-05-16 Samsung Electronics Co., Ltd. Display apparatus, control system for the same, and method for controlling the same
KR20190066175A (ko) * 2017-12-05 2019-06-13 삼성전자주식회사 디스플레이 장치 및 음향 출력 방법
WO2019112182A1 (ko) * 2017-12-05 2019-06-13 삼성전자주식회사 디스플레이 장치 및 음향 출력 방법
CN111587578A (zh) * 2017-12-05 2020-08-25 三星电子株式会社 显示装置和音频输出方法
EP3703383A4 (en) * 2017-12-05 2020-09-02 Samsung Electronics Co., Ltd. DISPLAY DEVICE AND SOUND OUTPUT METHOD
US11494162B2 (en) 2017-12-05 2022-11-08 Samsung Electronics Co., Ltd. Display apparatus and audio outputting method
CN111587578B (zh) * 2017-12-05 2023-09-29 三星电子株式会社 显示装置和音频输出方法
KR102253242B1 (ko) * 2020-02-17 2021-05-17 에스케이브로드밴드주식회사 시청각보호장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR101482945B1 (ko) 2015-01-16

Similar Documents

Publication Publication Date Title
KR101482945B1 (ko) 단말 장치 및 그의 오디오 신호 출력 방법
US10276173B2 (en) Encoded audio extended metadata-based dynamic range control
JP5695677B2 (ja) 単一再生モードにおいてラウドネス測定値を合成するシステム
JP2016522597A (ja) 端末装置及びそのオーディオ信号の出力方法
EP3614380B1 (en) Systems and methods for sound enhancement in audio systems
EP3044876B1 (en) Dynamic range control for a wide variety of playback environments
KR101849612B1 (ko) 새로운 미디어 장치 상에 내장된 라우드니스 메타데이터를 갖거나 또는 갖지 않고 미디어의 정규화된 오디오 재생을 위한 방법 및 장치
ES2738494T3 (es) Metadatos para control de sonoridad y rango dinámico
JP2016514856A (ja) オーディオ信号大きさの制御方法及び装置
CN103119846B (zh) 利用对白水平归一化对音频流进行混合
EP2151920A1 (en) A method and an apparatus for processing an audio signal
KR20070020440A (ko) 오디오 레벨 제어
JP2016520854A (ja) オーディオ信号大きさの制御方法及び装置
KR101583294B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101583296B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101603992B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101482946B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101583293B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR101602273B1 (ko) 오디오 신호 크기 제어 방법 및 장치
KR20080086787A (ko) 오디오 재생장치와 제어방법
GB2494894A (en) Dynamic range control

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 6