KR101945917B1 - 오디오 신호 처리 방법 및 이를 지원하는 단말기 - Google Patents

오디오 신호 처리 방법 및 이를 지원하는 단말기 Download PDF

Info

Publication number
KR101945917B1
KR101945917B1 KR1020120046835A KR20120046835A KR101945917B1 KR 101945917 B1 KR101945917 B1 KR 101945917B1 KR 1020120046835 A KR1020120046835 A KR 1020120046835A KR 20120046835 A KR20120046835 A KR 20120046835A KR 101945917 B1 KR101945917 B1 KR 101945917B1
Authority
KR
South Korea
Prior art keywords
audio
gain value
digital audio
calculating
representative
Prior art date
Application number
KR1020120046835A
Other languages
English (en)
Other versions
KR20130123593A (ko
Inventor
김재현
김미선
오경석
오상훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120046835A priority Critical patent/KR101945917B1/ko
Priority to AU2013204547A priority patent/AU2013204547B2/en
Priority to US13/875,630 priority patent/US9966914B2/en
Priority to EP13166471.6A priority patent/EP2660816B1/en
Priority to CN201310159659.7A priority patent/CN103383852B/zh
Publication of KR20130123593A publication Critical patent/KR20130123593A/ko
Application granted granted Critical
Publication of KR101945917B1 publication Critical patent/KR101945917B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/3005Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/3089Control of digital or coded signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 오디오 신호 처리에 관한 것으로, 본 발명은 오디오 재생이 요구되는 적어도 하나의 응용 프로그램을 저장하는 저장부, 상기 적어도 하나의 응용 프로그램 활성화에 따른 적어도 하나의 오디오 소스로부터 디지털 오디오 스트림을 수신하고, 수신한 각 디지털 오디오 스트림에 적어도 하나의 이득 값을 적용하는 제어부, 상기 적어도 하나의 이득 값이 적용된 디지털 오디오 스트림을 믹싱하고, 상기 적어도 하나의 이득 값으로부터 대표 이득 값을 산출하며, 산출된 대표 이득 값을 기반으로 여분의 유효 헤드룸을 산출하여 상기 여분의 유효 헤드룸을 기반으로 디지털 오디오 스트림을 디지털 오디오 후처리하는 오디오 처리부를 포함하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기 및 오디오 신호 처리 방법의 구성을 개시한다.

Description

오디오 신호 처리 방법 및 이를 지원하는 단말기{Audio Signal Processing Method And Electronic Device supporting the same}
본 발명은 단말기의 오디오 신호 처리에 관한 것으로, 특히 적어도 하나의 오디오 소스 재생 과정에서 실제 설정된 이득 값을 기반으로 오디오 신호의 보정 처리 범위를 결정하도록 지원하는 오디오 신호 처리 방법 및 이를 지원하는 단말기에 관한 것이다.
전자 단말기는 특정 사용자 기능을 지원하면서도 그 크기가 휴대할 수 있을 정도로 작게 제작되어 많은 산업 및 생활 분야에서 각광받고 있다. 그리고 최근 들어 다양한 사용자 기능을 통합적으로 지원하는 휴대용 단말기가 등장하고 있다. 이러한 휴대용 단말기는 사용자 기능을 지원하면서 해당 사용자 기능 수행에 따른 오디오 및 비디오 신호를 출력기기를 통하여 제공하고 있다. 이에 따라 사용자는 특정 사용자 기능을 이용하면서 해당 기능 운용에 따른 비디오 및 오디오 신호를 시청하면서 컨텐츠 소비를 수행하고 있다.
특히 종래 휴대용 단말기는 음악과 같은 오디오 파일을 재생하도록 요청하는 입력 신호가 발생하면, 해당 오디오 파일의 오디오 신호를 재생하고, 이를 오디오 처리부를 통하여 출력하도록 지원한다. 이때 재생되는 오디오 신호는 단말기의 오디오 재생 시스템이 가지는 기구적 특징 및 회로적 특성 등을 포함하는 내부적 또는 외부적 인자에 따라 왜곡을 가지게 된다. 이에 따라 오디오 신호의 왜곡을 보정하는 적절한 처리가 요구된다. 그런데 종래 휴대용 단말기는 단순히 오디오 파일에 포함된 오디오 신호를 재생하여 출력하는 수준에 머물기 때문에 재생된 오디오 신호의 품질이 좋지 않은 경우가 많다. 특히 종래 휴대용 단말기는 재생될 오디오 신호를 일정 비트 수 이내에서 보정하기 때문에 앞서 언급한 내부적 또는 외부적 인자에 따른 오디오 신호의 품질 저하가 필수적으로 발생하는 문제점이 있다.
이러한 문제를 해결하기 위하여, 종래에는 믹싱된 오디오 신호를 디지털 방식으로 후처리하는 기술이 제공되었다. 디지털 방식의 후처리 기술은 믹싱된 오디오 신호를 사전 정의된 고정된 보정 범위 예를 들면 해당 단말기가 제공 가능한 최대 보정 범위를 기준으로 보정하도록 하는 기술이다. 이때 종래 디지털 방식의 후처리 기술은 믹싱된 오디오 신호를 최대 보정 범위를 기준으로 보정하기 때문에 입력되는 오디오 신호의 크기가 급격하게 변경되는 경우 또는 새로운 오디오 신호가 유입되거나 이전 포함된 오디오 신호가 제거되어 믹싱되는 오디오 신호에 변동이 생기는 경우 등의 시점에서 오디오 신호의 보정 폭이 최대 보정 범위를 기준으로 보정되기 때문에 이전 오디오 신호의 특정 부분과 새로 보정이 적용된 오디오 신호의 특정 부분의 변화 차이가 크게 발생할 수 있다. 이에 따라 종래 단말기는 오디오 신호 출력 과정에서 신호의 울렁거림이 심하게 발생하거나 부자연스러운 신호 출력에 따른 음질 저하가 발생하여 사용자에게 불편함을 제공하는 문제점이 있었다.
따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 실제 재생되는 적어도 하나의 오디오 소스에 설정된 각 이득 값을 수집하고, 이를 기반으로 오디오 신호의 보정 범위를 정확히 제공할 수 있도록 지원하는 오디오 신호 처리 방법 및 이를 지원하는 단말기를 제공함에 있다.
또한 본 발명은 정확한 오디오 신호의 보정 범위를 제공함으로써, 보다 적절한 오디오 신호 보정을 수행하도록 함으로써 양질의 오디오 신호 출력에 따른 오디오 신호 품질을 개선할 수 있도록 지원한다.
상기 목적을 달성하기 위한 본 발명은 적어도 하나의 오디오 소스로부터 디지털 오디오 스트림을 수신하는 과정, 적어도 하나의 이득 값을 이득 조정부에 의해 각 디지털 오디오 스트림에 적용하는 과정, 이득 값이 적용된 디지털 오디오 스트림을 믹싱하는 과정, 상기 적어도 하나의 이득 값으로부터 대표 이득 값을 산출하는 과정, 디지털 오디오 스트림의 보정을 위해 상기 대표 이득 값을 기반으로 여분의 유효 헤드룸을 산출하는 과정, 상기 여분의 유효 헤드룸을 이용하여 상기 믹싱된 디지털 오디오 스트림을 디지털 오디오 후처리하는 후처리 과정을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법의 구성을 개시한다.
본 발명은 또한, 오디오 재생이 요구되는 적어도 하나의 응용 프로그램을 저장하는 저장부, 상기 적어도 하나의 응용 프로그램 활성화에 따른 적어도 하나의 오디오 소스로부터 디지털 오디오 스트림을 수신하고, 수신한 각 디지털 오디오 스트림에 적어도 하나의 이득 값을 적용하는 제어부, 상기 적어도 하나의 이득 값이 적용된 디지털 오디오 스트림을 믹싱하고, 상기 적어도 하나의 이득 값으로부터 대표 이득 값을 산출하며, 산출된 대표 이득 값을 기반으로 여분의 유효 헤드룸을 산출하여 상기 여분의 유효 헤드룸을 기반으로 디지털 오디오 스트림을 디지털 오디오 후처리하는 오디오 처리부를 포함하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기의 구성을 개시한다.
이상에서 살펴본 바와 같이 본 발명의 오디오 신호 처리 방법 및 이를 지원하는 단말기에 따르면, 본 발명은 오디오 신호의 디지털 후처리 과정에 적용되는 오디오 신호 보정 범위를 정확히 제공함으로써 보다 적절한 오디오 신호 후처리를 지원하며, 이에 따라 오디오 신호 품질을 개선시킬 수 있도록 지원한다.
도 1은 본 발명의 실시 예에 따른 단말기의 구성을 보다 상세히 나타낸 블록도.
도 2는 본 발명의 실시 예에 따른 제어부 및 오디오 처리부의 구성을 보다 상세히 나타낸 도면.
도 3은 본 발명의 유효 헤드룸이 적용되는 상태와 미적용 상태를 설명하기 위한 도면.
도 4는 본 발명의 실시 예에 따른 오디오 신호 처리 방법을 설명하기 위한 순서도.
도 5 및 도 6은 테스트 신호 입력에 따른 본 발명과 종래 기술의 출력 신호 형태를 설명하기 위한 도면.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
도 1은 본 발명의 실시 예에 따른 단말기의 외관을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 단말기(100)는 무선 무선통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. 한편 상기 오디오 처리부(130)는 시스템 설계자의 의도에 따라 또는 설계 방식에 따라 스피커(SPK) 및 마이크(MIC)의 하드웨어적인 구성을 제외하고 제어부(160)에 포함되어 설계될 수 있다. 이에 따라 이하 도 3에서는 오디오 처리부(130)의 구성을 제어부(160)에 독립적인 형태로 도시하여 설명하였지만 본 발명이 이에 한정되는 것은 아니다. 설명에 앞서, 이하에서 설명하는 헤드룸은 디지털 오디오 후처리부에 의하여 후처리될 오디오 신호의 후처리 마진(Margin) 폭을 정의하는 용어이다. 즉 헤드룸은 디지털 오디오 신호에 부가적인 효과나 보정을 제공하기 위해 필요한 여분의 디지털 비트로 정의될 수 있으며, 일예로 헤드룸은 이득 값을 적용하여 추가적으로 키울 수 있는 음량의 여분을 나타낼 수 있다. 이러한 헤드룸은 디지털 오디오 후처리부 이전에 배치된 믹서의 특징 또는 단말기(100)의 시스템 볼륨 값 등에 따라 일정하지 않고 변할 수 있다. 본 발명의 유효 헤드룸 기능이 적용되지 않는 디지털 오디오 후처리 기능의 경우에는 헤드룸이 존재하지 않는 경우를 가정하여 출력 신호를 보정한다.
한편 상술한 구성을 가지는 본 발명의 실시 예에 따른 단말기(100)는 무선통신부(110)를 통하여 수신되는 오디오 신호 또는 저장부(150)에 저장된 오디오 신호를 출력하는 과정에서 오디오 신호를 믹싱하기 이전에 적어도 하나의 오디오 신호에 적용되는 각 이득 값을 수집한다. 그리고 본 발명의 단말기(100)는 수집된 이득 값들을 기반으로 대표 이득 값을 산출하고 이를 기반으로 유효 헤드룸(Headroom)을 연산하도록 지원한다. 유효 헤드룸과 관련된 상세한 설명은 도면을 참조하여 후술하기로 한다. 한편 상기 오디오 처리부(130)에 포함되는 디지털 오디오 후처리부는 유효 헤드룸에 대한 정보를 기반으로 오디오 신호의 보정을 수행할 수 있다. 즉 디지털 오디오 후처리부는 유효 헤드룸 정보를 기반으로 신호 처리해야 할 오디오 신호의 최대 경계지점을 종래에 비하여 보다 정확히 확인함으로써, 신호 보정의 정도를 신호 전체에 대하여 고르게 적용할 수 있도록 지원한다. 이에 따라 본 발명의 단말기(100)는 출력되는 오디오 신호의 후처리 보정을 선형적으로 수행함으로써 청취되는 음질을 개선할 수 있다.
한편 상기 무선통신부(110)는 단말기(100)의 통신 기능을 지원하는 구성이다. 이러한 무선통신부(110)는 외부 특정 서버와 통신 채널을 형성하거나 타 단말기와 통신 채널을 형성하고, 상기 외부 특정 서버 및 타 단말기 중 적어도 하나로부터 오디오 신호를 수신할 수 있다. 수신된 오디오 신호는 제어부(160)에 전달되고, 제어부(160) 제어에 따라 저장부(150)에 저장되거나 오디오 처리부(130)에 전달되어 출력될 수 있다. 여기서 수신된 오디오 신호가 오디오 처리부(130)를 통하여 출력되는 경우 본 발명의 믹싱 전 이득 값 산출에 따른 대표 이득 값 적용 및 이를 기반으로 하는 유효 헤드룸 적용이 수행될 수 있다. 결과적으로 무선통신부(110)가 수신한 오디오 신호는 종래에 비하여 양호한 음질로 복원되어 출력될 수 있다.
상술한 무선통신부(110)는 본 발명이 적용되는 단말기(100)가 통신 기능을 지원하지 않는 경우 단말기(100) 구성에서 생략될 수 있다. 한편 무선통신부(110)는 단말기(100)의 통신 기능 특히 이동통신 기능을 지원하기 위하여 이동통신 모듈의 형태로 마련될 수 있다. 이러한 무선통신부(110)는 이동통신 시스템과 통신 채널을 형성하여 단말기(100)의 이동통신 기능 수행을 위한 신호 송수신을 지원한다. 예를 들어 무선통신부(110)는 이동통신 시스템과 음성 서비스 채널, 영상 서비스 채널, 데이터 서비스 채널 중 적어도 하나를 형성하고, 해당 서비스 채널에 따른 특정 신호의 송수신을 지원할 수 있다. 이를 위하여 무선통신부(110)는 2G, 3G, 4G, 5G 등의 각 세대별 통신 방식 지원을 위한 다양한 통신 모듈, TDMA, CDMA, WCDMA, FDMA, OFDMA 등의 통신 방식 지원을 통신 모듈, 유무선 네트웍 기반의 통신 모듈 등 특정 통신 기술이나 방식에 한정되지 않고 외부로부터 오디오 신호를 수신할 수 있는 통신 모듈로 구성될 수 있다.
상기 입력부(120)는 단말기(100)의 제어를 위한 입력 신호를 생성하는 구성이다. 이러한 입력부(120)는 키 버튼이나, 사이드 키, 홈 키 등으로 마련되어 단말기(100)의 다양한 위치 예를 들면 단말기의 측면이나 전면 또는 후면 등에 배치될 수 있다. 또한 상기 입력부(120)는 단말기(100)의 특성에 따라 다양한 형태 예를 들면 터치 맵과 터치 패널의 형태로 마련될 수 있다. 이러한 입력부(120)는 적어도 하나의 오디오 재생이 요구되는 응용 프로그램을 활성화하도록 요청하는 입력 신호, 단말기(100)의 오디오 신호 출력 예를 들면 이득 값을 설정하기 위한 입력 신호, 오디오 신호의 출력 여부를 제어하기 위한 입력 신호, 특정 오디오 신호 출력을 지원하는 단말기 기능을 선택하기 위한 입력 신호 등을 사용자 제어에 따라 생성할 수 있다. 생성된 입력 신호는 제어부(160)에 전달되어 해당 기능 지원을 위한 명령어로 이용될 수 있다.
상기 표시부(140)는 단말기(100) 운용에 필요한 다양한 화면을 제공하는 구성이다. 예를 들어 상기 표시부(140)는 방송 수신 화면, 파일 재생 화면, 통신 서비스 연결 화면 등 다양한 화면을 출력할 수 있다. 또한 상기 표시부(140)는 오디오 신호의 이득 값 설정을 위한 화면 인터페이스를 제공할 수 있다. 예를 들면, 상기 표시부(140)는 방송 수신 기능의 기본 오디오 신호 출력에 대한 이득 값 설정을 위한 화면 인터페이스, 저장부(150)에 저장된 음악 파일 재생 시 해당 오디오 신호의 출력에 대한 이득 값 설정을 위한 화면 인터페이스, 통신 서비스 연결 과정에서 수신되는 오디오 신호의 출력에 대한 이득 값 설정을 위한 화면 인터페이스 등 각 단말기 기능별 이득 값 설정을 위한 화면 인터페이스를 제공할 수 있다. 사용자는 상술한 화면 인터페이스를 통하여 방송 수신 기능 수행 중에 수신된 방송 오디오 신호의 출력 이득 값 설정을 수행할 수 있으며, 또한 다른 기능들의 수행 과정에서 출력된 오디오 신호의 출력 이득 값 설정을 수행할 수 있다. 상술한 화면 인터페이스는 각각 이득 값 조정을 위한 기능창이나 팝업창 등으로 구현될 수 있으며, 해당 단말기 기능 수행에 따른 화면 상에 오버레이되어 제공될 수 있다.
저장부(150)는 단말기(100) 운용에 필요한 다양한 프로그램 예를 들면 단말기 운용에 필요한 운용체제, 방송 수신을 위한 방송 수신 프로그램, 이동통신 기능 지원을 위한 이동통신 지원 프로그램, 오디오 파일 재생 지원을 위한 오디오 파일 재생 프로그램, 동영상 재생 지원 프로그램 등 다양한 프로그램을 저장할 수 있다. 즉 저장부(150)는 오디오 재생이 요구되는 적어도 하나의 응용 프로그램을 저장할 수 있다. 그리고 상기 저장부(150)는 본 발명의 오디오 신호 처리 지원을 위한 오디오 처리 지원 프로그램(151)을 포함할 수 있다.
상기 오디오 처리 지원 프로그램(151)은 본 발명의 실시 예에 따른 오디오 처리 지원을 위한 루틴들을 포함하는 구성이다. 즉 오디오 처리 지원 프로그램(151)은 적어도 하나의 오디오 소스가 전달되는 오디오 트랙들의 유효성을 확인하는 루틴, 유효 오디오 트랙을 이용하는 단말기 기능에 설정된 오디오 신호 출력 이득 값을 수집하는 루틴, 수집된 적어도 하나의 이득 값들 중 대표 이득 값을 산출하는 루틴, 산출된 대표 이득 값을 이용하여 유효 헤드룸을 산출하는 루틴을 포함할 수 있다. 또한 오디오 처리 지원 프로그램(151)은 적어도 하나의 오디오 소스에서 전달되는 디지털 오디오 스트림을 믹싱하는 루틴, 믹싱된 디지털 오디오 스트림에 유효 헤드룸을 적용하여 디지털 오디오 후처리를 수행하는 루틴을 포함할 수 있다. 상술한 오디오 처리 지원 프로그램(151)은 단말기(100)의 오디오 신호 출력 기능이 활성화되는 시점에 제어부(160) 및 오디오 처리부(130) 중 적어도 하나에 로드되어 본 발명의 유효 헤드룸을 적용한 디지털 오디오 후처리 기능을 지원하게 된다.
제어부(160)는 단말기(100)의 기능 운용에 필요한 전원의 공급과 분배 및 신호의 전달과 처리를 지원하는 구성이다. 예를 들어 제어부(160)는 단말기(100)의 방송 수신 기능 지원을 위하여 방송 서버 접속이나 방송 신호 수신을 제어하고, 수신된 방송 신호를 복호하여 오디오 신호와 비디오 신호를 각각 구분하여 출력하도록 지원하는 제어를 수행할 수 있다. 또한 제어부(160)는 단말기(100)의 이동통신 기능 지원을 위하여 이동통신 기능 지원을 위해 마련된 이동통신 모듈의 전원 공급과, 캠핑 과정 및 타 단말기로부터 수신되는 통신 연결 요청 신호의 처리나 사용자 입력에 따른 타 단말기 연결 요청 신호의 처리 등을 제어할 수 있다. 이때 제어부(160)는 수신되는 오디오 신호의 출력을 제어할 수 있다. 그리고 제어부(160)는 저장부(150)에 저장된 오디오 파일 또는 오디오 신호를 포함하는 동영상 파일 재생 시 상기 오디오 신호의 출력을 제어할 수 있다.
상술한 단말기의 오디오 신호 출력 기능은 적어도 하나가 수행될 수 있으며, 또한 복수개의 단말기 기능 수행에 따라 다양한 오디오 소스 예를 들면 수신된 방송 신호, 수신된 오디오 신호, 오디오 파일 재생에 따른 오디오 신호 등을 오디오 처리부(130)에 전달될 수 있다. 이를 위하여 제어부(160)는 특정 단말기 기능 수행 시 해당 기능 수행에 따른 오디오 소스 전달을 위한 오디오 트랙을 제공하며, 오디오 패스를 통하여 오디오 소스가 오디오 처리부(130)에 전달되도록 지원할 수 있다. 특히 상기 제어부(160)는 오디오 처리부(130)와의 협업을 통하여 오디오 신호 출력 시 각 오디오 신호들의 믹싱 전 이득 값 수집과 대표 이득 값 산출 및 유효 헤드룸 산출을 통하여 디지털 오디오 후처리 기능 수행되도록 지원할 수 있다.
상기 오디오 처리부(130)는 본 발명의 실시 예에 따른 디지털 오디오 후처리 기능 지원을 위한 이득 값 수집과, 유효 헤드룸 산출 및 적용을 지원하여 특정 오디오 신호를 보정하고, 해당 오디오 신호를 출력 기기에 전달하는 구성이다. 여기서 오디오 신호의 출력 기기는 스피커(SPK) 등이 될 수 있으며, 이어잭 등을 통하여 연결되는 이어폰 또는 무선으로 연결되는 헤드폰 등이 될 수도 있다. 추가로 오디오 처리부(130)는 단말기(100)의 이동통신 기능 지원을 위하여 마이크(MIC)를 더 포함할 수 있다. 단말기(100)는 마이크(MIC)를 이용하여 오디오 신호를 수집하고, 수집된 오디오 신호를 무선통신부(110)를 통하여 타 단말기에 전달할 수 있다. 또한 단말기(100)는 마이크(MIC)를 이용하여 오디오 신호 녹음 기능을 지원할 수도 있다.
상술한 제어부(160) 및 오디오 처리부(130)는 본 발명의 디지털 오디오 후처리 기능 지원을 위하여 도 2에 도시된 바와 같은 구성을 포함할 수 있다.
도 2를 참조하면, 먼저 제어부(160)는 제1 오디오 소스(161), 제2 오디오 소스(162) 내지 제N 오디오 소스(16N)의 오디오 스트림 신호를 제어하여 출력할 수 있으며, 각 오디오 소스들과 연결되는 이득 조정부들(g1, g2, ..., gN)을 제어할 수 있다. 각각의 오디오 소스는 스케줄 정보에 따라 또는 사용자 입력에 따라 활성화된 단말기 기능 운용에 따른 특정 응용 프로그램에서 생성 또는 수신되는 오디오 정보가 될 수 있다. 예를 들어 상기 제1 오디오 소스(161)는 방송 수신 기능 수행에 따라 출력되는 방송 오디오 신호가 될 수 있다. 또한 제2 오디오 소스(162)는 기 저장된 오디오 파일 재생에 따라 출력되는 오디오 신호가 될 수 있다. 또한 제N 오디오 소스(16N)는 이동통신 기능 수행에 따라 수신되는 오디오 신호가 될 수 있다. 한편 상술한 오디오 소스는 상술한 오디오 신호뿐만 아니라 하나의 기능 수행에 따른 다양한 오디오 신호가 될 수도 있다. 예를 들면, 사용자가 다수개의 오디오 파일을 재생하도록 제어할 수 있으며, 이 경우 각 오디오 소스는 다수개의 오디오 파일들 각각에 해당하는 구성이 될 수 있다. 상기 각 오디오 소스에서 제공되는 오디오 스트림 신호는 이득 조정부들(g1, g2, ..., gN)을 통하여 오디오 처리부(130)에 전달될 수 있다. 상기 제어부(160)는 적어도 하나의 오디오 소스 재생을 위하여 미디어 플레이어, 미디어 플레이어 서비스 구성을 제공할 수 있으며, 오디오 디코더를 이용하여 미디어 플레이어 서비스를 거치는 오디오 소스를 복호화하도록 제어할 수 있다. 여기서 미디어 플레이어 서비스는 오디오 소스의 이득 값 조정을 수행하는 이득 조정부들(g1, g2, ..., gN)을 포함할 수 있다.
이득 조정부들(g1, g2, ..., gN)은 제1 오디오 소스(161)와 연결되는 제1 이득 조정부(g1), 제2 오디오 소스(162)와 연결되는 제2 이득 조정부(g2), 제N 오디오 소스(16N)와 연결되는 제N 이득 조정부(gN)를 포함할 수 있다. 이득 조정부들(g1, g2, ..., gN)은 오디오 트랙들을 통하여 믹서(131)에 오디오 스트림 신호를 전달한다. 이때 이득 조정부들(g1, g2, ..., gN)은 설정된 이득 값을 오디오 소스에 적용하고, 이득이 조정된 오디오 스트림 신호를 각 오디오 트랙을 통하여 믹서(131)에 전달한다. 이를 보다 상세히 설명하면, 제1 이득 조정부(g1)는 제1 오디오 소스(161)로부터 디지털 오디오 스트림을 전달받고, 해당 디지털 오디오 스트림의 이득 값을 조정하는 구성이다. 이러한 제1 이득 조정부(g1)는 소프트웨어로 구현되어 전달되는 제1 오디오 소스(161)의 디지털 오디오 스트림의 이득 값 조정을 수행할 수 있다. 제2 이득 조정부(g2)는 제1 이득 조정부(g1)와 유사하게 제2 오디오 소스(162)로부터 전달되는 디지털 오디오 스트림의 이득 값을 조정하는 구성이다. 또한 제N 이득 조정부(gN)는 제N 오디오 소스(16N)로부터 전달되는 디지털 오디오 스트림의 이득 값을 조정하는 구성이다. 제1 이득 조정부 내지 제N 이득 조정부(g1, g2, ..., gN)에서 출력되는 이득 조정된 디지털 오디오 스트림들은 각각의 오디오 트랙을 통하여 오디오 처리부(130)의 믹서(131)로 전달될 수 있다.
오디오 처리부(130)는 상기 각 이득 조정부들(g1, g2, ..., gN)과 연결되는 오디오 트랙을 포함한다. 예를 들어 각 오디오 트랙은 제1 오디오 트랙 내지 제N 오디오 트랙을 포함할 수 있다. 즉 제1 오디오 소스(161) 및 제1 이득 조정부(g1)에는 제1 오디오 트랙이 할당되며, 제2 오디오 소스(162) 및 제2 이득 조정부(g2)에는 제2 오디오 트랙이 할당되고, 제N 오디오 소스(16N) 및 제N 이득 조정부(gN)에는 제N 오디오 트랙이 할당된다.
한편 상기 오디오 처리부(130)는 상기 이득 조정부들(g1, g2, ..., gN)에 할당된 오디오 트랙들과 연결되는 믹서(131) 및 이득 조정부들(g1, g2, ..., gN) 및 오디오 트랙들을 검사하는 오디오 트랙 검사부(135), 상기 오디오 트랙 검사부(135)에 연결되는 대표 이득 값 확인 및 유효 헤드룸 연산부(137), 상기 믹서(131)와 대표 이득 값 확인 및 유효 헤드룸 연산부(137)가 연결되는 상기 디지털 오디오 후처리부(133)를 포함할 수 있다.
믹서(131)는 제1 이득 조정부 내지 제N 이득 조정부(g1, g2, ..., gN)에 할당된 오디오 트랙들로부터 이득이 조정된 디지털 오디오 스트림들을 수신하고, 수신된 디지털 오디오 스트림들을 믹싱하는 구성이다. 이 과정에서 믹서(131)는 각 이득 조정부들(g1, g2, ..., gN)과 각 오디오 트랙을 통하여 전달받은 디지털 오디오 스트림을 공통된 규격으로 조정한 후 합산하여 하나의 디지털 오디오 스트림을 생성한다. 생성된 디지털 오디오 스트림은 디지털 오디오 후처리부(133)에 전달될 수 있다. 이때 믹서(131)는 제1 이득 조정부 내지 제N 이득 조정부(g1, g2, ..., gN)와 각 오디오 트랙을 통하여 전달된 디지털 오디오 스트림들을 합산한 후 평균하는 방식으로 각 하나의 디지털 오디오 스트림을 생성할 수 있다.
오디오 트랙 검사부(135)는 현재 재생 중인 오디오 트랙의 종류와 개수를 검출하는 구성이다. 또한 오디오 트랙 검사부(135)는 제1 이득 조정부 내지 제N 이득 조정부(g1, g2, ..., gN) 중 어떠한 이득 조정부가 활성화 상태에 있는지를 확인하며, 각 이득 조정부에 설정된 소프트웨어 이득 값을 수집한다. 예를 들어 제1 오디오 소스(161)가 활성화되어 제1 이득 조정부(g1) 및 제1 오디오 트랙을 통하여 디지털 오디오 스트림이 전달되면, 오디오 트랙 검사부(135)는 제1 오디오 트랙이 활성화된 상태를 인지할 수 있다. 이때 오디오 트랙 검사부(135)는 제1 오디오 트랙과 연결되는 제1 이득 조정부(g1)의 이득 값을 수집한다. 이와 같은 방식으로 오디오 트랙 검사부(135)는 활성화된 유효한 오디오 트랙과, 해당 오디오 트랙과 연결된 이득 조정부들(g1, g2, ..., gN)을 검사하게 된다. 현재 활성화 상태에 있는 이득 조정부들로부터 수집된 이득 값들은 대표 이득 값 확인 및 유효 헤드룸 연산부(137)에 전달될 수 있다.
상기 오디오 트랙 검사부(135)는 상기 이득 조정부들(g1, g2, ..., gN)의 이득 값 수집을 실시간으로 수행되거나, 기 설정된 주기에 따라 수행할 수 있으며, 또한 새로운 오디오 소스의 재생 및 새로운 오디오 재생이 요구되는 응용 프로그램 활성화 중 적어도 하나가 발생하는 경우 상기 이득 조정부들의(g1, g2, ..., gN) 이득 값 수집을 수행할 수 있다. 그리고 상기 오디오 트랙 검사부(135)는 이전 재생 중인 오디오 소스의 재생이 종료되거나 응용 프로그램이 종료되는 경우 상기 이득 조정부들의 이득 값 수집을 수행할 수도 있다.
대표 이득 값 확인 및 유효 헤드룸 연산부(137)는 오디오 트랙 검사부(135)가 전달한 현재 활성화 상태인 이득 조정부들의 이득 값들 중 대표 이득 값을 산출한다. 예를 들어, 제1 이득 조정부(g1)에 설정된 이득 값이 0.8이고, 제2 이득 조정부(g2)에 설정된 이득 값이 0.6인 경우 대표 이득 값 확인 및 유효 헤드룸 연산부(137)는 그들의 평균인 0.7을 대표 이득 값으로 산출하거나, 최대 값인 0.8을 대표 이득 값으로 산출할 수 있다. 대표 이득 값 확인 및 유효 헤드룸 연산부(137)는 대표 이득 값이 산출되면, 다음으로 유효 헤드룸 값을 산출한다. 유효 헤드룸 값은 1에서 대표 이득 값을 감산한 결과가 될 수 있다. 예를 들어 대표 이득 값이 0.7인 경우 유효 헤드룸 값은 0.3이 될 수 있다. 대표 이득 값 확인 및 유효 헤드룸 연산부(137)는 산출된 유효 헤드룸 값을 디지털 오디오 후처리부(133)에 전달할 수 있다.
상술한 오디오 트랙들, 믹서(131), 오디오 트랙 검사부(135) 및 대표 이득 값 확인 및 유효 헤드룸 연산부(137)의 구성은 오디오 프레임워크(Audio Frame Work)로 구분될 수 있다.
디지털 오디오 후처리부(133)는 믹서(131)로부터 믹싱된 하나의 디지털 오디오 스트림을 수신하며, 대표 이득 값 확인 및 유효 헤드룸 연산부(137)로부터 유효 헤드룸 값을 수신한다. 디지털 오디오 후처리부(133)는 유효 헤드룸 값을 이용하여 최종 출력할 오디오 신호의 음질과 음량을 개선할 수 있는 보정 범위를 확인한다. 그리고 디지털 오디오 후처리부(133)는 유효 헤드룸의 크기에 따라 단계적으로 출력 신호의 음질을 보정하거나 음량을 보정하는 등 사전 정의된 방식에 따라 신호 처리 알고리즘을 적용할 수 있다. 예를 들어 디지털 오디오 후처리부(133)는 전달된 디지털 오디오 스트림의 보정을 수행할 수 있으며, 이때 유효 헤드룸 값을 이용하여 보정에 따른 신호 변화 범위를 선형적으로 운용하면서도 최대 보정 범위를 넘지 않도록 안정적으로 제어한다. 이후 디지털 오디오 후처리부(133)는 보정된 오디오 신호를 커널 등을 통하여 오디오 출력 하드웨어 기기 예를 들면 스피커(SPK)나 이어폰 등으로 출력하도록 지원할 수 있다.
한편 상술한 설명에서는 디지털 오디오 후처리부(133)가 상기 오디오 신호 출력 기능을 수행하는 것으로 설명하였지만, 상기 오디오 처리부(130)는 디지털 오디오 후처리부(133)에서 전달된 신호를 커널(Kernel)을 통하여 스피커(SPK)나 이어폰 등의 하드웨어 장치에 전달하는 오디오 신호 출력부의 구성을 더 포함할 수 있다. 한편 유효 헤드룸 적용에 따른 보정에 대하여 도 3을 참조하여 보다 상세히 설명하기로 한다.
도 3은 본 발명의 실시 예에 따른 유효 헤드룸이 적용된 상태와 미 적용된 상태를 나타낸 도면이다.
도 3을 참조하면, 먼저 301 그래프에서 굵은 실선은 단말기(100)가 제공 가능한 오디오 신호의 최대 보정 범위에 해당한다. 예를 들어 입력되는 디지털 오디오 스트림의 진폭이 굵은 실선을 벗어나는 경우 벗어난 부분의 신호는 클리프(clip) / 새츄레이트(saturate)되어 제거될 수 있다. 즉 디지털 오디오 스트림이 최대 보정 범위를 벗어나는 경우, 최대 보정 범위를 벗어난 일정 크기 이상의 진폭에 해당하는 오디오 신호는 차단된다. 결과적으로 특정 오디오 신호가 제거되어 들리지 않는 등의 현상이 발생할 수 있다. 한편 도시된 바와 같이 점선 범위 내에 해당하는 디지털 오디오 스트림이 믹서(131)로부터 전달되는 경우 디지털 오디오 후처리부(133)는 해당 디지털 오디오 스트림을 헤드룸 크기만큼 보정 확장할 수 있다. 이때 디지털 오디오 후처리부(133)는 단말기(100)의 하드웨어 특징에 의하여 제공되는 최대 보정 범위 값을 알고 있으며, 현재 재생되는 오디오 소스의 소프트웨어 이득 값 확인을 통하여 계산된 유효 헤드룸의 크기를 예측하고 있기 때문에 디지털 오디오 스트림을 사용자 요청이나 설정에 따라 선형적으로 보정하면서도 최대 보정 범위를 벗어나지 않도록 보정할 수 있다. 특히 디지털 오디오 후처리부(133)는 입력되는 디지털 오디오 스트림의 크기가 불규칙하게 변경되는 과정에서도 유효 헤드룸 정보를 기반으로 선형적으로 신호 보정을 수행할 수 있어, 보다 개선된 오디오 신호의 출력을 수행할 수 있도록 지원한다.
한편 303 그래프에서는 헤드룸이 적용되지 않는 상태를 나타낸 것으로, 디지털 오디오 후처리부(133)가 유효 헤드룸이 적용되지 않는 경우 음정 보정을 고정된 보정 범위 예를 들면 최대 보정 범위를 기준으로 수행하는 것을 나타낸 것이다. 디지털 오디오 후처리부(133)는 별도의 유효 헤드룸이 적용되지 않을 경우, 단말기(100)가 제공 가능한 고정된 일정 보정 범위 예를 들면 최대 보정 범위를 자신이 오디오 신호 보정을 수행할 수 있는 보정 범위로 결정하고, 고정된 최대 보정 범위 값을 기반으로 오디오 신호 보정을 수행하게 된다.
상술한 바와 같이 본 발명의 단말기(100)는 활성화된 오디오 트랙들에 연결되는 이득 조정부들(g1, g2, ..., gN)의 실제 적용 이득 값을 기반으로 유효 헤드룸 정보를 산출함으로써, 믹서(131)에서 전달되는 디지털 오디오 스트림의 보정 범위를 예측할 수 있어, 보다 다양하고 적응적인 오디오 보정을 선형적으로 수행할 수 있도록 지원한다. 상기 단말기(100)는 실제 적용 이득 값 산출 시점을 실시간으로 수행하거나, 일정 주기로 수행하여 수집되는 이득 값 변화를 확인하고, 변환된 이득 값을 적용한 오디오 보정을 수행하도록 지원할 수 있다. 특히 단말기(100)는 특정 응용 프로그램 활성화에 따른 새로운 오디오 트랙의 활성화 또는 특정 응용 프로그램의 종료에 따른 이전 오디오 트랙의 비활성화에 따라서 각각의 이득 값 변화를 감지할 수 있고, 그에 따른 변화된 유효 헤드룸 값 적용을 지원할 수 있다. 이 과정에서 단말기(100)는 오디오 재생이 요구되는 응용 프로그램이 새롭게 활성화되거나 또는 비활성화되는 경우 유효 헤드룸 산출을 수행하고, 그에 따른 변화된 유효 헤드룸 적용을 수행할 수 있다. 그리고 단말기(100)는 기 설정된 스케줄 정보에 의한 유효 헤드룸 산출 및 적용을 수행하다가 유효 헤드룸 변화에 따른 적용을 지원할 수 있다.
도 4는 본 발명의 실시 예에 따른 오디오 신호 처리 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 본 발명의 오디오 신호 처리 방법은 먼저 401 단계에서 오디오 소스 재생이 수행될 수 있다. 이를 위하여 단말기(100)의 제어부(160)는 입력부(120)로부터 입력되는 입력 신호 또는 기 설정된 스케줄 정보에 따라 오디오 재생이 요구되는 적어도 하나의 응용 프로그램을 활성화할 수 있다. 여기서 제어부(160)는 단말기(100)가 멀티태스킹을 지원하는 경우 활성화된 다수의 응용 프로그램에 따른 다수의 오디오 소스 재생을 지원할 수 있다. 오디오 소스 재생을 위하여 오디오 소스는 복호화되며, 복호된 디지털 오디오 스트림은 미디어 플레이어 서비스에 포함된 이득 조정부들을 거쳐 특정 오디오 트랙들로 출력될 수 있다. 즉, 제어부(160)는 오디오 소스 재생 시 해당 오디오 소스를 출력할 오디오 트랙을 할당하며, 해당 오디오 소스는 미디어 플레이어 서비스에 포함된 이득 조정부에서 이득이 조정된 후 할당된 오디오 트랙에 전달될 수 있다. 여기서 제어부(160)는 오디오 소스에서 사전 설정된 이득 값을 확인하고, 설정된 이득 값이 이득 조정부에 적용되도록 제어할 수 있다.
오디오 소스 재생이 수행되어 특정 오디오 트랙이 활성화되면, 오디오 트랙 검사부(135)는 403 단계에서 활성화된 오디오 트랙의 개수와 각 오디오 트랙의 속성을 확인하는 한편, 해당 오디오 트랙과 연결된 이득 조정부의 설정된 게인 값을 확인한다. 그리고 오디오 트랙 검사부(135)는 수집된 적어도 하나의 게인 값을 대표 이득 값 확인 및 유효 헤드룸 연산부(137)에 전달한다.
대표 이득 값 확인 및 유효 헤드룸 연산부(137)는 405 단계 및 407 단계를 수행하면서 이득 값들의 대표 이득 값을 산출하고, 산출된 대표 이득 값을 기반으로 유효 헤드룸을 산출한다. 여기서 대표 이득 값은 앞서 설명한 바와 같이 다수의 이득 값들의 평균 또는 가장 큰 값으로 결정될 수 있다. 한편 하나의 오디오 소스가 재생되어 하나의 이득 값만이 수집된 경우 대표 이득 값은 수집된 하나의 이득 값으로 결정될 수 있다. 유효 헤드룸 값은 다음 수식을 통하여 계산될 수 있다.
[수학식 1]
유효 헤드룸 = 1 - 대표 이득 값
대표 이득 값 확인 및 유효 헤드룸 연산부(137)는 유효 헤드룸 값을 디지털 오디오 후처리부(133)에 전달한다.
디지털 오디오 후처리부(133)는 수신된 유효 헤드룸 값을 이용하여 409 단계에서 디지털 오디오 스트림의 보정을 수행할 수 있다. 디지털 오디오 스트림은 믹서(131)로부터 수신된다. 믹서(131)는 401 단계에서 오디오 소스가 재생되어 오디오 트랙을 통하여 출력되면, 이를 수신하고 기 정의된 규격에 맞추어 디지털 스트림 오디오 신호를 생성하는 구성이다. 특히 믹서(131)는 복수의 오디오 소스가 전달되면, 각 오디오 소스들을 정의된 규격에 맞추어 조정하고, 이를 하나의 디지털 스트림 오디오 신호를 생성한다.
다음으로 디지털 오디오 후처리부(133)는 411 단계에서 후처리된 오디오 신호를 스피커(SPK) 또는 기타 출력 기기 예를 들면 이어폰이나 헤드셋 등을 통하여 출력하도록 제어할 수 있다.
한편 단말기(100)는 413 단계에서 단말기의 오디오 소스 재생 종료를 위한 입력 신호가 발생하는 여부를 확인하고, 종료 입력 신호 발생이 없는 경우 401 단계이전으로 분기하여 이후 과정을 재수행하도록 지원할 수 있다. 특히 단말기(100)는 409 단계 및 411 단계를 지속적으로 수행하다가, 새로운 오디오 소스 재생이 발생하거나 이전 오디오 소스 재생이 종료되는 경우 403 단계 내지 407 단계를 재수행하도록 제어할 수 있다.
도 5 및 도 6은 본 발명의 적용 상태 및 미적용 상태 환경에서 테스트 신호의 입력에 따른 출력 형태를 설명하기 위한 도면이다.
도 5의 501 그래프는 단말기(100)가 오디오 신호의 클리핑이 발생하지 않는 제공 가능한 최대 신호 범위를 가지는 테스트 신호를 나타낸 것이다. 501 그래프에 나타낸 바와 같은 오디오 신호를 본 발명의 유효 헤드룸을 적용하여 클리핑이 생기지 않는 음량 증가의 역할을 수행하는 디지털 오디오 후처리부(133)에 제공하는 경우 502 그래프에 나타낸 바와 같이 출력됨을 알 수 있다. 한편 유효 헤드룸이 적용되지 않는 클리핑이 생기지 않는 음량 증가의 역할을 수행하는 디지털 오디오 후처리부는 입력되는 501 그래프에서와 같은 테스트 신호에 대하여 502와 유사한 형태의 503 그래프 결과를 볼 수 있다. 즉, 테스트 신호가 단말기의 하드웨어적으로 클리핑이 발생하지 않도록 설정되는 최대 신호 범위를 가지는 경우에는 신호 보정에 이용할 수 있는 유효 헤드룸이 없기 때문에 유효 헤드룸을 적용하는 경우와 적용하지 않는 경우 모두 유사한 성능의 결과를 확인할 수 있다.
한편 도 6의 601 그래프는 오디오 신호의 클리핑이 발생하지 않으면서 신호범위가 최대가 아니며 대표 이득값이 1보다 작아 유효 헤드룸이 있는 테스트 신호를 나타낸 것이다. 601 그래프에 나타낸 오디오 신호가 본 발명의 유효 헤드룸을 적용하여 클리핑이 생기지 않는 음량 증가의 역할을 수행하는 디지털 오디오 후처리부(133)에 제공되는 경우 602 그래프에 나타낸 바와 같이 유효 헤드룸을 사용하여 입력 신호와 선형적인 결과로 출력됨을 알 수 있다. 여기서 오디오 신호의 보정을 요청하는 범위가 단말기가 제공 가능한 최대 신호 범위일 경우을 가정한 것이다.
한편, 유효 헤드룸이 적용되지 않는 클리핑이 생기지 않는 음량 증가의 역할을 수행하는 디지털 오디오 후처리부는 입력되는 601의 그래프에서와 같은 테스트 신호에 대하여 603과 같이 유효 헤드룸을 사용하지 못한 그래프의 모양을 출력하고 있다. 즉 유효 헤드룸을 적용하지 않는 디지털 오디오 후처리부는 최대 보정 값에 대한 정보를 수집할 수 없기 때문에, 고정된 특정 보정 기준을 적용하게 되고, 이에 따라 오디오 신호를 확장할 수 있는 유효 헤드룸 범위가 있음에도 불구하고 유효 헤드룸을 적용하지 못하고 정해진 보정 기준에 따라 오디오 신호를 보정하게 된다. 결과적으로 유효 헤드룸을 적용하지 않는 디지털 오디오 후처리부는 입력된 신호에 대하여 고정된 보정 기준에 따라 비선형적인 보정만을 수행하게 된다. 이러한 비선형적인 보정만을 수행하는 경우, 본 발명의 유효 헤드룸이 적용되는 경우에 비하여 상대적으로 신호의 왜곡이 크게 발생하게 되며, 이러한 신호 왜곡은 큰 음질 저하를 발생시킬 수 있다. 이와는 다르게 본 발명의 유효 헤드룸이 적용되는 디지털 오디오 후처리 기능은 유효 헤드룸이 있는 만큼 선형적인 신호 보정을 지원하며, 유효 헤드룸 정보를 믹싱 이전에 확인하고, 믹싱된 신호에 적용하게 됨으로 선형적인 신호 보정을 제공할 수 있고 신호 보정을 클리핑(clipping) / 새츄레이션(saturation)없이 안정적으로 수행할 수 있도록 지원한다.
추가로, 입력 신호에 대하여 유효 헤드룸의 크기보다 큰 효과 적용 예를 들면 음량 확장을 위한 주파수의 진폭 확장이나 특정 음색 지원을 위한 주파수 추가 등의 요청이 발생하는 경우, 본 발명의 유효 헤드룸을 적용하는 디지털 오디오 후처리부(133)는 유효 헤드룸의 크기만큼 선형적인 보정을 수행하고, 이후 최대 보정 범위에서는 클리핑 및 세츄레이션이 발생하지 않도록 비선형적인 보정을 수행할 수 있다. 일예로서, 0.6의 크기를 가지는 특정 입력 신호가 입력되며, 유효 헤드룸의 크기가 상부 및 하부 각각 0.2의 크기를 가지고, 입력 신호에 대하여 1.2 만큼의 보정을 요구하는 입력 신호가 발생하는 경우, 본 발명의 디지털 오디오 후처리부(133)는 0.6의 입력 신호에 대하여 각각 0.2만큼씩의 유효 헤드룸 크기에서는 선형적으로 신호 보정을 수행하고, 이후 최대 보정 범위인 1.0의 범위가 다다르면, 이후 0.2만큼의 보정은 비선형적인 보정을 수행할 수 있다. 한편 유효 헤드룸을 적용하지 않는 디지털 오디오 후처리부(133)는 유효 헤드룸의 적용없이 비선형적인 보정만을 수행하게 된다. 상술한 신호들을 비교할 경우, 유효 헤드룸을 적용하지 않는 후처리된 오디오 신호는 본 발명의 유효 헤드룸 기반의 후처리된 오디오 신호에 대하여 비선형적인 부분의 왜곡이 보다 심하게 발생하게 될 뿐만 아니라, 실질적으로 보정의 크기 또한 다르게 나타난다.
상술한 바와 같이 본 발명의 오디오 신호 처리 방법은 고정된 보정 범위를 이용하지 않고, 실제 활성화된 오디오 트랙과 연결된 이득 조정부들의 이득 값 확인 및 이를 기반으로 하는 유효 헤드룸 적용을 수행함으로써 보다 유효한 보정 범위를 제공할 수 있다. 이 과정에서 본 발명은 유효 헤드룸 값을 오디오 트랙 검사만을 통하여 간단히 예측함으로써 별도로 디지털 오디오 신호 분석을 위한 부담이 없고, 적절한 신호 보정을 제공함으로써 신호의 울렁거림이나 부자연스러움을 최소화할 수 있다. 즉 본 발명은 디지털 오디오 신호의 재생 과정에서 오디오 트랙과 믹싱을 포함하는 오디오 프레임워크 내에서 유효 오디오 트랙 정보를 활용하여 오디오 출력 경로 상에서 효과적이고 효율적인 음질 및 음량 개선을 지원할 수 있다.
한편 상술한 단말기는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기는 근거리 통신을 위한 근거리통신모듈, 상기 단말기의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 단말기는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
또한 본 발명의 실시 예에 따른 상기 단말기는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기(mobile communication terminals)를 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 단말기 110 : 무선 통신부
120 : 입력부 130 : 오디오 처리부
131 : 믹서 133 : 디지털 오디오 후처리부
135 : 오디오 트랙 검사부
137 : 대표 이득 값 확인 및 유효 헤드룸 연산부
140 : 표시부 150 : 저장부
160 : 제어부

Claims (19)

  1. 적어도 하나의 오디오 소스로부터 디지털 오디오 스트림을 수신하는 과정;
    적어도 하나의 이득 값을 이득 조정부에 의해 각 디지털 오디오 스트림에 적용하는 과정;
    믹싱된 디지털 오디오 스트림을 획득하기 위해 이득 값이 적용된 디지털 오디오 스트림을 믹싱하는 과정;
    상기 적어도 하나의 이득 값으로부터 대표 이득 값을 산출하는 과정;
    상기 믹싱된 디지털 오디오 스트림의 보정을 위해 상기 대표 이득 값을 기반으로 여분의 유효 헤드룸을 산출하는 과정;
    상기 여분의 유효 헤드룸을 이용하여 상기 믹싱된 디지털 오디오 스트림을 디지털 오디오 후처리하는 후처리 과정;을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 이득 값 적용된 디지털 오디오 스트림들을 믹싱하기 이전에 적어도 하나의 이득 값들을 수집하는 수집 과정;을 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 수집 과정은
    오디오 트랙 중 실제 활성화된 오디오 트랙을 검사하는 과정;
    상기 실제 활성화된 오디오 트랙에 연결된 이득 조정부의 이득 값을 수집하는 과정;을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제1항에 있어서,
    상기 대표 이득 값을 산출하는 과정은
    상기 적어도 하나의 이득 값들의 평균 값을 대표 이득 값으로 산출하는 과정;
    상기 적어도 하나의 이득 값들 중 가장 큰 값을 대표 이득 값으로 산출하는 과정; 중 어느 하나의 과정을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제1항에 있어서,
    상기 여분의 유효 헤드룸을 산출하는 과정은
    상기 대표 이득 값을 1에서 감산하는 과정인 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제1항에 있어서,
    상기 후처리 과정은
    응용 프로그램 활성화를 지원하는 단말기의 하드웨어 구성에 따라 정의되는 오디오 신호의 최대 보정 범위를 확인하는 과정;
    상기 최대 보정 범위에 상기 유효 헤드룸을 적용하여 상기 디지털 오디오 스트림의 보정을 수행하는 과정;을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제2항에 있어서,
    상기 수집 과정, 상기 대표 이득 값을 산출 과정 및 상기 유효 헤드룸을 산출하는 과정 중 적어도 하나의 과정은
    실시간으로 수행되거나, 기 설정된 주기에 따라 수행되는 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 제2항에 있어서,
    상기 수집 과정, 상기 대표 이득 값을 산출 과정 및 상기 여분의 유효 헤드룸을 산출하는 과정 중 적어도 하나의 과정은
    새로운 오디오 소스의 재생 및 새로운 오디오 재생이 요구되는 응용 프로그램 활성화 중 적어도 하나의 경우에 따라 수행되는 것을 특징으로 하는 오디오 신호 처리 방법.
  9. 제2항에 있어서,
    상기 수집 과정, 상기 대표 이득 값을 산출 과정 및 상기 여분의 유효 헤드룸을 산출하는 과정 중 적어도 하나의 과정은
    이전 재생 중인 오디오 소스의 재생이 종료되거나 응용 프로그램이 종료되는 경우 수행되는 것을 특징으로 하는 오디오 신호 처리 방법.
  10. 제1항에 있어서,
    상기 여분의 유효 헤드룸 적용에 의하여 보정된 디지털 오디오 스트림을 출력하는 과정;을 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  11. 오디오 재생이 요구되는 적어도 하나의 응용 프로그램을 저장하는 저장부;
    상기 적어도 하나의 응용 프로그램 활성화에 따른 적어도 하나의 오디오 소스로부터 디지털 오디오 스트림을 수신하고, 수신한 각 디지털 오디오 스트림에 적어도 하나의 이득 값을 적용하는 제어부;
    믹싱된 디지털 오디오 스트림을 획득하기 위해 상기 적어도 하나의 이득 값이 적용된 디지털 오디오 스트림을 믹싱하고, 상기 적어도 하나의 이득 값으로부터 대표 이득 값을 산출하며, 상기 믹싱된 디지털 오디오 스트림의 보정을 위해 산출된 대표 이득 값을 기반으로 여분의 유효 헤드룸을 산출하고, 상기 여분의 유효 헤드룸을 기반으로 상기 믹싱된 디지털 오디오 스트림을 디지털 오디오 후처리하는 오디오 처리부;를 포함하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  12. 제11항에 있어서,
    상기 오디오 처리부는
    상기 적어도 하나의 오디오 소스에 각각 연관된 오디오 트랙 중 실제 활성화된 오디오 트랙을 검사하고, 상기 적어도 하나의 이득 값을 수집하는 오디오 트랙 검사부;
    상기 수집된 적어도 하나의 이득 값의 대표 이득 값을 산출하고, 산출된 대표 이득 값을 기반으로 여분의 유효 헤드룸을 산출하는 대표 이득 값 확인 및 유효 헤드룸 산출부;
    상기 여분의 유효 헤드룸을 이용하여 상기 디지털 오디오 스트림을 후처리하는 디지털 오디오 후처리부;를 포함하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  13. 제12항에 있어서,
    상기 대표 이득 값 확인 및 유효 헤드룸 산출부는
    상기 적어도 하나의 이득 값들의 평균 값을 대표 이득 값으로 산출하거나, 상기 수집된 적어도 하나의 이득 값 중 가장 큰 값을 대표 이득 값으로 산출하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  14. 제12항에 있어서,
    상기 대표 이득 값 확인 및 유효 헤드룸 산출부는
    여분의 유효 헤드룸을 산출하기 위해 1에서 상기 대표 이득 값을 감산하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  15. 제12항에 있어서,
    상기 디지털 오디오 후처리부는
    상기 응용 프로그램 활성화를 지원하는 단말기의 하드웨어 구성에 따라 정의되는 오디오 신호의 최대 보정 범위를 확인하고, 상기 최대 보정 범위에 상기 유효 헤드룸을 적용하여 상기 디지털 오디오 스트림의 보정을 수행하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  16. 제12항에 있어서,
    상기 오디오 트랙 검사부는
    상기 적어도 하나의 이득 값 수집을 실시간으로 수행되거나, 기 설정된 주기에 따라 수행하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  17. 제12항에 있어서,
    상기 오디오 트랙 검사부는
    새로운 오디오 소스의 재생 및 새로운 오디오 재생이 요구되는 응용 프로그램 활성화 중 적어도 하나가 발생하는 경우 상기 적어도 하나의 이득 값 수집을 수행하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  18. 제12항에 있어서,
    상기 오디오 트랙 검사부는
    이전 재생 중인 오디오 소스의 재생이 종료되거나 응용 프로그램이 종료되는 경우 상기 적어도 하나의 이득 값 수집을 수행하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.
  19. 제12항에 있어서,
    상기 오디오 처리부는
    상기 여분의 유효 헤드룸 적용에 의하여 보정된 디지털 오디오 스트림을 출력하는 오디오 신호 출력부;를 더포함하고,
    상기 단말기는
    상기 디지털 오디오 스트림을 출력하는 출력 기기;를 더 포함하는 것을 특징으로 하는 오디오 신호 처리를 지원하는 단말기.


KR1020120046835A 2012-05-03 2012-05-03 오디오 신호 처리 방법 및 이를 지원하는 단말기 KR101945917B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120046835A KR101945917B1 (ko) 2012-05-03 2012-05-03 오디오 신호 처리 방법 및 이를 지원하는 단말기
AU2013204547A AU2013204547B2 (en) 2012-05-03 2013-04-12 Audio signal processing method and electronic device supporting the same
US13/875,630 US9966914B2 (en) 2012-05-03 2013-05-02 Audio signal processing method and electronic device supporting the same
EP13166471.6A EP2660816B1 (en) 2012-05-03 2013-05-03 Audio signal processing method and electronic device supporting the same
CN201310159659.7A CN103383852B (zh) 2012-05-03 2013-05-03 音频信号处理方法以及支持所述方法的电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120046835A KR101945917B1 (ko) 2012-05-03 2012-05-03 오디오 신호 처리 방법 및 이를 지원하는 단말기

Publications (2)

Publication Number Publication Date
KR20130123593A KR20130123593A (ko) 2013-11-13
KR101945917B1 true KR101945917B1 (ko) 2019-02-08

Family

ID=48326144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046835A KR101945917B1 (ko) 2012-05-03 2012-05-03 오디오 신호 처리 방법 및 이를 지원하는 단말기

Country Status (5)

Country Link
US (1) US9966914B2 (ko)
EP (1) EP2660816B1 (ko)
KR (1) KR101945917B1 (ko)
CN (1) CN103383852B (ko)
AU (1) AU2013204547B2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438193B2 (en) 2013-06-05 2016-09-06 Sonos, Inc. Satellite volume control
US9778899B2 (en) * 2015-02-25 2017-10-03 Intel Corporation Techniques for setting volume level within a tree of cascaded volume controls with variating operating delays
WO2022026481A1 (en) * 2020-07-28 2022-02-03 Sonical Sound Solutions Fully customizable ear worn devices and associated development platform
US12113845B2 (en) * 2021-03-12 2024-10-08 Tencent America LLC Techniques for signaling audio mixing gain in teleconferencing and telepresence for remote terminals

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4357492A (en) * 1980-10-03 1982-11-02 Eugene Campbell Automatic microphone mixing apparatus
US5434922A (en) 1993-04-08 1995-07-18 Miller; Thomas E. Method and apparatus for dynamic sound optimization
JP5337941B2 (ja) 2006-10-16 2013-11-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャネル・パラメータ変換のための装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enrique Perez Gonzalez and Joshua Reiss, ‘Automatic Gain and Fader Control for Live Mixing’, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2009년10월18-21일*

Also Published As

Publication number Publication date
EP2660816A1 (en) 2013-11-06
AU2013204547A1 (en) 2013-11-21
AU2013204547B2 (en) 2015-11-12
US9966914B2 (en) 2018-05-08
US20130294621A1 (en) 2013-11-07
CN103383852A (zh) 2013-11-06
CN103383852B (zh) 2018-11-06
KR20130123593A (ko) 2013-11-13
EP2660816B1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
US9712916B2 (en) Bass enhancement system
US8165321B2 (en) Intelligent clip mixing
JP5018339B2 (ja) 信号処理装置、信号処理方法、プログラム
US9300714B2 (en) Upstream signal processing for client devices in a small-cell wireless network
EP2292144A1 (en) An auditory test and compensation method
CN105103222A (zh) 用于响度和动态范围控制的元数据
KR101945917B1 (ko) 오디오 신호 처리 방법 및 이를 지원하는 단말기
KR101459319B1 (ko) 오디오 볼륨 자동 조절 방법 및 장치
TW201028997A (en) Upstream quality enhancement signal processing for resource constrained client devices
CN109982231B (zh) 一种信息处理方法、设备及存储介质
RU2682422C2 (ru) Звуковая система транспортного средства и способы регулирования настроек эквалайзера приемника в транспортном средстве
CN102255607A (zh) 一种对输出音量进行调节的方法及系统
CN103745734A (zh) 一种设置声音曲线的设备及方法
CN1980054B (zh) 音频处理装置及其音量管理方法
CN107506168A (zh) 音量调节方法、装置、终端设备及存储介质
CN107483734A (zh) 音量调节方法、装置、终端设备及存储介质
US20230230607A1 (en) Automated mixing of audio description
CN106648525A (zh) 一种音频信号的自动增益控制方法和装置
CN103546109A (zh) 远程多方会议音量调整系统及方法
KR102356625B1 (ko) 아날로그 출력의 특성을 향상시키기 위해 이득 제어 및 이득 압축을 수행하는 전자 회로 및 그것을 포함하는 전자 장치
KR101945816B1 (ko) 단말기의 볼륨조절 장치 및 방법
US8934996B2 (en) Transmission apparatus and transmission method
CN113015059B (zh) 音频优化方法、装置、设备及可读存储介质
US20240080608A1 (en) Perceptual enhancement for binaural audio recording
CN117300300A (zh) 电流输出控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant