KR101914312B1 - 감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상 - Google Patents

감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상 Download PDF

Info

Publication number
KR101914312B1
KR101914312B1 KR1020137009031A KR20137009031A KR101914312B1 KR 101914312 B1 KR101914312 B1 KR 101914312B1 KR 1020137009031 A KR1020137009031 A KR 1020137009031A KR 20137009031 A KR20137009031 A KR 20137009031A KR 101914312 B1 KR101914312 B1 KR 101914312B1
Authority
KR
South Korea
Prior art keywords
audio signal
frequency
computer code
sound pressure
curve data
Prior art date
Application number
KR1020137009031A
Other languages
English (en)
Other versions
KR20130106395A (ko
Inventor
마틴 월시
에드워드 스테인
장 마르크 잣
Original Assignee
디티에스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스, 인코포레이티드 filed Critical 디티에스, 인코포레이티드
Publication of KR20130106395A publication Critical patent/KR20130106395A/ko
Application granted granted Critical
Publication of KR101914312B1 publication Critical patent/KR101914312B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/02Manually-operated control
    • H03G5/025Equalizers; Volume or gain control in limited frequency bands
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers without distortion of the input signal
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/005Tone control or bandwidth control in amplifiers of digital signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/16Automatic control
    • H03G5/165Equalizers; Volume or gain control in limited frequency bands
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems

Abstract

입력 오디오 신호는 의도된 청취 음압 레벨, 특정한 재생 장치의 출력 능력, 및 청취자의 고유한 청력 특성에 기초하여 출력 오디오 신호를 형성하도록 균등화된다. 의도된 청취 레벨은 먼저 마스터링 음 레벨 및 오디오 신호의 속성에 기초하여 결정된다. 의도된 청취 레벨은 그 능력 및 임의의 마스터 볼륨 이득에 기초하여 특정한 재생 장치에 대한 최적의 음압 레벨을 결정하는데 이용될 수 있다. 이러한 두 개의 레벨은, 표준화되거나 직접적으로 측정되는, 인간의 청각 인식에 관계된 데이터에 기초하여 개별 주파수를 얼마나 크게 할지를 결정하는데 이용된다. 이러한 오디오 신호는 신호 대역폭을 선택적으로 확장한 이후에, 또다시 표준화되거나 직접적으로 측정되는, 청력 손실 데이터에 기초하여 추가로 보상된다. 마지막으로, 보상된 오디오 신호는 재생을 위해 재생 장치에 보내진다.

Description

감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상{DYNAMIC COMPENSATION OF AUDIO SIGNALS FOR IMPROVED PERCEIVED SPECTRAL IMBALANCES}
관련 출원의 상호 참조
본 출원은 2010년 9월 10일자에 출원된 미국 가특허 출원 제61/381,831호의 우선권을 주장하고, 이것의 내용은 그 전체가 참조용으로 본 명세서에 통합된다.
기술 분야
본 발명은 적응적 필터링(adaptive filtering)을 이용하여 재생을 위한 오디오 신호를 균등화하는 것에 관한 것이다.
오디오 신호는 신호의 스펙트럼 균형 또는 주파수 응답으로 기술될 수 있다. 오디오 신호가 재생 장치에서 플레이될 때, 오디오 신호는 연관된 음압 레벨(sound pressure level; SPL)을 갖는다. 오디오 신호의 이러한 2가지 속성은 논리적으로 독립적이다. 선형 시불변 재현 시스템을 가정하면, 오디오 신호의 음압 레벨을 변경하는 것은 그 신호의 스펙트럼 균형의 객관적 측정에 영향을 미쳐서는 안 된다.
그러나, 주관적인 음향 심리학의 관점으로부터, 음압 레벨의 변경은 신호의 감지된 스펙트럼 균형에 상당한 변경을 야기한다는 것을 관찰한다. 이것은 음압 레벨의 차이에 대한 인간 귀의 감도가 주파수의 함수로서 변하기 때문이다. 예를 들어, 오디오 신호의 음압 레벨이 낮으면, 저주파수의 감지된 음량은 중간 범위의 주파수보다 훨씬 높은 비율로 감소한다.
이러한 현상은 등음량 곡선(equal loudness curve)으로 기술될 수 있다. 도 1은 ISO 표준 226(2003)에 의해 정의된 등음량 곡선을 도시한다. 음량은 폰(phon)의 단위로 측정되고, 1 폰은 1000 Hz(1 kHz)의 주파수에서 1 데시벨(dB)의 음압 레벨(SPL)로 정의된다. 도 1의 각각의 곡선은 주파수에 대해 일관된 음량 레벨을 제공하도록 요구되는 SPL을 나타내고, 이것은 '일반적인' 개인에 의해 감지될 것이다. 도 1은 20 폰씩 증가하여 100 폰까지, 인간 청력 문턱값으로부터 감지된 음량 레벨을 모델링하는 6개의 곡선을 나타낸다. 폰의 정의에 따라, 20 폰의 음량은 1 kHz에서 20 dB의 SPL을 요구하고, 40 폰의 음량은 1 kHz에서 40 dB의 SPL을 요구하는 식임을 유념한다.
또한, 음량 지각(loudness perception)이 노인성 난청으로도 공지된, 나이와 관련된 청력 손실과 같은 환경 및 신체적 특징으로 인해 사람들 간에 달라질 수 있다. '일반적인' 사람에 대한 나이로 인한 증가된 감쇠가 도 2에 도시되어 있고, 이것은 ISO 표준 7029 (2000)에 포함된 데이터로부터 조정된다. 기준 감쇠는 0 dB 감쇠에서 직선으로 표현된, 20살의 일반적인 개인의 청력이다. 도 2에서 볼 수 있는 바와 같이, 일반적인 30살 사람은 단지 대략 1800 Hz 위에서, 20살 사람보다 약간 나쁜 청력을 갖는다. 반대로, 일반적인 60살 사람은 1000 Hz 위의 주파수에서 현저하게 감소된 청력(20 dB 이상 청력 감소)을 갖는다. 따라서, 노인성 난청은 특히 상위 가청 주파수에서 문제가 있고, 매우 나이-의존적이다.
대개, 청취자는 오디오 출력에 균등화 함수(equalization function; EQ)를 적용함으로써 고주파수 및 저주파수의 균형에서 감지된 손실을 대응하기 위한 시도를 할 것이다. 과거에, 저주파수 및 고주파수를 부스트(boost)시키는 그래픽 이퀄라이저를 이용하는 이러한 EQ 함수가 대개 적용되어서, 옥타브 대역 이격된 슬라이더 상에 스마일의 형태를 야기하였다. "웃는 얼굴" EQ는 하위 청취 레벨에서 감지된 스펙트럼을 채우는 것을 잘하지만, 이것은 일반적으로 음압 레벨과는 관계없이 적용된다. 그러므로, 상위 음압 레벨에서, 결과적인 균등화된 사운드 트랙은 저주파수에서 베이스가 매우 무겁고, 상위 주파수에서 매우 날카로운 것으로 감지될 수 있다.
마지막으로, 낮은 비트 레이트(예컨대, mp3)를 위해 인지 코딩 기술을 이용하여 공격적으로 압축되었던 오디오는 인코딩 프로세스의 결과로서 덜 밝거나 낮은 것으로 감지될 수 있다. 이것은 대개 상위 주파수가 대역폭을 절약하기 위해서 걸려졌기 때문이다. 고주파수 EQ를 적용하는 것은, 이러한 상황에 도움을 주지 못 하는데, 오디오가 단순히 상위 주파수 대역에만 존재하는 것이 아니기 때문이다.
하위 레벨에서 플레이되는 오디오 신호의 감지된 스펙트럼 균형에 관한 상기 언급된 문제들은 다음처럼 요약될 수 있다.
음압 레벨의 차이에 대한 인간 귀의 감도가 주파수의 함수로 변하여, 하위 청취 레벨에서 감지된 스펙터럼 불균형을 야기한다.
나이와 관련된 청력 손실은 고주파수 컨텐츠의 더 조용한 감지를 야기한다.
"웃는 얼굴" EQ 곡선의 적용은 하위 청취 레벨에서 감지된 스펙트럼 균형을 보정하는데 도움을 줄 수고, 이것은 또한 상위 청취 레벨에서 과잉 보상을 할 수 있다(보상이 요구되지 않을 때).
하위 비트 레이트 인지 오디오 코딩은 오디오의 낮은 감지를 야기할 수 있다.
임의의 유형의 고주파수 EQ를 적용하는 것은, 하위 비트 레이트 인코딩된 자료를 밝게 할 수 없다.
본 발명의 다양한 실시예들은 SPL 의존적인 적응적 EQ, 선택적 스펙트럼 대역폭 확장, 및 SPL 독립적인 (그러나 청취자 의존적인) EQ의 조합을 이용하여 감지된 스펙트럼 불균형에 대해 플레이 오디오 컨텐츠를 동적으로 보상함으로써 종래 기술의 상기 결함들을 다룬다. 연속 재생 레벨 및 신호 대역폭 분석의 결과로서, 유리하게 플레이 오디오는 요구될 때만 오직 프로세싱된다.
앞서 언급한 바와 같이, 저주파수(< 1000 Hz)에 대한 인간의 감도는 상위 주파수와 상이하여, 출력 이득을 낮추는 것은 대개 매우 낮은 레벨에서 플레이될 때 베이스 주파수가 전혀 들리지 않을 정도로, 베이스의 매우 낮은 감지된 레벨을 야기할 것이다. SPL 균등화는 재생 신호로서 출력하기 위해 입력 오디오 신호의 스펙트럼을 계속해서 적응시킴으로써 작업하여, 재현의 감지된 스펙트럼 균형이 일부 이상적인 모니터링 레벨에서 감지된 스펙트럼 균형에 관하여 유지되도록 한다. 이것은 의도된 청취 레벨 및 실제 청취 레벨에 대해 발생된 등음량 곡선의 상대적인 차이를 계산함으로써 수행된다. 의도된 재생 레벨 및 실제 재생 레벨 간의 차이가 크면 클수록, 감지된 베이스 레벨은 낮아질 것이고, 베이스의 그 감지된 손실을 밸런싱하는데 요구되는 저주파수 EQ는 커질 것이다. SPL 균등화의 기본은 예를 들어, J. Audio Eng. Soc, vol. 26, pp. 526-536 (1978년, 7월-8월)에 있는, 홀먼 등의 "Loudness Compensation: Use and Abuse"에 기술된 바와 같이, 당해 기술에 공지되어 있다. 본 발명의 다양한 실시예들은 이하에 더욱 상세하게 설명되는 바와 같이, 기본 기술을 수정한다.
고주파수 청력 손실은 도 2에 도시된 바와 같이, 주파수가 증가함에 따라 고주파수 청력 예리함의 감소를 야기할 수 있다. 다양한 정도의 청각 장애를 보상하기 위해서, 도 2에 기술된 경향의 반대에 기초하지만, 오디오 신호의 샘플에 직접적으로 기초하지 않는, 청취자 의존적 EQ를 구현한다. 따라서, 원하는 보상의 양이 증가 됨에 따라, 더욱 많은 양으로 고주파수를 부스트하고 더욱 낮은 컷오프 주파수에서 시작한다. 또한, 적용된 고주파수 EQ의 전체 이득이 상위 음압 레벨에서 고주파수 부스트를 과도하게 적용하는 것을 피하도록, 가정된 실제 재생 레벨에 의존적이고, 고주파수 부스트는 다른 식으로 성가시거나 날카로운 것으로 감지될 수 있다.
대역폭 확장 기술은 청취자 의존적 균등화가 적용되지만 제한된 고주파수 컨텐츠로 인해 가청 효과가 적은 경우에 이용될 수 있다. 대체로, 통상적인 오디오 대역폭 확장 알고리즘은 라슨 등의 "Efficient High-Frequency Bandwidth Extension of Music and Speech", AES 제112 컨벤션 (2002년 5월)에 기술된 바와 같은, 비선형 왜곡 및 디에츠 등의 "Spectral Band Replication, a Novel Approach in Audio Coding", AES 제112 컨벤션 (2002년 5월)에 기술된 바와 같은 스펙트럼 대역 복제와 같은, 기술을 이용하여 기존의 저주파수 컨텐츠로부터 추가적인 고주파수 오디오 컨텐츠를 얻는다. 대역폭 확장 및 음량 균등화의 조합으로부터 전체 이점을 획득하기 위해서, 본 발명의 일부 실시예들에서, 대역폭 확장은 고주파수 음량 균등화 전에 적용된다. 대역폭 확장이 오직 필요할 때에만 적용되도록 선택적 대역폭 검출 알고리즘이 입력 신호에 존재하는 고주파수 컨텐츠의 양을 검출하는데 이용될 수 있다.
그러므로, 본 발명의 제1 실시예에서, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법이 제공된다. 방법은, 제1 프로세스에서, 오디오 신호의 일부의 주파수 계수들을 복수의 서브 대역들에 분할하는 단계를 포함하고, 각각의 서브 대역은 하나 이상의 주파수 계수들을 갖는다. 방법은, 복수의 서브 대역들 중 하나 이상에 대해, 일련의 프로세스를 수행하도록 프로세싱 장치를 이용하는 단계를 포함한다. 먼저, 프로세싱 장치는 (i) 미리 결정된 마스터링 음압 레벨 및 (ii) 하나 이상의 서브 대역들의 주파수 계수들에, 부분적으로 기초하여 적어도 하나의 마스터링 신호 크기를 결정한다. 그리고 나서, 프로세싱 장치는 재생 장치의 마스터 볼륨 레벨에 부분적으로 기초하여 적어도 하나의 재생 신호 크기를 결정한다. 다음으로, 프로세싱 장치는 마스터링 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시킨다. 그리고 나서, 프로세싱 장치는 재생 신호 크기에 기초하여 제2 등음량 곡선 데이터를 발생시킨다. 일단 곡선들이 오디오 신호의 특정한 부분에 대해 발생되었으면, 방법은 계속해서 하나 이상의 서브 대역 내에서 제1 등음량 곡선 데이터 및 제2 등음량 곡선 데이터에 기초하여 보상 데이터를 전개시키는 단계, 및 보상 데이터를 이용하여 오디오 신호의 일부의 주파수 계수들을 보상하는 단계로 진행한다.
관련된 방법은 재생 장치에 대한 출력일 수 있는, 균등화된 오디오 신호를 생성하도록 서브 대역들 내에서 보상된 주파수 계수들을 변환하는 단계를 더 포함한다. 오디오 신호는 복수의 부분들로 구성될 수 있고, 각각의 부분에 대해, 적어도 하나의 마스터링 신호 크기를 결정하는 단계, 적어도 하나의 재생 신호 크기를 결정하는 단계, 제1 등음량 곡선 데이터를 발생시키는 단계, 제2 등음량 곡선 데이터를 발생시키는 단계, 보상 데이터를 전개시키는 단계, 및 해당 부분의 주파수 계수emfe을 보상하는 단계를 반복할 수 있다. (이상적인 청취 세팅에 관계된) 제1 등음량 곡선 데이터를 발생시키는 단계는 마스터링 신호 크기에 대해 ISO 226에 따라 등음량 곡선 데이터를 발생시키는 단계, 및 1 kHz에서 0 dB의 이득을 갖도록 발생된 등음량 곡선 데이터를 정규화하는 단계를 포함할 수 있다. 유사하게, (실제 청취 세팅에 관계된) 제2 등음량 곡선 데이터를 발생시키는 단계는 재생 신호 크기에 대해 ISO 226에 따라 등음량 곡선 데이터를 발생시키는 단계, 및 1 kHz에서 0 dB의 이득을 갖도록 발생된 등음량 곡선 데이터를 정규화하는 단계를 포함할 수 있다.
이러한 방법들에 관하여, 마스터링 레벨은 오디오 신호의 기록 동안에 발생되는 지정된 주파수에 대한 피크 레벨일 수 있다. 또한, 하나 이상의 서브 대역들은 예를 들어 1 kHz 아래의 주파수로 제한될 수 있다. 보상 데이터를 결정하는 단계는, 해당 부분의 저주파수 오디오 컨텐츠로부터 추가적인 고주파수 오디오 컨텐츠를 얻어냄으로써 신호의 대역폭을 확장시키는 단계를 포함할 수 있다.
방법은 청취자의 청력 특성에 관계된 수신된 데이터에 기초하여 제2 보상 데이터를 결정하는 단계; 및 제2 보상 데이터에 기초하여 주파수 계수들 중 적어도 하나를 증가시키는 단계에 의해 확장될 수 있다. 이 확장된 방법에서, 주파수 계수들 중 적어도 하나를 증가시키는 단계는 가정된 재생 레벨에 부분적으로 기초할 수 있다. 게다가, 제2 보상 데이터를 결정하는 단계는 함수에 따라 부스트 레벨을 계산하는 단계를 포함할 수 있고, 데이터는 미리 결정된 최대 부스트 레벨을 가질 수 있다.
제2 실시예가 또한 제공되고, 이 제2 실시예에서, 재생 장치에서 재생을 위한 오디오 신호의 균등화를 위한 방법이 제공된다. 이 방법은 앞서와 같이, 오디오 신호를 하나 이상의 주파수 계수들을 포함하는 복수의 서브 대역들로 분할하는 단계를 포함한다. 제2 방법은 재생 장치를 위한 재생 레벨 및 마스터링 음압 레벨에 기초하여 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키는 단계를 더욱 요구한다. 다음으로, 방법은 청취자에 대한 청력 손실 데이터에 기초하여 복수의 서브 대역들 중 하나 이상의 주파수 계수들을 적응시키는 단계를 요구한다. 마지막으로, 방법은 적응된 주파수 계수들을 재생 장치에서 재생하기 위한 균등화된 오디오 신호로 변환하는 단계를 요구한다. 이 방법에 따라, 동적 적응 및 청력 손실을 위한 적응은 마스터링될 때 오디오 신호의 스펙트럼 균형에 비슷한 개별화된 동적으로 균등화된 오디오 신호를 야기한다. 아마도, 오디오 신호를 마스터링하는 음향 기사(sound engineer)는 뛰어난 청취력이 있고, 이 방법은 다른 개인에게 실질적으로 동등한 청취 환경을 제공한다.
관련된 실시예에서, 하나 이상의 서브 대역들의 오디오 크기를 동적으로 적응시키는 것은 1 kHz 아래의 주파수로 제한된다. 동적 적응은 오디오 신호의 각각의 샘플링된 기간 동안에, 4개의 서브 프로세스를 포함할 수 있다. 제1 서브 프로세스는 마스터링 음압 레벨에 부분적으로 기초하여 미리 결정된 주파수에서 의도된 신호 크기를 결정한다. 제2 서브 프로세스는 재생 장치에 대한 최대 음압 레벨 및 재생 장치의 임의의 마스터 볼륨 조정에 부분적으로 기초하여 적어도 하나의 실제 재생 크기를 결정한다. 제3 서브 프로세스는 의도된 신호 크기 및 실제 재생 크기에 기초하여 등음량 곡선 데이터를 발생시킨다. 제4 서브 프로세스는 주파수 계수들 중 하나 이상을 적응시키도록 등음량 곡선 데이터를 적용한다.
다른 관련된 실시예에서, 방법은 사용자의 나이에 기초하여 주파수 계수들을 조정함으로써 확장된다. 따라서, 이러한 확장된 방법은 사용자의 나이를 식별하는 사용자 입력을 수신하는 단계를 포함한다. 그리고 나서, 청력 손실 데이터에 기초하여 하나 이상의 서브 대역들을 적응시키는 단계는, 적어도 제1 주파수 및 함수가 사용자의 수신된 나이에 기초하도록 제1 주파수 및 제2 주파수 간의 함수를 결정하는 단계, 및 결정된 함수에 기초하여 복수의 서브 대역들 중 하나 이상에서 주파수 계수들을 부스팅하는 단계를 포함한다. 서브 대역들을 적응시키는 단계는 또한, 사용자 입력이 함수를 변경하여 주파수 계수들 중 적어도 하나의 부스트를 증가 또는 감소시키도록, 함수의 변수들을 나타내는 사용자 입력을 수신하는 단계를 포함할 수 있다.
다른 관련된 실시예들에서, 방법은 사용자의 응답에 대해 일련의 주파수 기반 음을 생성함으로써 청력 테스트를 수행하는 단계를 포함하여, 복수의 서브 대역들 중 하나 이상을 적응시키는 단계가 청력 테스트에 대한 사용자의 응답에 기초하여 주파수 계수들 중 하나 이상에 대한 부스트 레벨을 결정하는 단계를 포함하도록 한다.
오디오 신호의 균등화를 위한 제3 방법이 또한 제공된다. 이 방법은 오디오 신호를 디지털 표현으로 전환(convert)하는 단계; 정해진 청취자의 청력 특성에 관계된 마스터링 음압 레벨 및 데이터 양자 모두에 기초하여 오디오 신호를 동적으로 조정하도록 디지털 표현을 필터링하는 단계; 및 필터링된 디지털 표현을 재생 장치에서 재생하기 위한 필터링된 오디오 신호로 전환하는 단계를 포함한다.
상기 방법의 일부 또는 전체를 수행하기 위해 컴퓨터 코드를 갖는 비일시적 컴퓨터 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품이 또한 제공된다.
오디오 신호의 균등화를 위한 시스템이 또한 제공되고, 상기 오디오 신호는 복수의 샘플 시간에서 샘플링되는 주파수 계수로 표현된다. 시스템은 (i) 오디오 신호를 수신하고, (ii) 오디오 신호에 대한 실제 재생 음압 레벨 및 의도된 음압 레벨에 기초하여 샘플 시간 동안에 주파수 계수들을 동적으로 적응시키기 위한 음압 레벨 이퀄라이저를 포함한다. 음압 레벨 이퀄라이저는 실제 재생 음압 레벨 및 의도된 음압 레벨에 기초하여 결정된 등음량 곡선 데이터를 이용하여 주파수 계수들을 적응시키기 위한 주파수 계수 조정을 결정한다. 시스템은 또한 청력 손실 보상 데이터를 결정하는 사용자 입력에 기초하여 샘플 시간 동안에 주파수 컴포넌트를 조정하기 위한 청취자 의존 이퀄라이저를 포함한다.
관련된 실시예에서, 시스템은 (i) 샘플 시간 동안에 주파수 계수들에 기초하여 각각의 샘플 시간에서 오디오 신호의 대역폭을 검출하고, (ii) 대역폭을 대표하는 대역폭 신호를 출력하기 위한 대역폭 검출기를 포함한다. 관련된 시스템은 또한 대역폭 신호를 수신하고, (i) 대역폭이 미리 결정된 주파수 아래에 있는 것으로 결정되면 대역폭 확장 모듈에 오디오 신호를 제공하거나, (ii) 대역폭이 샘플 시간 동안에 미리 결정된 주파수 위에 있는 것으로 결정되면 대역폭 확장 모듈을 바이패스하기 위한 논리적 스위치를 포함한다. 대역폭 확장 모듈은 정해진 샘플 시간 동안 오디오 신호 내에 포함된 정보에 기초하여 결정된 대역폭 위의 주파수에서 오디오 신호에 추가적인 주파수 계수들을 더한다.
시스템은 다수 세트의 청취자 의존 곡선 데이터를 포함하고, 사용자 입력에 기초하여 특정한 청취자 의존 곡선 데이터를 청취자 의존 이퀄라이저에 제공하는, 청취자 의존 이퀄라이저와 통신하는, 메모리를 포함할 수 있다. 유사하게, 시스템은 다수 세트의 등음량 곡선 데이터를 포함하고, 실제 재생 음압 레벨 또는 의도된 음압 레벨 중 어느 하나에 기초하여 특정한 등음량 곡선 데이터를 제공하는, 음압 레벨 이퀄라이저와 통신하는, 메모리를 포함할 수 있다. 마지막으로, 시스템은 상이한 주파수에서 일련의 가청 톤을 생성하고, 가청 톤에 응답하여 사용자 입력을 수신하고, 사용자에게 특유한 청력 데이터를 결정하기 위한 청력 테스트 모듈을 포함할 수 있다.
본 발명에 따르면, 감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상이 가능하다.
실시예들의 앞서 말한 기능들은 첨부 도면을 함께 참조하여 이하의 상세한 설명을 참조함으로써 더욱 용이하게 이해될 것이다.
도 1은 ISO 표준 226 (2003)에 의해 정의된 등음량 곡선을 도시한다.
도 2는 ISO 표준 7029 (2000)에 포함된 데이터로부터 적응되는, 나이의 함수로서 청력 문턱값의 통상적인 통계적 분포를 도시한다.
도 3은 출력 오디오 신호를 생성하기 위해 입력 오디오 신호를 필터링하기 위한, 본 발명의 실시예에 의해 수행되는, 균등화 프로세스의 결과를 도시한다.
도 4는 본 발명의 실시예에 따라 입력 오디오 신호의 음량을 동적으로 균등화하는데 이용될 수 있는 기능적 모듈의 배치를 도시하는 블록도이다.
도 5는 도 4의 실시예에 따라 가청 저주파수 및 가청 고주파수 모두에서 음량을 균등화하기 위한 알고리즘을 도시하는 흐름도이다.
도 6은 본 발명의 실시예에 따라 가청 저주파수를 동적으로 균등화하기 위해 피크 신호 레벨과 입력 오디오 신호 레벨 사이의 dB 오프셋을 계산하는 것과 연관된 개념을 나타낸다.
도 7a는 마스터링 사운드에 가깝게 되도록 도 6의 개념을 적용하는 방법을 도시한다.
도 7b는 입력 오디오 신호의 청취자가 듣고자 하는 음압 레벨에 가깝게 되도록 도 6의 개념을 적용하는 방법을 도시한다.
도 8은 개별 청취자의 청력 손실의 특성을 보상하기 위해 오디오 신호를 균등화하도록 본 발명의 실시예에 따라 수정되는 도 2를 도시한다.
정의. 이 설명 및 첨부 특허청구 범위에서 이용되는 바와 같이, 다음 용어들은 문맥이 달리 요구하지 않는 한, 표시된 의미를 갖는다.
연속적인 (아날로그) 오디오 신호는 디지털 데이터 스트림을 형성하도록 "샘플링 주파수"에서 디지털 방식으로 샘플링될 수 있다. 공통 샘플링 주파수는 MP3를 포함하는 MPEG-1 오디오에서 이용되는 44.1 kHz; SDI와 같은 다양한 전문적 디지털 비디오 표준에서 이용되는 48 kHz; 및 DVD 오디오, 블루-레이 오디오, 및 HD-DVD 오디오에서 이용하기 위한 96 kHz를 포함한다. 디지털 데이터는 오디오 신호의 샘플들 간의 시간으로 정의된 "샘플링 기간"을 표현한다.
샘플링 기간의 디지털 데이터는 이산 코사인 변환(discrete cosine transformation; DCT)과 같은, 잘 공지된 변환을 이용하여 시간 기반 표현("시간 도메인")을 주파수 기반 표현("주파수 도메인")으로 변환될 수 있다. 시간 도메인의 데이터 값은 (예를 들어) 전압 크기의 시퀀스를 표현할 수 있고, 주파수 도메인의 데이터 값은 샘플 기간 동안에 오디오 신호에 존재하는 주파수들의 크기를 표현할 수 있다. 주파수 도메인에서 이와 같은 데이터 값은 "주파수 계수"로서 본 명세서에서 나타난다.
본 발명의 다양한 실시예들은 오디오 컨텐츠에 의존하는 제1 프로세스 및 오디오 컨텐츠에 의존하지 않는 제2 프로세스의 조합을 이용하여 감지된 스펙트럼 불균형을 위해 오디오 컨텐츠를 동적으로 보상한다. 제1 프로세스에서, SPL 의존 EQ들이 오디오 재생 장치의 출력 SPL과 앞선 시간에 바람직하게는 마스터링 동안에 오디오 신호에 대한 오디오 신호의 SPL 간의 차이를 보정하도록 오디오 신호에 적응적으로 적용된다. 제2 프로세스에서, 오디오 신호의 특정한 SPL과 관계없이, 고정된 균등화가 노인성 난청과 같은, 청취자의 청력 특성을 보상하도록 적용된다. 선택적으로, 제3 프로세스에서, 상위 주파수에서 음질을 향상시키도록 청취자 의존 EQ를 적용하기 전에 오디오 신호의 스펙트럼 대역폭이 확장된다.
도 3은 본 발명의 실시예에 의해 수행되는 균등화 프로세스의 결과를 도시한다. 실선 곡선(301)은 주파수 도메인에서 입력 오디오 신호 부분을 나타낸다. 점선 곡선(302)은 입력 오디오 신호(301)에 대한 선택적 대역폭 확장을 나타낸다. 점선 곡선(303)은 실시예에 의해 발생된 출력 오디오 신호를 나타낸다. 출력 곡선(303)은 대역폭 확장(302)으로 인해서 (비확장된) 입력 신호(301)보다 상위 주파수로 확장된다는 것을 유념한다.
도면의 왼편에서의 갭(304)은 도 4 내지 도 7과 함께 이하에서 더욱 충분히 기술되는 바와 같이, SPL 의존 필터링의 효과를 나타낸다. 도 3에서, 이 갭은 "녹음실" 볼륨과 재생 볼륨 간의 차이를 동적으로 보상하도록 하위 주파수들 중 일부에서 SPL의 작은 증가를 나타낸다. 도면 오른편에서의 갭(305)은 도 8과 함께 이하에서 더욱 충분히 기술되는 바와 같이, 청취자 의존 (SPL 독립) 필터링의 효과를 나타낸다. 청취자 의존 필터링은 입력 오디오 신호와 관계없이 청력 손실 및 다른 청취자의 청각(auditory) 특성을 주로 보상하는데 이용된다.
도 3에 도시된 곡선들(301, 303)은 실질적으로 중간 주파수 범위에서 오버랩하고 저주파수 범위 및 고주파수 범위에서 상이하지만, 이러한 묘사는 SPL 의존 필터링과 청취자 의존 필터링 간의 차이를 예시하는데만 이용된다. 특히, SPL 의존 필터링은 일반적으로 상위 주파수보다 하위 주파수에 더욱 영향을 미치고, SPL 독립 필터링은 일반적으로 하위 주파수보다 상위 주파수에 영향을 미친다. 그러나, 이하에 기술되는 바와 같이, 2개의 필터링 효과는 가청 스펙트럼 중 일부 또는 전체에 걸쳐 오버랩될 수 있으므로, 도 3은 비오버랩 필터로 본 발명의 범위를 제한하는 것으로 보여져서는 안 된다.
앞서 개략적으로 서술된 전체 해결책의 일반화된 도면이 도 4에 예시된다. 대역폭 검출 알고리즘(402)이 대역폭 확장이 정당한 것인지를 평가하기 위해서 입력 오디오 신호(401)에 적용된다. 정당한 것이라면, 선택적 대역폭 확장(403)이 점선으로 표시된 바와 같이, 적용된다. 이 대역폭 확장은 저주파수 오디오 컨텐츠로부터 추가적인 고주파수 오디오 컨텐츠를 얻는다. 이 대역폭 확장 알고리즘은 당해 기술에 공지된 다수의 알고리즘들 중 하나일 수 있다. 출판된 알고리즘의 완벽한 개요를 위해 라슨 등의 "Audio Bandwidth Extension: Application of Psvchoacoustics, Signal Processing and Loudspeaker Design" (Wiley, 2004)를 참조하라. 본 발명의 다른 실시예들에서, 대역폭 확장은 항상 수행되지만, 다른 실시예들에서, 대역폭 확장은 항상 수행되지 않는다.
대역폭 확장(403)이 적용되는 아니든, 신호는 SPL 의존 음량 균등화 단계(404) 및 청취자 의존 음량 균등화 단계(405)에 의해 더욱 프로세싱된다. 이러한 단계들은 별도의 균등화 함수들을 적용하는데, 균등화 함수들 그 자신들은 SPL의 가정된 의도된 청취 레벨 및 실제 청취 레벨(더욱 낮은 것으로 가정됨) 간의 예측된 차이의 함수이다. EQ 곡선은 또한 사용자 성능이 고주파수 대역 및 저주파수 대역에서 거의 공격적이 되도록 수정될 수 있다. 이러한 균등화 함수를 적용한 결과는 출력을 위해 재생 장치에 공급될 수 있는 출력 오디오 신호(406)이다. 재생 장치로부터의 마스터 재생 볼륨(410)은 균등화 프로세스(404, 405) 중 하나 또는 양자 모두에서 입력으로 이용된다.
통상적으로, 도 4의 프로세스들은 컴퓨터 프로그램 코드의 형태의 소프트웨어, 컴퓨터 하드웨어, 전문화된 하드웨어, 또는 이들의 조합을 포함하는 프로세싱 장치 또는 시스템에 구현될 것이다. 이와 같은 프로세싱 장치는, 프로세스(402)와 관련되어 앞서 기술된 바와 같이, 샘플 시간 동안 주파수 계수에 기초하여 각각의 샘플 시간에서 입력 오디오 신호의 대역폭을 검출하고, 대역폭을 대표하는 대역폭 신호를 출력하기 위한 대역폭 검출기를 포함할 수 있다. 프로세싱 장치는 또한 대역폭 신호를 수신하기 위한 논리적 스위치를 포함할 수 있다. 대역폭이 미리 결정된 주파수 아래에 있는 것으로 결정되면, 이 스위치는 오디오 신호가 대역폭 확장 모듈에 제공되도록 한다. 프로세스(403)와 관련되어 앞서 기술된, 대역폭 확장 모듈은, 정해진 샘플 시간 동안 오디오 신호 내에 포함된 정보에 기초하여 결정된 대역폭 위의 주파수에서 오디오 신호에 추가적인 주파수 계수를 더할 수 있다. 그러나, 대역폭이 샘플 시간 동안 미리 결정된 주파수 위에 있는 것으로 결정되면, 이 스위치는 오디오 신호가 대역폭 확장 모듈을 바이패스하도록 한다.
본 발명을 실시하는 시스템은 또한 오디오 신호를 수신하고, 오디오 신호에 대한 의도된 음압 레벨 및 실제 재생 음압 레벨에 기초하여 샘플 시간 동안에 주파수 계수를 동적으로 적응시키기 위한 SPL 의존 이퀄라이저를 포함할 수 있다. 음압 레벨 이퀄라이저는 실제 재생 음압 레벨 및 의도된 음압 레벨에 기초하여 결정된 등음량 곡선 데이터를 이용하여 주파수 계수를 적응시키기 위한 주파수 계수 조정을 결정한다. 시스템은 또한 청력 손실 보상 데이터를 결정하는 사용자 입력에 기초하여 샘플 시간 동안에 주파수 컴포넌트를 조정하기 위한 청취자 의존 이퀄라이저를 포함할 수 있다.
이와 같은 시스템은 다수 세트의 청취자 의존 곡선 데이터를 포함하고, 사용자 입력에 기초하여 특정한 청취자 의존 곡선 데이터를 청취자 의존 이퀄라이저에 제공하는, 청취자 의존 이퀄라이저와 통신하는, 메모리로 구현될 수 있다. 유사하게, 시스템은 다수 세트의 등음량 곡선 데이터를 포함하고, 실제 재생 음압 레벨 또는 의도된 음압 레벨 중 어느 하나에 기초하여 특정한 등음량 곡선 데이터를 제공하는, 음압 레벨 이퀄라이저와 통신하는 메모리를 가질 수 있다. 이하에 기술되는 본 발명의 일부 대안적인 실시예들에 따라, 시스템은 상이한 주파수에서 일련의 가청 톤을 생성하고, 가청 톤에 응답하여 사용자 입력을 수신하고, 사용자에게 특유한 청력 데이터를 결정하기 위한 청력 테스트 모듈을 포함할 수 있다. 이러한 데이터는 사용자가 듣는 등음량 곡선에 관계된 데이터, 또는 사용자에 대한 청력 손실 데이터, 또는 이들 모두를 포함할 수 있다.
본 발명의 일 실시예에서 음량 균등화를 구현하기 위한 흐름도가 도 5에 도시된다. 간단히, 이 실시예는 마스터링 스튜디오와 같은 깨끗한 환경에서, 목표 오디오 샘플의 SPL과 환경의 최대 SPL 간의 차이를 결정함으로써 작동된다. 그리고 나서, 이 차이는 재생 환경에서 재생을 위한 출력 신호를 생성하고, 마스터 재생 볼륨 레벨에 의해 생성된 임의의 이득 및 재생 장치 자신의 최대 SPL을 고려함으로써 복제된다.
의도된 피크 음압 레벨(예컨대, 마스터링 레벨에서 플레이되는 핑크 노이즈 또는 브라운 노이즈의 피크 레벨), 소비자의 재생 장치의 실제 피크 음압 레벨 능력 및 마스터 볼륨 레벨의 가정된 지식을 이용하여 시작한다. 이 정보는 가까이 있는 임의의 수단을 이용하여 획득될 수 있다. 예를 들어, 피크 마스터링 SPL은 입력 오디오 데이터 스트림으로 인코딩되거나, 재생 장치 내에 수동으로 입력될 수 있다. 비제한적인 예로서, 마스터링에서 피크 SPL은, 레코딩 엔지니어에 의한 오디오 신호의 기록 동안에, 대략 85 dB SPL인 것으로 결정될 수 있다. 반면에, 청취자 재생 장치의 피크 SPL은, 오직 장치의 함수이고, 그에 따라 임의의 특정한 입력 오디오 신호와 관계가 없다. 일 실시예에서, 도 5의 방법은 증폭기, 또는 외부 스피커에 연결된 다른 장치 내에서 수행되고, 피크 SPL은 예를 들어 일체형 스피커를 갖는 랩탑 컴퓨터에서 전력 그 자체를 비롯한, 증폭기의 하드웨어 특성에 기초하여 결정될 수 있어서, 재생 장치의 피크 SPL은 제조자가 미리 설정한 값을 찾거나, 스피커 특성에 컴퓨터 모델을 연결하는 데이터베이스를 찾음으로써 직접적으로 결정될 수 있도록 한다.
도 5의 방법은 프로세스(501)에서 시작하고, 이 프로세스(501)에서, 입력 오디오 신호의 일부는 64 대역 오버샘플 다상 분석 필터 뱅크를 이용하여 복소 주파수 도메인 표현으로 변환된다. 다른 유형의 필터 뱅크가 이용될 수 있다. 상이한 수의 주파수 대역이 또한 이용될 수 있다. 여기서 기술되는 구현에서, 분석 필터 뱅크는 64개의 시간 도메인 입력 샘플의 각각의 블록에 대해 64개의 주파수 도메인 샘플의 블록을 추출하여, 그에 의해 복수의 서브 대역들을 형성하도록 주파수 계수들을 분할한다.
프로세스(502)에서, 입력 데이터에 적용된 임의의 공지된 마스터 볼륨 이득이 '취소'된다. 이렇게 함으로써, 의도된 컨텐츠 의존 마스터링 레벨을 더욱 잘 추정할 수 있다. 프로세스(503)에서, 저주파수 (< 1 kHz) 주파수 스펙트럼은, 예를 들어, 당해 기술에 공지된 바와 같이 누설 적분기(leaky integrator)를 이용하여 시간에 대해 평균화함으로써 매끈하게 된다.
프로세스(504)에서, 의도된 컨텐츠 의존 레벨은 데이터의 현재 프레임의 평균 저주파수 크기를 얻고, 가정된 피크 또는 '실척(full-scale)' 크기로부터 그 오프셋을 계산함으로써 추정된다. 이 프로세스(504)의 효과가 도 6에 시각적으로 예시된다. 입력 오디오 신호의 특정한 부분의 주파수 스펙트럼이 곡선(601)으로 도시된다. 이 부분의 저주파수 스펙트럼은, 이 경우에 1 kHz인 컷오프 주파수까지의 주파수에 의해 정의된다. 이 주파수들의 평균 크기(602)는 프로세스(503)의 출력이다. 도 6은 또한 가정된 피크 마스터링 SPL(603)을 도시한다. 프로세스(504)의 목적은 오디오 신호의 정해진 부분의 저주파수 평균(602)과 피크 마스터링 SPL(603) 간의 갭(604)의 크기를 결정하는 것이다.
도 7a는 이러한 프로세스의 구현에 더욱 상세한 사항을 제공한다. 도 7a는 입력 오디오 신호(601)의 주파수 스펙트럼의 일부, 저주파수 평균 크기(602), 및 가정된 피크 마스터링 SPL(603)을 도시한다. 프로세스(504)는 "M" dB SPL 값의 피크 마스터링 SPL(603) 및 "X" dB SPL 값의 차이(604)를 할당한다. 그러므로, '의도된' 마스터링 레벨이 (M-X) dB SPL에서 발생한다. X의 값은 가정된 피크 크기(603)로부터 저주파수 평균(602)을 차감함으로써 결정될 수 있다.
원하는 재생 SPL(701)은 도 7b에 도시되고 이제 기술되는 바와 같이, X의 값에 기초하여 결정된다. 먼저, 피크 재생 장치 SPL(702)은 "P" dB SPL의 값으로 할당되고, 재생에 적용되는 임의의 마스터 볼륨 이득(703)은 "V" dB SPL의 값으로 할당된다. 재생 장치 피크 SPL(P dB)은 통상적으로 마스터링 피크 SPL(M dB)보다 높다는 것을 유념하라. 출력 신호의 원하는 효과적인 음압 레벨(701)은 (P-X-V) dB SPL인 것으로 계산된다. 따라서, 원하는 출력 오디오 신호 레벨(701)은, 그것이 마스터 볼륨 이득(703)에 의해 부스팅될 때, 그것이 재생 장치의 최대 출력 레벨(702) 아래의 X dB인 것처럼 들리도록 선택된다. 이러한 계산의 효과는, 오디오 신호가 이상적인 녹음실 및 청취자의 재생 장치 모두에서 동일한 양(도 7a 및 도 7b 모두에서 요소(604)인, X dB)에 의해 관련 있는 피크 SPL보다 '더 조용하게' 들린다는 것이다.
그러나, 앞서 주목한 바와 같이, 음압 레벨의 차이에 대한 인간 귀의 감도는 주파수의 함수로 변하여, 하위 청취 레벨에서 감지된 주파수 불균형을 야기한다. 따라서, 이러한 공식에 따라 모든 주파수에 걸쳐 동일하게 음압 레벨을 간단히 낮추는 것은(예컨대, 다양한 주파수 빈(frequency bin)의 각각에서 주파수 계수를 동일하게 낮춤으로써), 잘못 감지된 주파수 균형을 생성할 것이다. 이러한 상황은 프로세스들(505-507)을 적용함으로써 예시된 실시예들에서 유리하게 방지된다.
따라서, 도 5로 되돌아 가면, 프로세스(505)에서, 등음량 곡선 데이터가 도 7a 및 도 7b의 (M-X) dB SPL 및 (P-X-V) dB SPL로 표현된, 의도된 SPL 및 재생 SPL에 대해 발생된다. 통상적으로, 등음량 곡선 데이터를 발생시키는 것은 앞서 인용된 바와 같이, ISO 226을 참조함으로써 행해진다. 표준 레벨 간의 음압 레벨에 대한 데이터가, 예를 들어 보간(interpolation)에 의해 계산될 수 있다. 그러나, 일부 실시예들에서, 프로세싱 장치에는 각각의 청취자의 청력을 직접적으로 테스트하는 등음량 테스팅 모듈이 장착될 수 있다. 이러한 대안적인 실시예는 정해진 청취자가 등음량을 감지하는 방법에 완벽하게 일치하는 등음량 곡선을 생성하고, 비교에 의해 더욱 대충 만들어지는 표준화된 ISO 데이터의 이용을 피할 수 있다. 이와 같은 실시예는 상이한 청취자 프로파일을 이용하여 제공될 수 있고, 여기서 각각의 프로파일은 상이한 청취자의 청력 특성에 관한 데이터를 포함한다.
프로세스(506)에서, 등음량 곡선의 값은 1 kHz에서 OdB의 이득을 갖도록 정규화된다. 이러한 프로세스는 당해 기술에 공지된 스케일링 계산에 의해 수행될 수 있다. 프로세스(506)에서 또한, EQ 값의 형태인 오디오 신호 보상 데이터(예컨대, 각각의 주파수 빈에 대한 주파수 계수)가 2개의 등음량 곡선에 기초하여 전개된다. 일 실시예에서, 이것은 각각의 주파수 빈에 걸쳐 정규화된 등음량 곡선(dB 단위)의 차이를 계산함으로써 행해진다. 그리고 나서, 프로세스(507)에서, 프로세스(506)로 기인하는 EQ 값은 오디오 신호에 직접적으로 적용하기 위해 대수 데시벨 스케일(logarithmic decibel scale)로부터 선형 스케일로 전환된다. 이 값은 이제 소비자의 장비 상에서 플레이될 때 오디오가 마스터링 레벨에서 들려지는 것과 같은 감지된 저주파수 균형을 갖도록 요구되는 선형 EQ를 나타낸다.
위의 조정은 적당하게 큰 소리인 것으로서 완벽한 청력을 갖는 사용자에 의해 감지되는 출력 오디오 신호를 생성하기 위한 목적을 위해 입력 오디오 신호에 응답하여 동적으로 만들어진다. 그러나, 모든 청취자들이 완벽한 청력을 갖는 것은 아니다. 따라서, 프로세스(508)에서 결정되는, 청취자 의존 EQ로 이제 발전한다.
도 8을 참조하면, 청취자 의존 EQ는 청취자에 의해 조정 가능한 직선 그래프에 기초한다. 이러한 직선의 특성은 청취자의 난청(hearing impairment)을 보상하도록 요구되는 곡선 행동을 모방하고, 일반적으로 상위 주파수에서 음 레벨을 부스트하도록 동작한다. 따라서, 완벽한 청력를 갖는 20살 사람의 경우, 어떠한 보상도 요구되거나 적용되지 않는다. 30살 사람의 경우, 직선 곡선(801)이 적용될 수 있다.
EQ 곡선은 최대 부스트 레벨(802)(예를 들어, 12 dB) 및 0 dB의 최소 이득을 갖도록 제한될 수 있다. 40살 사람의 경우, EQ 곡선(803)은 최대 이득 라인(802)과의 교차점까지의 주파수에 적용될 수 있고, 그리고 나서 평평한 12 dB 이득이 상위 주파수에 대해 곡선(802)을 따라 적용된다. 50살 사람의 경우, 곡선(804) 및 곡선(802)의 일부가 이런 방식으로 함께 적용될 수 있다. 그리고, 60살 사람의 경우, 곡선(805) 및 곡선(802)이 함께 적용될 수 있다.
도 8의 곡선들(801, 803-805)이 ISO 표준에 기초하지만, EQ 곡선 특성은 EQ의 기울기 및 주파수 인터셉트를 수정하는 사용자 파라미터를 이용하여 거의 공격적이 되도록 수정될 수 있다. 따라서, 직선 곡선들은 정해진 청취자의 청력 손실 특성으로 조정될 수 있다. 대안적으로, 프로세싱 장치는 청취자의 나이를 식별하는 사용자 입력을 수신하고, 수신된 나이에 기초하여 적절한 곡선을 계산할 수 있다.
더욱 높은 정확도를 위해, 프로세싱 장치에는 청취자의 등음량 청력 특성을 결정하는 것과 유사한 방식으로, 청취자의 정확한 청력 손실 특성을 결정하기 위한 청력 손실 테스팅 모듈이 장착될 수 있다. 이 모듈은 정해진 주파수에서 일련의 음을 생성함으로써 청력 테스트를 수행하고, 그 주파수에서 사용자는 음이 들리기 시작할 때 응답한다. 그리고 나서, EQ 곡선은 청력 테스트에 대한 사용자의 응답에 기초한다. 비슷하게, 프로세싱 장치는 각각이 특정한 청취자에 관한 청력 손실 데이터를 포함하는 일련의 청취자 프로파일들을 포함할 수 있다.
다시 한번 도 5를 참조하면, 프로세스(509)에서, SPL 의존 및 청취자 의존 보상 EQ 곡선이 조합되어 조합된 보상 데이터를 형성한다. EQ 곡선은 또한 높은 청취 레벨에 적용되는 이득이 매우 높은 것을 방지하기 위해서, 가정된 청취 레벨의 함수인 주파수 독립 이득에 의해 영향을 받는다. 프로세스(510)에서, 입력 샘플의 주파수 계수들은 조합된 보상 데이터를 이용하여 보상된다. 따라서, 당해 기술에 공지된 방법에 따라 출력 오디오 신호를 생성하도록 EQ가 (주파수 도메인에서)입력 오디오 신호에 적용된다. 통상적으로, EQ의 적용은 청취자 의존 보상 데이터에 기초하여 주파수 계수들 중 적어도 하나를 증가시키는 것을 포함한다. 마지막으로, 프로세스(511)에서, 결과적인 복소 대역 계수가 재결합되어, 시간 도메인으로 변환되며, 64 대역 합성 뱅크 또는 등가의 주파수 대 시간 도메인 필터를 이용하여 출력 샘플 블록이 균등화된다. 도 5의 이러한 프로세스들은 각각의 입력 샘플 블록에 대해 반복될 수 있다. 그리고 나서, 균등화된 오디오 신호는 재생을 위해 재생 장치에 출력될 수 있다.
앞서 기술된 본 발명의 실시예들은 오직 예시적인 것으로 의도되고, 다양한 변화 및 수정이 당해 기술 분야의 당업자에게 명백할 것이다. 모든 변화 및 수정은 임의의 첨부된 특허청구범위에 정의된 바와 같이 본 발명의 범위 내에 있는 것으로 의도된다.
로직 흐름도는 본 발명의 다양한 양태들을 입증하기 위해서 본 명세서에서 이용된 것임을 유념해야 하고, 임의의 특정한 로직 흐름 또는 로직 구현으로 본 발명을 제한하는 것으로 이해되어서는 안 된다. 기술된 로직은 전체적인 결과를 변경하지 않거나, 본 발명의 진정한 범위를 달리 벗어남 없이, 상이한 로직 블록들(예컨대, 프로그램, 모듈, 함수, 또는 서브루틴)로 분할될 수 있다. 대부분의 경우, 로직 요소들은 전체적인 결과를 변경하지 않거나, 본 발명의 진정한 범위를 달리 벗어남 없이, 추가되거나, 변경되거나, 생략되거나, 다른 순서로 수행되거나, 또는 상이한 로직 구성(예컨대, 로직 게이트, 루핑 프리미티브, 조건적 로직, 및 다른 로직 구성)을 이용하여 구현될 수 있다.
본 발명은, 프로세서(예컨대, 마이크로프로세서, 마이크로제어기, 디지털 신호 프로세서, 또는 범용 컴퓨터)로 이용하기 위한 컴퓨터 프로그램 로직, 프로그램 가능 로직 장치(예컨대, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 다른 PLD)로 이용하기 위한 프로그램 가능 로직, 개별 컴포넌트, 집적 회로(예컨대, 주문형 반도체(ASIC)), 또는 이들의 임의의 조합을 포함하는 임의의 다른 수단들을 포함하지만 결코 이들로 제한되지 않는, 다수의 상이한 유형으로 실시될 수 있다.
본 명세서에서 이전에 기술된 기능의 전체 또는 일부를 구현하는 컴퓨터 프로그램 로직은, 소스 코드 형태, 컴퓨터 실행 가능 형태, 및 다양한 중간 형태(예컨대, 어셈블러, 컴파일러, 링커, 또는 로케이터에 의해 발생되는 형태)를 포함하지만 결코 이들로 제한되지 않는, 다양한 형태로 실시될 수 있다. 소스 코드는 다양한 운영 시스템 또는 동작 환경에서 이용하기 위한 다양한 프로그래밍 언어(예컨대, 목적 코드, 어셈블리 언어, 또는 포트란, C, C++, JAVA, 또는 HTML과 같은 고급 언어) 중 임의의 언어로 구현될 수 있는 일련의 컴퓨터 프로그램 명령을 포함할 수 있다. 소스 코드는 다양한 데이터 구조 및 통신 메시지를 정의하고 이용할 수 있다. 소스 코드는 (예컨대, 인터프리터를 경유하여) 컴퓨터 실행 가능한 형태로 있거나, 또는 소스 코드는 (예컨대, 번역기, 어셈블러, 또는 컴파일러를 경유하여) 컴퓨터 실행 가능한 형태로 전환될 수 있다.
컴퓨터 프로그램 또는 임의의 프로그램 가능 로직은 반도체 메모리 장치(예컨대, RAM, ROM, PROM, EEPROM, 또는 플래시 프로그램 가능 RAM), 자성 메모리 장치(예컨대, 디스켓 또는 고정 디스크), 광학 메모리 장치(예컨대, CD-ROM), PC 카드(예컨대, PCMCIA 카드), 또는 다른 메모리 장치와 같은, 비일시적 저장 매체에서 임의의 형태(예컨대, 소스 코드 형태, 컴퓨터 실행 가능 형태, 또는 중간 형태)로 고정될 수 있다. 컴퓨터 프로그램은 인쇄형 또는 전자 문서화(예컨대, 축소 포장 소프트웨어)를 동반하는 제거 가능한 저장 매체와 같은 임의의 형태에 분산되거나, 컴퓨터 시스템(예컨대, 시스템 ROM 또는 고정 디스크 상에)으로 사전에 로드되거나, 통신 시스템(예를 들어, 인터넷 또는 월드 와이드 웹)을 통해 서버 또는 전자 게시판으로부터 분산될 수 있다.
본 명세서에서 이전에 기술된 기능의 전체 또는 일부를 구현하는 하드웨어 로직(프로그램 가능 로직 장치로 이용하기 위한 프로그램 가능 로직을 포함함)은 종래의 수동 방법을 이용하여 설계되거나, 컴퓨터 이용 설계(CAD), 하드웨어 기술 언어(예컨대, VHDL 또는 AHDL), 또는 PLD 프로그래밍 언어(예컨대, PALASM, ABEL, 또는 CUPL)와 같은, 다양한 툴들을 이용하여 전자적으로 설계되거나, 캡처되거나, 시뮬레이션되거나, 또는 문서화될 수 있다.

Claims (45)

  1. 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법에 있어서,
    상기 오디오 신호의 일부분의 주파수 계수들을 복수의 서브 대역들로 분할하는 단계로서, 각각의 서브 대역은 하나 이상의 주파수 계수들을 갖는 것인, 상기 분할하는 단계;
    상기 복수의 서브 대역들 중 하나 이상에 대해,
    a) (i) 마스터링될 때의 상기 오디오 신호의 미리 결정된 마스터링 음압 레벨 및 (ii) 상기 하나 이상의 서브 대역들의 주파수 계수들에, 부분적으로 기초하여 적어도 하나의 마스터링 신호 크기를 결정하고,
    b) 재생 장치의 마스터 볼륨 레벨에 부분적으로 기초하여 적어도 하나의 재생 신호 크기를 결정하고,
    c) 상기 마스터링 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시키며,
    d) 상기 재생 신호 크기에 기초하여 제2 등음량 곡선 데이터를 발생시키도록,
    상기 프로세싱 장치를 이용하는 단계;
    상기 하나 이상의 서브 대역들 내에서 상기 제1 등음량 곡선 데이터 및 상기 제2 등음량 곡선 데이터에 기초하여 보상 데이터를 전개시키는 단계; 및
    상기 보상 데이터를 이용하여 상기 오디오 신호의 일부분의 상기 주파수 계수들을 보상하는 단계
    를 포함하는 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  2. 제1항에 있어서,
    균등화된 오디오 신호를 생성하도록 상기 서브 대역들 내에서 상기 보상된 주파수 계수들을 변환(transform)하는 단계
    를 더 포함하는 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  3. 제2항에 있어서,
    상기 균등화된 오디오 신호를 상기 재생 장치에 출력하는 단계
    를 더 포함하는 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  4. 제1항에 있어서, 상기 오디오 신호는 복수의 부분들로 구성되고,
    상기 방법은,
    상기 복수의 부분들의 각각의 부분에 대해, 적어도 하나의 마스터링 신호 크기를 결정하는 단계, 적어도 하나의 재생 신호 크기를 결정하는 단계, 제1 등음량 곡선 데이터를 발생시키는 단계, 제2 등음량 곡선 데이터를 발생시키는 단계, 보상 데이터를 전개시키는 단계, 및 상기 부분의 주파수 계수들을 보상하는 단계를 반복하는 단계
    를 더 포함하는 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  5. 제1항에 있어서, 상기 제1 등음량 곡선 데이터를 발생시키는 단계는,
    상기 마스터링 신호 크기에 대해 ISO 226에 따라 등음량 곡선 데이터를 발생시키는 단계; 및
    1 kHz에서 0 dB의 이득을 갖도록 상기 발생된 등음량 곡선 데이터를 정규화하는 단계
    를 포함하는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  6. 제1항에 있어서, 상기 제2 등음량 곡선 데이터를 발생시키는 단계는,
    상기 재생 신호 크기에 대해 ISO 226에 따라 등음량 곡선 데이터를 발생시키는 단계; 및
    1 kHz에서 0 dB의 이득을 갖도록 상기 발생된 등음량 곡선 데이터를 정규화하는 단계
    를 포함하는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  7. 제1항에 있어서, 상기 마스터링 음압 레벨은 상기 오디오 신호의 기록 동안에 발생되는 지정된 주파수에 대한 피크 레벨인 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  8. 제1항에 있어서, 상기 하나 이상의 서브 대역들은 1 kHz 아래의 주파수로 제한되는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  9. 제1항에 있어서, 상기 보상 데이터를 결정하는 단계는, 상기 부분의 저주파수 오디오 컨텐츠로부터 추가적인 고주파수 오디오 컨텐츠를 얻어내는 단계를 포함하는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  10. 제1항에 있어서,
    청취자의 청력 특성에 관계된 수신된 데이터에 기초하여 제2 보상 데이터를 결정하는 단계; 및
    상기 제2 보상 데이터에 기초하여 상기 주파수 계수들 중 적어도 하나를 증가시키는 단계
    를 더 포함하는 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  11. 제10항에 있어서, 상기 주파수 계수들 중 적어도 하나를 증가시키는 단계는, 가정된 재생 레벨에 부분적으로 기초하는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  12. 제10항에 있어서, 상기 제2 보상 데이터를 결정하는 단계는, 함수에 따라 부스트 레벨(boost level)을 계산하는 단계를 포함하는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  13. 제12항에 있어서, 상기 제2 보상 데이터는 미리 결정된 최대 부스트 레벨을 갖는 것인, 프로세싱 장치 내에서 오디오 신호를 균등화하는 방법.
  14. 재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 방법에 있어서,
    상기 오디오 신호를 하나 이상의 주파수 계수들을 포함하는 복수의 서브 대역들로 분할하는 단계;
    상기 재생 장치를 위한 재생 레벨 및 마스터링될 때의 상기 오디오 신호의 마스터링 음압 레벨에 기초하여 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키는 단계;
    청취자에 대한 청력 손실 데이터에 기초하여 상기 복수의 서브 대역들 중 하나 이상의 상기 주파수 계수들을 적응시키는 단계; 및
    상기 적응된 주파수 계수들을 상기 재생 장치에서 재생하기 위한 균등화된 오디오 신호로 변환하는 단계
    를 포함하고, 상기 동적 적응 및 상기 청력 손실에 대한 적응은, 마스터링될 때 상기 오디오 신호의 스펙트럼 균형에 근사하는 개별화되고 동적으로 균등화된 오디오 신호를 야기하는 것이며,
    상기 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키는 단계는, 상기 오디오 신호의 각각의 샘플링 기간 동안에 대해:
    상기 마스터링 음압 레벨에 부분적으로 기초하여 미리 결정된 주파수에서 의도된 신호 크기를 결정하는 단계;
    상기 재생 장치에 대한 최대 음압 레벨 및 상기 재생 장치의 임의의 마스터 볼륨 조정에 부분적으로 기초하여 적어도 하나의 실제 재생 크기를 결정하는 단계;
    상기 의도된 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시키고 상기 실제 재생 크기에 기초하여 제2 등음량 곡선 데이터를 발생시키는 단계; 및
    상기 주파수 계수들 중 하나 이상을 적응시키도록 상기 제1 및 제2 등음량 곡선 데이터를 적용하는 단계
    를 포함하는 것인,
    재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 방법.
  15. 제14항에 있어서, 상기 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키는 단계는, 1 kHz 아래의 주파수로 제한되는 것인, 재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 방법.
  16. 삭제
  17. 제14항에 있어서,
    사용자의 나이를 식별하는 사용자 입력을 수신하는 단계를 더 포함하고,
    상기 청력 손실 데이터에 기초하여 상기 복수의 서브 대역들 중 하나 이상을 적응시키는 단계는,
    제1 주파수 및 제2 주파수 간의 함수를 결정하는 단계로서, 적어도 상기 제1 주파수 및 상기 함수는 상기 사용자의 수신된 나이에 기초하는 것인, 상기 함수를 결정하는 단계; 및
    상기 결정된 함수에 기초하여 상기 복수의 서브 대역들 중 하나 이상에서 주파수 계수들을 부스팅하는 단계를 포함하는 것인, 재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 방법.
  18. 제17항에 있어서, 상기 복수의 서브 대역들 중 하나 이상을 적응시키는 단계는,
    상기 함수의 변수들을 나타내는 사용자 입력을 수신하는 단계를 포함하고,
    상기 사용자 입력은 상기 함수를 변경하여 상기 주파수 계수들 중 적어도 하나의 부스트를 증가 또는 감소시키도록 하는 것인, 재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 방법.
  19. 제14항에 있어서,
    사용자에 의한 응답을 위해 일련의 주파수 기반 음을 생성함으로써 청력 테스트를 수행하는 단계를 더 포함하고,
    상기 복수의 서브 대역들 중 하나 이상을 적응시키는 단계는, 상기 청력 테스트에 대한 사용자의 응답에 기초하여 상기 주파수 계수들 중 하나 이상에 대한 부스트 레벨을 결정하는 단계를 포함하는 것인, 재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 방법.
  20. 오디오 신호의 균등화를 위한 방법에 있어서,
    오디오 신호를 디지털 표현으로 전환(convert)하는 단계;
    정해진 청취자의 청력 특성에 관계된 데이터 및 마스터링될 때의 상기 오디오 신호의 마스터링 음압 레벨 양자 모두에 기초하여 오디오 신호를 동적으로 조정하도록 상기 디지털 표현을 필터링하는 단계; 및
    상기 필터링된 디지털 표현을 재생 장치에서 재생하기 위한 필터링된 오디오 신호로 전환하는 단계를 포함하고,
    상기 디지털 표현을 필터링하는 단계는, 상기 오디오 신호의 각각의 샘플링 기간 동안에 대해:
    상기 마스터링 음압 레벨에 부분적으로 기초하여 미리 결정된 주파수에서 의도된 신호 크기를 결정하는 단계;
    상기 재생 장치에 대한 최대 음압 레벨 및 상기 재생 장치의 임의의 마스터 볼륨 조정에 부분적으로 기초하여 적어도 하나의 실제 재생 크기를 결정하는 단계;
    상기 의도된 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시키고 상기 실제 재생 크기에 기초하여 제2 등음량 곡선 데이터를 발생시키는 단계; 및
    상기 오디오 신호를 동적으로 조정하도록 상기 제1 및 제2 등음량 곡선 데이터를 적용하는 단계
    를 포함하는 것인,
    오디오 신호의 균등화를 위한 방법.
  21. 오디오 신호를 균등화하기 위한 컴퓨터 코드를 갖는 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 컴퓨터 코드는,
    상기 오디오 신호의 일부분의 주파수 계수들을 복수의 서브 대역들로 분할하기 위한 컴퓨터 코드로서, 각각의 서브 대역은 하나 이상의 주파수 계수들을 포함하는 것인, 상기 분할하기 위한 컴퓨터 코드;
    상기 복수의 서브 대역들 중 하나 이상에 대해,
    a) (i) 마스터링될 때의 상기 오디오 신호의 미리 결정된 피크 마스터링 음압 레벨 및 (ii) 상기 하나 이상의 서브 대역들의 주파수 계수들에 부분적으로 기초하는 적어도 하나의 의도된 신호 크기를 결정하며, 상기 미리 결정된 피크 마스터링 음압 레벨은 마스터링 환경 내에서의 기록 동안의 상기 오디오 신호의 피크 음압 레벨인 것이고,
    b) 재생 장치의 마스터 볼륨 레벨, 상기 재생 장치의 피크 재생 음압 레벨 및 상기 의도된 신호 크기에 부분적으로 기초하여 적어도 하나의 재생 신호 크기를 결정하고,
    c) 상기 의도된 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시키고,
    d) 상기 재생 신호 크기에 기초하여 제2 등음량 곡선 데이터를 발생시키기 위한 컴퓨터 코드;
    상기 하나 이상의 서브 대역들 내에서 상기 제1 등음량 곡선 데이터 및 상기 제2 등음량 곡선 데이터에 기초하여 보상 데이터를 전개시키기 위한 컴퓨터 코드로서, 상기 보상은 상기 재생 신호 크기와 상기 피크 재생 음압 레벨 간의 차이가 상기 의도된 신호 크기와 상기 피크 마스터링 음압 레벨 간의 차이와 일치하도록 선택되는 것인, 컴퓨터 코드;
    상기 보상 데이터를 이용하여 상기 오디오 신호의 일부분의 상기 주파수 계수들을 보상하기 위한 컴퓨터 코드;
    균등화된 오디오 신호를 생성하도록 상기 서브 대역들 내에서 상기 보상된 주파수 계수들을 변환하기 위한 컴퓨터 코드; 및
    상기 균등화된 오디오 신호를 상기 재생 장치에 출력하기 위한 컴퓨터 코드
    를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  22. 삭제
  23. 삭제
  24. 제21항에 있어서, 상기 오디오 신호는 복수의 부분들로 구성되고,
    상기 컴퓨터 판독 가능한 기록 매체는,
    상기 복수의 부분들의 각각의 부분에 대해, 적어도 하나의 의도된 신호 크기를 결정하고, 적어도 하나의 재생 신호 크기를 결정하고, 제1 등음량 곡선 데이터를 발생시키고, 제2 등음량 곡선 데이터를 발생시키고, 보상 데이터를 전개시키며, 상기 부분의 주파수 계수들을 보상하는 것을 반복하기 위한 컴퓨터 코드
    를 더 포함하는 컴퓨터 판독 가능한 기록 매체.
  25. 제21항에 있어서, 상기 제1 등음량 곡선 데이터를 발생시키기 위한 컴퓨터 코드는,
    상기 의도된 신호 크기에 대해 ISO 226에 따라 등음량 곡선 데이터를 발생시키기 위한 컴퓨터 코드; 및
    1 kHz에서 0 dB의 이득을 갖도록 상기 발생된 등음량 곡선 데이터를 정규화하기 위한 컴퓨터 코드를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  26. 제21항에 있어서, 상기 제2 등음량 곡선 데이터를 발생시키기 위한 컴퓨터 코드는,
    상기 재생 신호 크기에 대해 ISO 226에 따라 등음량 곡선 데이터를 획득하기 위한 컴퓨터 코드; 및
    1 kHz에서 0 dB의 이득을 갖도록 상기 획득된 등음량 곡선 데이터를 정규화하기 위한 컴퓨터 코드를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  27. 제21항에 있어서, 상기 마스터링 음압 레벨은 상기 오디오 신호의 기록 동안에 발생되는 지정된 주파수에 대한 피크 레벨인 것인, 컴퓨터 판독 가능한 기록 매체.
  28. 제21항에 있어서, 상기 하나 이상의 서브 대역들은 1 kHz 아래의 주파수로 제한되는 것인, 컴퓨터 판독 가능한 기록 매체.
  29. 제21항에 있어서, 상기 보상 데이터를 결정하기 위한 컴퓨터 코드는, 상기 부분의 저주파수 오디오 컨텐츠로부터 추가적인 고주파수 오디오 컨텐츠를 얻어내기 위한 컴퓨터 코드를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  30. 제21항에 있어서,
    청취자의 청력 특성에 관계된 수신된 데이터에 기초하여 제2 보상 데이터를 결정하기 위한 컴퓨터 코드; 및
    상기 제2 보상 데이터에 기초하여 상기 주파수 계수들 중 적어도 하나를 증가시키기 위한 컴퓨터 코드
    를 더 포함하는 컴퓨터 판독 가능한 기록 매체.
  31. 제30항에 있어서, 상기 주파수 계수들 중 적어도 하나를 증가시키기 위한 컴퓨터 코드는, 가정된 재생 레벨에 부분적으로 기초하는 것인, 컴퓨터 판독 가능한 기록 매체.
  32. 제30항에 있어서, 상기 제2 보상 데이터를 결정하기 위한 컴퓨터 코드는, 함수에 따라 제1 주파수와 제2 주파수 사이의 부스트 레벨을 계산하기 위한 컴퓨터 코드를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  33. 제32항에 있어서, 상기 제2 보상 데이터는 미리 결정된 최대 부스트 레벨을 갖는 것인, 컴퓨터 판독 가능한 기록 매체.
  34. 재생 장치에서 재생하기 위한 오디오 신호의 균등화를 위한 컴퓨터 코드를 갖는 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 컴퓨터 코드는,
    상기 오디오 신호를 하나 이상의 주파수 계수들을 포함하는 복수의 서브 대역들로 분할하기 위한 컴퓨터 코드;
    상기 재생 장치를 위한 재생 레벨 및 마스터링될 때의 상기 오디오 신호의 마스터링 음압 레벨에 기초하여 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키기 위한 컴퓨터 코드;
    청취자에 대한 청력 손실 데이터에 기초하여 상기 복수의 서브 대역들 중 하나 이상의 상기 주파수 계수들을 적응시키기 위한 컴퓨터 코드; 및
    상기 적응된 주파수 계수들을 상기 재생 장치에서 재생하기 위한 균등화된 오디오 신호로 변환하기 위한 컴퓨터 코드
    를 포함하고,
    상기 동적 적응을 위한 컴퓨터 코드 및 상기 청력 손실에 대한 적응을 위한 컴퓨터 코드는, 마스터링될 때 상기 오디오 신호의 스펙트럼 균형에 근사하는 개별화되고 동적으로 균등화된 오디오 신호를 야기하는 것이며,
    상기 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키기 위한 컴퓨터 코드는, 상기 오디오 신호의 각각의 샘플링 기간 동안에 대해,
    상기 마스터링 음압 레벨에 부분적으로 기초하여 미리 결정된 주파수에서 의도된 신호 크기를 결정하고;
    상기 재생 장치에 대한 최대 음압 레벨 및 상기 재생 장치의 임의의 마스터 볼륨 조정에 부분적으로 기초하여 적어도 하나의 실제 재생 크기를 결정하고;
    상기 의도된 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시키고 상기 실제 재생 크기에 기초하여 제2 등음량 곡선 데이터를 발생시키며;
    상기 주파수 계수들 중 하나 이상을 적응시키도록 상기 등음량 곡선 데이터를 적용하는 것
    을 수행하기 위한 컴퓨터 코드를 포함하는 것인,
    컴퓨터 판독 가능한 기록 매체.
  35. 제34항에 있어서, 상기 하나 이상의 서브 대역들의 주파수 계수들을 동적으로 적응시키기 위한 컴퓨터 코드는, 1 kHz 아래의 주파수로 제한되는 것인, 컴퓨터 판독 가능한 기록 매체.
  36. 삭제
  37. 제34항에 있어서,
    사용자의 나이를 식별하는 사용자 입력을 수신하기 위한 컴퓨터 코드를 더 포함하고,
    나이와 관련된 청력 손실에 기초하여 상기 복수의 서브 대역들 중 하나 이상을 적응시키기 위한 컴퓨터 코드는,
    제1 주파수 및 제2 주파수 간의 함수를 결정하기 위한 컴퓨터 코드로서, 적어도 상기 제1 주파수 및 상기 함수는 상기 사용자의 수신된 나이에 기초하는 것인, 상기 함수를 결정하기 위한 컴퓨터 코드; 및
    상기 결정된 함수에 기초하여 상기 복수의 서브 대역들 중 하나 이상에서 주파수 계수들을 부스팅하기 위한 컴퓨터 코드를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  38. 제37항에 있어서, 상기 복수의 서브 대역들 중 하나 이상을 적응시키기 위한 컴퓨터 코드는,
    상기 함수의 변수들을 나타내는 사용자 입력을 수신하기 위한 컴퓨터 코드를 포함하고,
    상기 사용자 입력은 상기 함수를 변경하여 상기 주파수 계수들 중 적어도 하나의 부스트를 증가 또는 감소시키도록 하는 것인, 컴퓨터 판독 가능한 기록 매체.
  39. 제34항에 있어서,
    사용자에 의한 응답을 위해 일련의 주파수 기반 음을 생성함으로써 청력 테스트를 수행하기 위한 컴퓨터 코드를 더 포함하고,
    상기 복수의 서브 대역들 중 하나 이상을 적응시키기 위한 컴퓨터 코드는, 상기 청력 테스트에 대한 사용자의 응답에 기초하여 상기 주파수 계수들 중 하나 이상에 대한 부스트 레벨을 결정하기 위한 컴퓨터 코드를 포함하는 것인, 컴퓨터 판독 가능한 기록 매체.
  40. 오디오 신호의 균등화를 위한 컴퓨터 코드를 갖는 비일시적 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 컴퓨터 코드는,
    오디오 신호를 디지털 표현으로 전환시키기 위한 컴퓨터 코드;
    정해진 청취자의 청력 특성에 관계된 데이터 및 마스터링될 때의 상기 오디오 신호의 마스터링 음압 레벨 양자 모두에 기초하여 오디오 신호를 동적으로 조정하도록 상기 디지털 표현을 필터링하기 위한 컴퓨터 코드; 및
    상기 필터링된 디지털 표현을 재생 장치에서 재생하기 위한 필터링된 오디오 신호로 전환하기 위한 컴퓨터 코드
    를 포함하고,
    상기 디지털 표현을 필터링하기 위한 컴퓨터 코드는, 상기 오디오 신호의 각각의 샘플링 기간 동안에 대해,
    상기 마스터링 음압 레벨에 부분적으로 기초하여 미리 결정된 주파수에서 의도된 신호 크기를 결정하기 위한 컴퓨터 코드;
    상기 재생 장치에 대한 최대 음압 레벨 및 상기 재생 장치의 임의의 마스터 볼륨 조정에 부분적으로 기초하여 적어도 하나의 실제 재생 크기를 결정하기 위한 컴퓨터 코드;
    상기 의도된 신호 크기에 기초하여 제1 등음량 곡선 데이터를 발생시키고 상기 실제 재생 크기에 기초하여 제2 등음량 곡선 데이터를 발생시키기 위한 컴퓨터 코드;
    상기 오디오 신호를 동적으로 조정하도록 상기 제1 및 제2 등음량 곡선 데이터를 적용하기 위한 컴퓨터 코드
    를 포함하는 것인,
    컴퓨터 판독 가능한 기록 매체.
  41. 오디오 신호의 균등화를 위한 시스템에 있어서, 상기 오디오 신호는 복수의 샘플 시간에서 샘플링되는 주파수 계수들로 표현되며, 상기 시스템은,
    (i) 상기 오디오 신호를 수신하고, (ii) 상기 오디오 신호에 대한 실제 재생 음압 레벨 및 기록 동안에 의도된 음압 레벨에 기초하여 샘플 시간 동안에 주파수 계수들을 동적으로 적응시키기 위한 음압 레벨 이퀄라이저 - 상기 음압 레벨 이퀄라이저는 상기 실제 재생 음압 레벨에 기초하여 결정된 제1 등음량 곡선 데이터 및 상기 의도된 음압 레벨에 기초하여 결정된 제2 등음량 곡선 데이터를 이용하여 상기 주파수 계수들을 적응시키기 위한 주파수 계수 조정을 결정함 -; 및
    청력 손실 보상 데이터를 결정하는 사용자 입력에 기초하여 상기 샘플 시간 동안에 주파수 컴포넌트를 조정하기 위한 청취자 의존 이퀄라이저
    를 포함하는 오디오 신호의 균등화를 위한 시스템.
  42. 제41항에 있어서,
    (i) 상기 샘플 시간 동안에 상기 주파수 계수들에 기초하여 각각의 샘플 시간에서 상기 오디오 신호의 대역폭을 검출하고, (ii) 상기 대역폭을 대표하는 대역폭 신호를 출력하기 위한 대역폭 검출기;
    상기 대역폭 신호를 수신하고, (i) 상기 대역폭이 미리 결정된 주파수 아래에 있는 것으로 결정되면 대역폭 확장 모듈에 상기 오디오 신호를 제공하거나, (ii) 상기 대역폭이 상기 샘플 시간 동안에 상기 미리 결정된 주파수 위에 있는 것으로 결정되면 상기 대역폭 확장 모듈을 바이패스하기 위한 논리적 스위치
    를 더 포함하고,
    상기 대역폭 확장 모듈은 정해진 샘플 시간 동안 상기 오디오 신호 내에 포함된 정보에 기초하여 상기 결정된 대역폭 위의 주파수에서 상기 오디오 신호에 추가적인 주파수 계수들을 더하는 것인, 오디오 신호의 균등화를 위한 시스템.
  43. 제41항에 있어서,
    상기 청취자 의존 이퀄라이저와 통신하여, 다수 세트의 청취자 의존 곡선 데이터를 포함하고, 상기 사용자 입력에 기초하여 특정한 청취자 의존 곡선 데이터를 상기 청취자 의존 이퀄라이저에 제공하는 메모리
    를 더 포함하는 오디오 신호의 균등화를 위한 시스템.
  44. 제41항에 있어서,
    상기 음압 레벨 이퀄라이저와 통신하여, 다수 세트의 등음량 곡선 데이터를 포함하고, 상기 실제 재생 음압 레벨 또는 상기 의도된 음압 레벨 중 어느 하나에 기초하여 특정한 등음량 곡선 데이터를 제공하는 메모리
    를 더 포함하는 오디오 신호의 균등화를 위한 시스템.
  45. 제41항에 있어서,
    상이한 주파수에서 일련의 가청 톤을 생성하고, 상기 가청 톤에 응답하여 사용자 입력을 수신하고, 사용자에게 특유한 청력 데이터를 결정하기 위한 청력 테스트 모듈
    을 더 포함하는 오디오 신호의 균등화를 위한 시스템.
KR1020137009031A 2010-09-10 2011-09-08 감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상 KR101914312B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38183110P 2010-09-10 2010-09-10
US61/381,831 2010-09-10
PCT/US2011/050873 WO2012033942A2 (en) 2010-09-10 2011-09-08 Dynamic compensation of audio signals for improved perceived spectral imbalances

Publications (2)

Publication Number Publication Date
KR20130106395A KR20130106395A (ko) 2013-09-27
KR101914312B1 true KR101914312B1 (ko) 2018-11-01

Family

ID=45806751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137009031A KR101914312B1 (ko) 2010-09-10 2011-09-08 감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상

Country Status (9)

Country Link
US (1) US9391579B2 (ko)
EP (1) EP2614586B1 (ko)
JP (1) JP5917518B2 (ko)
KR (1) KR101914312B1 (ko)
CN (1) CN103262409B (ko)
HK (1) HK1187741A1 (ko)
PL (1) PL2614586T3 (ko)
TW (1) TWI580180B (ko)
WO (1) WO2012033942A2 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362376A3 (en) * 2010-02-26 2011-11-02 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for modifying an audio signal using envelope shaping
CN104221284B (zh) 2012-04-12 2017-05-24 杜比实验室特许公司 用于调平音频信号的响度变化的系统及方法
US9748914B2 (en) 2012-08-15 2017-08-29 Warner Bros. Entertainment Inc. Transforming audio content for subjective fidelity
US9426599B2 (en) * 2012-11-30 2016-08-23 Dts, Inc. Method and apparatus for personalized audio virtualization
WO2014130738A1 (en) * 2013-02-20 2014-08-28 Max Sound Corporation Sound enhancement for powered speakers
US9577596B2 (en) 2013-03-08 2017-02-21 Sound Innovations, Llc System and method for personalization of an audio equalizer
US9794715B2 (en) 2013-03-13 2017-10-17 Dts Llc System and methods for processing stereo audio content
US9253586B2 (en) * 2013-04-26 2016-02-02 Sony Corporation Devices, methods and computer program products for controlling loudness
WO2016011288A1 (en) * 2014-07-16 2016-01-21 Eariq, Inc. System and method for calibration and reproduction of audio signals based on auditory feedback
CN105811907B (zh) * 2014-12-29 2018-07-31 宏碁股份有限公司 音频处理方法
WO2016133988A1 (en) * 2015-02-19 2016-08-25 Dolby Laboratories Licensing Corporation Loudspeaker-room equalization with perceptual correction of spectral dips
US10136240B2 (en) 2015-04-20 2018-11-20 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
US9590580B1 (en) * 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
DE102015217565A1 (de) * 2015-09-15 2017-03-16 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Verarbeitung von Audio-Signalen
US10251016B2 (en) * 2015-10-28 2019-04-02 Dts, Inc. Dialog audio signal balancing in an object-based audio program
US10075789B2 (en) * 2016-10-11 2018-09-11 Dts, Inc. Gain phase equalization (GPEQ) filter and tuning methods for asymmetric transaural audio reproduction
CN109040885B (zh) * 2017-06-09 2019-08-20 中国科学院声学研究所 一种基于音量的个性化响度补偿方法及耳机均衡系统
KR102302683B1 (ko) 2017-07-07 2021-09-16 삼성전자주식회사 음향 출력 장치 및 그 신호 처리 방법
KR102409376B1 (ko) 2017-08-09 2022-06-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3688754A1 (en) * 2017-09-26 2020-08-05 Sony Europe B.V. Method and electronic device for formant attenuation/amplification
IL307592A (en) 2017-10-17 2023-12-01 Magic Leap Inc Spatial audio for mixed reality
CN107886966A (zh) * 2017-10-30 2018-04-06 捷开通讯(深圳)有限公司 终端及其优化语音命令的方法、存储装置
US11477510B2 (en) 2018-02-15 2022-10-18 Magic Leap, Inc. Mixed reality virtual reverberation
CN108599732A (zh) * 2018-05-11 2018-09-28 四川斐讯信息技术有限公司 一种音量控制方法及系统
US10779082B2 (en) 2018-05-30 2020-09-15 Magic Leap, Inc. Index scheming for filter parameters
EP3609197B1 (en) 2018-08-06 2021-04-14 SONY Corporation Method of reproducing audio, computer software, non-transitory machine-readable medium, and audio processing apparatus
US11425521B2 (en) * 2018-10-18 2022-08-23 Dts, Inc. Compensating for binaural loudspeaker directivity
CN109547848B (zh) * 2018-11-23 2021-02-12 北京达佳互联信息技术有限公司 响度调整方法、装置、电子设备以及存储介质
CN112019972A (zh) * 2019-05-30 2020-12-01 原相科技股份有限公司 电子装置及其等化器调整方法
WO2021081435A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Reverberation fingerprint estimation
SE543749C2 (en) * 2019-11-15 2021-07-13 Hearezanz Ab Volume dependent audio compensation
US20210326099A1 (en) * 2020-04-16 2021-10-21 Mimi Hearing Technologies GmbH Systems and methods for providing content-specific, personalized audio replay on consumer devices
CN111935429B (zh) * 2020-07-06 2021-10-19 瑞声新能源发展(常州)有限公司科教城分公司 音质自适应调节方法、相关系统和设备及存储介质
TWI746207B (zh) * 2020-10-12 2021-11-11 香港商冠捷投資有限公司 音訊調整方法及裝置
US20220174450A1 (en) * 2020-12-01 2022-06-02 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
CN116546386A (zh) * 2022-01-26 2023-08-04 瑞声光电科技(常州)有限公司 车内自适应音质输出方法、装置、存储介质及车载音响系统
CN114501233A (zh) * 2022-01-30 2022-05-13 联想(北京)有限公司 一种信号处理方法、装置及电子设备
AT525364B1 (de) * 2022-03-22 2023-03-15 Oliver Odysseus Schuster Audiosystem
CN116320899B (zh) * 2023-04-11 2023-12-05 地球山(苏州)微电子科技有限公司 一种发声方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213780A1 (en) * 2004-03-26 2005-09-29 William Berardi Dynamic equalizing
US20090232329A1 (en) * 2006-05-26 2009-09-17 Kwon Dae-Hoon Equalization method using equal loudness curve, and sound output apparatus using the same
US20090316930A1 (en) * 2006-03-14 2009-12-24 Harman International Industries, Incorporated Wide-band equalization system
US20100057476A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus
US20100119093A1 (en) * 2008-11-13 2010-05-13 Michael Uzuanis Personal listening device with automatic sound equalization and hearing testing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5986914A (ja) 1982-11-10 1984-05-19 Matsushita Electric Ind Co Ltd 音質調整装置
JPS59105708A (ja) * 1982-12-08 1984-06-19 Matsushita Electric Ind Co Ltd ラウドネスコントロ−ル装置
JPS61248611A (ja) 1985-04-26 1986-11-05 Pioneer Electronic Corp ラウドネス補償装置
JPH05206772A (ja) * 1992-01-30 1993-08-13 Alpine Electron Inc ラウドネス装置
JPH11341589A (ja) * 1998-05-01 1999-12-10 Texas Instr Inc <Ti> デジタル・シグナル・プロセッシング音響スピーカシステム
US6674862B1 (en) * 1999-12-03 2004-01-06 Gilbert Magilen Method and apparatus for testing hearing and fitting hearing aids
KR20020031108A (ko) * 2000-04-27 2002-04-26 요트.게.아. 롤페즈 인프라 배스
US20030078515A1 (en) * 2001-10-12 2003-04-24 Sound Id System and method for remotely calibrating a system for administering interactive hearing tests
US20060014570A1 (en) * 2002-07-01 2006-01-19 Jochen Marx Mobile communication terminal
US8199933B2 (en) * 2004-10-26 2012-06-12 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US7564979B2 (en) * 2005-01-08 2009-07-21 Robert Swartz Listener specific audio reproduction system
US7715573B1 (en) * 2005-02-28 2010-05-11 Texas Instruments Incorporated Audio bandwidth expansion
US8150044B2 (en) * 2006-12-31 2012-04-03 Personics Holdings Inc. Method and device configured for sound signature detection
ES2526333T3 (es) * 2007-08-27 2015-01-09 Telefonaktiebolaget L M Ericsson (Publ) Frecuencia de transición adaptativa entre el rellenado con ruido y la extensión del ancho de banda
ATE518381T1 (de) * 2007-09-27 2011-08-15 Harman Becker Automotive Sys Automatische bassregelung
US20090110218A1 (en) * 2007-10-31 2009-04-30 Swain Allan L Dynamic equalizer
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US8838259B2 (en) * 2009-11-18 2014-09-16 Blackberry Limited Frequency-specific determination of audio dose

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213780A1 (en) * 2004-03-26 2005-09-29 William Berardi Dynamic equalizing
US20090316930A1 (en) * 2006-03-14 2009-12-24 Harman International Industries, Incorporated Wide-band equalization system
US20090232329A1 (en) * 2006-05-26 2009-09-17 Kwon Dae-Hoon Equalization method using equal loudness curve, and sound output apparatus using the same
US20100057476A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus
US20100119093A1 (en) * 2008-11-13 2010-05-13 Michael Uzuanis Personal listening device with automatic sound equalization and hearing testing

Also Published As

Publication number Publication date
EP2614586B1 (en) 2016-11-09
JP2013537321A (ja) 2013-09-30
KR20130106395A (ko) 2013-09-27
CN103262409B (zh) 2016-07-06
WO2012033942A3 (en) 2012-08-02
PL2614586T3 (pl) 2017-05-31
JP5917518B2 (ja) 2016-05-18
HK1187741A1 (zh) 2014-04-11
WO2012033942A2 (en) 2012-03-15
EP2614586A2 (en) 2013-07-17
US9391579B2 (en) 2016-07-12
TWI580180B (zh) 2017-04-21
EP2614586A4 (en) 2015-09-23
TW201225518A (en) 2012-06-16
US20120063616A1 (en) 2012-03-15
CN103262409A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
KR101914312B1 (ko) 감지된 스펙트럼 불균형의 개선을 위한 오디오 신호의 동적 보상
US20210021247A1 (en) Methods and Apparatus for Adjusting a Level of an Audio Signal
RU2426180C2 (ru) Расчет и регулировка воспринимаемой громкости и/или воспринимаемого спектрального баланса звукового сигнала
JP5632532B2 (ja) 入力オーディオ信号の修正装置及び修正方法
US8199933B2 (en) Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
JP5695677B2 (ja) 単一再生モードにおいてラウドネス測定値を合成するシステム
EP1619793B1 (en) Audio enhancement system and method
US10827265B2 (en) Psychoacoustics for improved audio reproduction, power reduction, and speaker protection
AU2011244268A1 (en) Apparatus and method for modifying an input audio signal
US20130085762A1 (en) Audio encoding device
US10587983B1 (en) Methods and systems for adjusting clarity of digitized audio signals
JP2011141540A (ja) 音声信号処理装置、テレビジョン受像機、音声信号処理方法、プログラム、および、記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)