KR101469339B1 - 입력 오디오 신호를 수정하는 장치 및 방법 - Google Patents

입력 오디오 신호를 수정하는 장치 및 방법 Download PDF

Info

Publication number
KR101469339B1
KR101469339B1 KR1020127029682A KR20127029682A KR101469339B1 KR 101469339 B1 KR101469339 B1 KR 101469339B1 KR 1020127029682 A KR1020127029682 A KR 1020127029682A KR 20127029682 A KR20127029682 A KR 20127029682A KR 101469339 B1 KR101469339 B1 KR 101469339B1
Authority
KR
South Korea
Prior art keywords
value
subband
excitation parameter
parameter
audio signal
Prior art date
Application number
KR1020127029682A
Other languages
English (en)
Other versions
KR20130008609A (ko
Inventor
크리스티안 율레
위르겐 헤어레
올리버 헬머스
스테판 핀아우어
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20130008609A publication Critical patent/KR20130008609A/ko
Application granted granted Critical
Publication of KR101469339B1 publication Critical patent/KR101469339B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

입력 오디오 신호를 수정하는 장치는 여기 결정기, 저장 장치 및 신호 수정기를 포함한다. 여기 결정기는 부대역 신호의 에너지량에 기초하여 입력 오디오 신호의 다수의 부대역 중 하나의 부대역의 여기 매개 변수의 값을 결정한다. 더욱이, 저장 장치는 다수의 스펙트럼 가중 요소를 포함하는 룩업 테이블을 저장한다. 다수의 스펙트럼 가중 요소의 스펙트럼 가중 요소는 여기 매개 변수의 미리 정의된 값 및 다수의 부대역 중 하나의 부대역에 관련된다. 저장 장치는 여기 매개 변수의 결정된 값에 상응하고, 여기 매개 변수의 값이 결정되는 부대역에 상응하는 스펙트럼 가중 요소를 제공한다. 더욱이, 신호 수정기는 수정된 부대역을 제공하기 위해 제공된 스펙트럼 가중 요소에 기초하여 여기 매개 변수의 값이 결정되는 오디오 신호의 부대역의 콘텐츠를 수정한다.

Description

입력 오디오 신호를 수정하는 장치 및 방법{APPARATUS AND METHOD FOR MODIFYING AN INPUT AUDIO SIGNAL}
본 발명에 따른 실시예는 오디오 신호 처리에 관한 것으로써, 특히 입력 오디오 신호를 수정하는 장치 및 방법에 관한 것이다.
음의 크기(loudness)를 측정하는 만족스러운 객관적 방법을 개발하기 위한 많은 시도가있었다. 1933년에는 Fletcher와 Munson은 인간의 청각이 중간 (또는 음성) 주파수보다 낮고 높은 주파수에서 덜 민감하다는 것을 결정하였다. 이들은 또한 소리의 레벨이 증가함에 따라 감도의 상대적 변화가 감소한다는 것을 발견하였다. 초기 음의 크기의 계측기(meter)는 마이크, 앰프, 미터, 및 낮은, 중간 및 높은 소리 레벨에서 청각의 주파수 응답을 대충 모방하도록 설계된 필터의 조합으로 구성되었다.
이러한 장치가 단일의 일정한 레벨, 분리된 톤(isolated tone)의 음의 크기의 측정을 제공하였더라도, 더욱 복잡한 소리의 측정은 음의 크기의 주관적인 느낌(subjective impression)을 매우 잘 일치시키지 않았다. 이러한 타입의 소리 레벨 계측기는 표준화되었지만, 산업적 잡음의 모니터링 및 제어와 같은 특정 작업(task)에만 이용된다.
1950년대 초에, Zwicker와 Stevens는, 특히, 음의 크기의 인식 과정의 보다 현실적인 모델을 개발하는데 Fletcher와 Munson의 연구(work)를 연장하였다. Stevens는 1956년 미국의 음향 학회 저널에서 "복잡한 잡음의 음의 크기의 계산(Calculation of the Loudness of Complex Noise)"을 위한 방법을 발표하였고, Zwicker는 1958년에 Acoustica에서 기사 "음의 크기의 심리적 및 조직적 기초(Psychological and Methodical Basis of Loudness)"를 발표하였다. 1959년에 Zwicker는 음의 크기의 계산을 위한 그래픽 절차 뿐만 아니라, 잠시 후에 수개의 유사한 기사를 발표하였다. Stevens 및 Zwicker 방법은 ISO 532, 파트 A 및 B(제각기)로 표준화되었다. 양방의 방법은 유사한 단계를 수반한다.
먼저, 여기(excitation)라고 하는 내이(inner ear)의 기저막(basilar membrane)을 따른 에너지의 시간 변화 분포는 임계 대역율 스케일(critical band rate scale)에 균일하게 이격된 중심 주파수로 대역 통과 청각 필터의 뱅크를 통해 오디오를 통과하여 시뮬레이션된다. 각 청각 필터는 내이의 기저막을 따른 특정 위치에서 주파수 응답을 시뮬레이션하도록 설계되며, 필터의 중심 주파수는 이러한 위치에 상응한다. 임계 대역폭은 하나의 이러한 필터의 대역폭으로 정의된다. 헤르츠 단위로 측정되고, 이러한 청각 필터의 임계 대역폭은 중심 주파수의 증가에 따라 증가한다. 그래서, 워핑된(warped) 스케일로 측정된 모든 청각 필터에 대한 임계 대역폭이 일정하도록 하는 워핑된 주파수 스케일을 정의하는데 유용하다. 이러한 워핑된 스케일은 임계 대역율 스케일로 지칭되고, 광범위한 음향 심리학 현상을 이해하고 시뮬레이션하는데 매우 유용하다. 예를 들면, 음향 심리학s-Facts and Models by E. Zwicker and H. Fasti, Springer- Verlag, Berlin, 1990를 참조한다. Stevens와 Zwicker의 방법은 임계 대역폭이 500 Hz 아래에서 일정하고, 500 Hz 위에서 증가하는 Bark 스케일로 지칭되는 임계 대역율 스케일을 이용한다. 최근에, Moore와 Glasberg는 Equivalent Rectangular Bandwidth (ERB) scale (B. C. J. Moore, B. Glasberg, T. Baer, "A Model for the Prediction of Thresholds, Loudness, and Partial Loudness," Journal of the Audio Engineering Society, Vol. 45, No. 4, April 1997, pp. 224-240)라고 명명한 임계 대역율 스케일을 정의하였다. 노치된 잡음 마스커(notched-noise masker)를 이용한 음향 심리학 실험을 통해, Moore와 Glasberg는, 임계 대역폭이 일정하게 유지하는 Bark 스케일과는 대조적으로, 임계 대역폭이 500 Hz 아래에서는 계속 감소함을 입증하였다.
용어 "임계 대역"는 수반한 신호("J. B. Allen, "A short history of telephone psychophysics", Audio Eng. Soc. Convention, 1997")에 의해 소리 감각의 마스킹에 대해 1938년 Harvey Fletcher에 의해 연구를 다시 시작하였다. 임계 대역은 1961년 Zwicker가 제안한 Bark 스케일을 이용하여 표현될 수 있다: 각 임계 대역은 한 Bark(Heinrich Barkhausen의 이름을 딴 단위)의 폭을 갖는다. 인간의 청각 인식을 모방하는 오버 필터 뱅크, 예를 들어, Equivalent Rectangular Bandwidth (ERB) 스케일 ("B. C. J. Moore, B. R. Glasberg and T. Baer, "A model for the prediction of thresholds, loudness, and partial loudness", J. Audio Eng. Soc, 1997")이 존재한다.
용어 "특정 음의 크기"는 임계 대역에서 측정된 어떤 주파수 대역에 기저막의 어떤 영역 상의 신호에 의해 생성된 음의 크기의 느낌을 나타낸다. 그것은 Sone/Bark의 단위로 측정된다. 용어 "임계 대역"는 인간의 청각의 주파수 해상도를 모방하도록 설계된 균일하지 않은 대역 통과 필터를 포함하는 청각 필터 뱅크의 주파수 대역에 관한 것이다. 소리의 전반적인 음의 크기는 모든 임계 대역에 걸친 합/적분과 동일하다.
오디오 신호를 처리하는 방법은 2009년, 미국 특허 2009/0097676에서 "A. J. Seefeldt에 의해 "오디오 신호의 인식된 음의 크기 및/또는 인식된 스펙트럼 균형의 계산 및 조정(Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal)""에 기재되어 있다. 이러한 방법은 볼륨 제어, 동적 범위 제어, 동적 균등화 및 배경 잡음 보상에 대한 응용으로 오디오 신호의 특정 음의 크기를 제어하는데 있다. 이러한 문서에서, (일반적으로 주파수 도메인에서의) 입력 오디오 신호는 특정 음의 크기가 대상 특정 음의 크기와 일치하도록 수정된다.
2009년, 미국 특허 2009/0097676에서 "A. J. Seefeldt에 의해 "오디오 신호의 인식된 음의 크기 및/또는 인식된 스펙트럼 균형의 계산 및 조정""에 제시된 바와 같이 처리의 이점을 설명하기 위해, 오디오 신호의 볼륨 제어가 고려된다. 소리 재생에서 오디오 신호의 레벨을 변경하면, 일반적으로는 인식된 음의 크기가 변화된다. 달리 말하면, 음의 크기의 제어는 통상적으로 소리 레벨의 제어로 구현된다. 그러나, 우리의 일상 경험 및 음향 심리학의 지식은 이것이 최적이 아니라는 것을 나타낸다.
인간의 청각의 민감도는 소리 강도 레벨의 감소가 중간 주파수(예를 들어, 2000 Hz와 4000 Hz 사이)의 감각 이상으로 낮은 및 높은 주파수(예를 들어, 제각기 100 Hz 및 10000 Hz)의 감각을 감쇠하도록 하는 주파수 및 레벨 양방에 따라 변화한다. 예를 들어, 18dB만큼 "편안하게 큰 소리" 레벨(예를 들어, 75-80 dBA)에서 낮은 레벨로 재생 레벨을 감소시키면, 오디오 신호의 인식된 스펙트럼 균형은 변화한다. 이것은 종종 Fletcher-Munson Curves(먼저 1933년 Equal-Loudness Contour을 측정한 연구자 이후)로 지칭된 잘 알려진 Equal-Loudness Contours에 예시되어 있다. Equal-Loudness Contours은 순수한 안정 톤으로 제공될 때에 청취자가 일정한 음의 크기를 감지하는 주파수 스펙트럼 이상의 소리 압력 레벨(SPL)을 보여준다.
Equal-Loudness Contours는 예를 들어 "1997년, J. Audio Eng. Soc, 도 13, 페이지 232에서, B. C. J. Moore, B. R. Glasberg 및 T. Baer에 의해, "임계값, 음의 크기, 및 부분 음의 크기의 예측을 위한 모델(A model for the prediction of thresholds, loudness, and partial loudness)""에 제시되어 있다. 개정된 측정은 2003년에 ISO 226:2003으로 표준화되었다.
결과적으로, 종래의 음의 크기 제어는 음의 크기를 변경할 뿐만 아니라 음색도 변경한다. 이러한 효과의 영향은 SPL(76 dBA에서 58 dBA로의 변경에 비해 예를 들어, 86 dBA에서 68 dBA로 SPL을 변경할 때에 덜 받음)에 의존하지만, 모든 클래스에서 바람직하지는 않다.
이것은 "2009년, 미국 특허 2009/0097676에서 A. J. Seefeldt에 의해 "오디오 신호의 인식된 음의 크기 및/또는 인식된 스펙트럼 균형의 계산 및 조정""에 설명된 바와 같은 처리에 의해 보상된다.
도 7은 "2009년, 미국 특허 2009/0097676에서 A. J. Seefeldt에 의해 "오디오 신호의 인식된 음의 크기 및/또는 인식된 스펙트럼 균형의 계산 및 조정""에 설명된 방법(700)의 흐름도를 도시한다.
출력 신호는 여기 신호를 계산하는 단계(710), 특정 음의 크기를 계산하는 단계(720), 대상 특정 음의 크기를 계산하는 단계(730), 대상 여기 신호를 계산하는 단계(740), 스펙트럼 가중 요소를 계산하는 단계(750), 및 스펙트럼 가중 요소를 입력 신호에 적용하여 출력 신호를 재합성하는 단계(760)에 의해 처리된다.
스펙트럼 가중 요소 H는 입력 신호의 특정 음의 크기 및 대상 특정 음의 크기에 의존하는 주파수 대역의 가중 요소이다. "2009년, 미국 특허 2009/0097676에서 A. J. Seefeldt에 의해 "오디오 신호의 인식된 음의 크기 및/또는 인식된 스펙트럼 균형의 계산 및 조정""에 설명된 바와 같은 이러한 계산은 특정 음의 크기의 계산, 및 대상 특정 음의 크게에 적용되는 특정 음의 크기의 계산의 역의 프로세스를 포함한다.
양방의 처리 단계는 높은 계산량(high computational load)을 도입한다. 특정 음의 크기를 계산하는 방법은 "1991년 J. Acoust. Soc. Jpn. (E), vol. 12에서 E. Zwicker, H. Fasti, U. Widmann, K. Kurakata, S. Kuwano 및 S. Namba에 의한, "DIN 45631 (ISO 532 B)에 따라 음의 크기를 계산하는 프로그램"", 및 1997년 J. Audio Eng. Soc에서 B. C. J. Moore, B. R. Glasberg 및 T. Baer에 의한, "임계값, 음의 크기 및 부분 음의 크기를 예측하는 모델"에 제시되어 있다.
본 발명의 목적은 낮은 계산 복잡도로 효율적으로 구현할 수 있도록 오디오 신호를 수정하기 위한 향상된 개념을 제공하는 것이다.
이러한 청구항 1에 따른 장치 또는 청구항 20에 따른 방법에 의해 해결된다.
본 발명의 실시예는 여기 결정기, 저장 장치 및 신호 수정기를 포함하는 입력 오디오 신호를 수정하는 장치를 제공한다. 여기 결정기는 부대역 신호의 에너지량(energy content)에 기초하여 입력 오디오 신호의 다수의 부대역 중 하나의 부대역의 여기 매개 변수의 값을 결정하도록 구성된다. 저장 장치는 다수의 스펙트럼 가중 요소를 포함하는 룩업 테이블을 저장하도록 구성되며, 다수의 스펙트럼 가중 요소의 스펙트럼 가중 요소는 여기 매개 변수의 미리 정의된 값 및 다수의 부대역 중 하나의 부대역에 관련된다. 더욱이, 저장 장치는 여기 매개 변수의 결정된 값에 상응하고, 여기 매개 변수의 값이 결정되는 부대역에 상응하는 스펙트럼 가중 요소를 제공하도록 구성된다. 신호 수정기는 수정된 부대역을 제공하기 위해 제공된 스펙트럼 가중 요소에 기초하여 여기 매개 변수의 값이 결정되는 입력 오디오 신호의 부대역의 콘텐츠를 수정하도록 구성된다.
본 발명에 따른 실시예는 오디오 신호의 부대역이 각각의 부대역 및 부대역의 여기 매개 변수에 따라 선택될 수 있는 스펙트럼 가중 요소를 포함하는 룩업 테이블을 이용하여 쉽게 수정될 수 있다는 중심 사상에 기초한다. 이를 위해, 룩업 테이블은 다수의 부대역 중 적어도 하나의 미리 정의된 부대역에 대한 여기 매개 변수의 다수의 미리 정의된 값에 대한 스펙트럼 가중 요소를 포함한다. 룩업 테이블을 이용함으로써, (음의 크기의 계산, 그 수정 및 음의 크기의 계산의 역 처리를 포함하는) 스펙트럼 가중 요소의 명시적 계산이 필요하지 않으므로, 계산 복잡성은 상당히 감소될 수 있다. 그래서, 효율적인 구현이 가능해진다.
본 발명에 따른 일부 실시예에서, 여기 결정기는 다수의 부대역의 모든 부대역에 대해서가 아닌 여기 매개 변수의 값을 결정한다. 더욱이, 룩업 테이블은 여기 매개 변수의 값이 결정되는 부대역에 관련된 스펙트럼 가중 요소만을 포함한다. 이러한 방식으로, 룩업 테이블의 필요한 저장 공간 및 여기 결정기에 대한 계산 노력은 감소될 수 있다.
본 발명에 따른 일부 실시예는 여기 매개 변수의 미리 정의된 값, 다수의 부대역 중 부대역 및 외부 수정 매개 변수의 미리 정의된 값에 관련된 정확히 3차원(three dimensions)을 포함하는 룩업 테이블에 관한 것이다.
본 발명에 따라 일부 다른 실시예는 여기 매개 변수의 미리 정의된 값, 다수의 부대역 중 부대역, 외부 수정 매개 변수의 미리 정의된 값 및 배경 잡음 매개 변수의 미리 정의된 값에 관련된 정확히 4차원을 포함하는 룩업 테이블에 관한 것이다.
본 발명에 따른 실시예는 이후 첨부된 도면을 참조로 하여 상세히 설명될 것이다.
도 1은 입력 오디오 신호를 수정하는 장치의 블록도이다.
도 2는 등청감 곡선(equal loudness contours)의 개략도이다.
도 3은 전송 필터에 의해 표준화된 등청감 곡선의 개략도이다.
도 4는 입력 오디오 신호를 수정하는 장치의 블록도이다.
도 5는 입력 오디오 신호를 수정하는 방법의 흐름도이다.
도 6은 입력 오디오 신호를 수정하는 방법의 흐름도이다.
도 7은 입력 오디오 신호를 수정하는 공지된 방법의 흐름도이다.
다음에는, 동일한 도면 번호가 부분적으로 동일하거나 유사한 기능적 특성을 갖는 객체 및 기능적 단위에 이용되며, 도면에 관한 설명은 실시예의 설명에서의 중복을 줄이기 위해 다른 도면에도 적용한다.
도 1은 본 발명의 실시예에 따른 입력 오디오 부대역 신호(102)를 수정하는 장치(100)의 블록도를 도시한다. 장치(100)는 여기 결정기(110), 저장 장치(120) 및 신호 수정기(130)를 포함한다. 여기 결정기(110)는 저장 장치(120)에 연결되고, 저장 장치(120)는 신호 수정기(130)에 연결된다. 여기 결정기(110)는 부대역(102)의 에너지량에 기초하여 입력 오디오 신호(102)의 다수의 부대역 중 부대역(102)의 여기 매개 변수의 값(112)을 결정한다. 저장 장치(120)는 다수의 스펙트럼 가중 요소를 포함하는 룩업 테이블을 저장하며, 다수의 스펙트럼 가중 요소 중 스펙트럼 가중 요소(124)는 여기 매개 변수의 미리 정의된 값 및 다수의 부대역 중 하나의 부대역과 관련된다. 더욱이, 저장 장치(120)는 여기 매개 변수의 결정된 값(112) 및 부대역(102)에 상응하는 스펙트럼 가중 요소(124)를 제공하며, 여기 매개 변수의 값(112)은 결정된다. 신호 수정기(130)는 입력 오디오 신호의 부대역(102)의 콘텐츠를 수정하고, 여기 매개 변수의 값(112)은 수정된 부대역(132)을 획득하여 제공하기 위해 제공된 스펙트럼 가중 요소(124)에 기초하여 결정된다.
입력 오디오 신호를 수정하기 위해 스펙트럼 가중 요소(124)를 제공하는 룩업 테이블을 이용함으로써, 알려진 개념에 비해 계산 복잡성이 상당히 감소될 수 있다.
여기 결정기(110)는 부대역(102)의 에너지량에 기초하여 여기 매개 변수의 값(112)을 결정한다. 이것은, 예를 들어, 부대역(102)의 여기 매개 변수의 값(112)을 결정하기 위해 부대역(102)의 에너지량을 측정함으로써 행해질 수 있다. 이러한 방식으로, 에너지량이 시간 및/또는 서로 다른 부대역 사이에서 변화할 수 있으므로, 여기 매개 변수는 부대역마다 전력의 측정 또는 특정 부대역에서의 짧은 시간 에너지에 대한 측정을 나타낼 수 있다. 대안적으로, 여기 매개 변수의 값은 부대역의 짧은 시간 에너지의 (고유, 단사(injective), 전단사(bijective)) 함수(예를 들어, 지수 함수, 로그 함수 또는 선형 함수)에 기초하여 결정될 수 있다. 예를 들면, 양자화 함수가 이용될 수 있다. 이러한 예에서, 여기 결정기(110)는 여기 매개 변수의 값이 여기 매개 변수의 미리 정의된 값과 동일하도록 부대역의 에너지량을 측정하여, 여기 매개 변수의 값을 획득하기 위해 부대역의 측정된 에너지량을 양자화할 수 있다. 환언하면, 측정된 에너지 값은 여기 매개 변수의 미리 정의된 값(예를 들어, 여기 매개 변수의 가장 가까운 미리 정의된 값)에 할당될 수 있다. 대안적으로, 여기 매개 변수의 값은 측정된 에너지량을 직접 나타내고, 저장 장치(120)는 여기 매개 변수의 결정된 값을 여기 매개 변수의 미리 정의된 값에 할당할 수 있다.
입력 오디오 신호의 부대역은 입력 오디오 신호의 서로 다른 주파수 대역을 나타낼 수 있다. 주파수 대역의 지각 분포를 고려하기 위해, 부대역은, 예를 들어, ERB 스케일 또는 Bark 스케일, 또는 인간의 귀의 주파수 해상도를 모방하는 다른 주파수 간격에 따라 분포될 수 있다. 환언하면, 입력 오디오 신호의 다수의 부대역 중 부대역은 ERB 스케일 또는 Bark 스케일에 따라 분할될 수 있다.
저장 장치(120)는 여기 매개 변수(여기 신호) 및 부대역(102)을 나타내는 부대역 인덱스에 대한 입력을 포함하고, 여기 매개 변수의 값(112)은 결정된다. 대안적으로, 저장 장치는 추가 매개 변수를 위한 하나 이상의 추가 입력을 포함한다.
저장 장치(120)는, 예를 들어, 리드 온리 메모리(ROM), 하드 디스크, CD, DVD 또는 어떤 다른 종류의 비휘발성 메모리, 또는 랜덤 액세스 메모리(RAM)와 같은 디지털 저장 매체일 수 있다.
룩업 테이블은 다수의 스펙트럼 가중 요소를 포함하는 적어도 2 차원 매트릭스를 나타낸다. 룩업 테이블에 포함된 스펙트럼 가중 요소(124)는 여기 매개 변수의 미리 정의된 값 및 다수의 부대역 중 하나의 부대역과 분명하게 관련되어 있다. 환언하면, 룩업 테이블에 포함된 각 스펙트럼 가중 요소는 여기 매개 변수의 미리 정의된 값 및 다수의 부대역 중 하나의 부대역과 관련될 수 있다. 저장 장치(120)는 여기 매개 변수의 결정된 값(112)에 가장 가까운 여기 매개 변수의 미리 정의된 값과 관련된 스펙트럼 가중 요소(124)를 제공 할 수 있다. 대안적으로, 예를 들면, 저장 장치(120)는 여기 매개 변수의 결정된 값(112)에 가장 가까운 여기 매개 변수의 2개의 미리 정의된 값과 관련된 2개의 스펙트럼 가중 요소를 선형적으로 또는 대수적으로 보간할 수 있다.
여기 매개 변수의 미리 정의된 값은 선형적으로 또는 대수적으로 분포될 수 있다.
신호 수정기(130)는, 예를 들어, 부대역(102)의 콘텐츠를 증폭하거나 감쇠할 수 있으며, 여기 매개 변수의 값(112)은 제공된 스펙트럼 가중 요소(124)에 의해 결정된다.
예를 들면, 설명된 개념을 이용하여, 오디오 신호의 소리 강도 레벨의 증가 또는 감소에 의해 유발된 낮은, 중간 및 높은 주파수의 인간의 청각의 감각의 변화하는 감쇠는 쉽게 보상될 수 있다. 예를 들면, 한 레벨에서 다른 레벨로 재생 레벨을 감소하면, 오디오 신호의 감지된 스펙트럼 균형은 변화한다. 이것은 등청감 곡선을 나타내는 도 2 및 도 3에 예시되어 있다. 특히, 낮은 주파수 영역에서, 서로 다른 등청감의 곡선은 서로 평행하지 않다. 중간 및/또는 높은 주파수 대역과 다른 낮은 주파수 대역의 증폭 또는 감쇠는 평행하거나 이전보다 더 평행할 수 있도록 등청감 곡선의 휨(bending)과 동일할 수 있다. 이러한 방식으로, 인식된 스펙트럼 균형 변화는 설명된 개념을 이용하여 보상되거나 거의 보상될 수 있다.
도 2의 등청감 곡선과 도 3의 등청감 곡선 사이의 차는 전송 필터에 의해 정상화된다. 이러한 전송 필터는 외이(outer ear) 및 내이를 통해 오디오의 전송의 필터링 효과를 시뮬레이션할 수 있다. 이러한 전송 필터는 선택적으로 여기 결정기(110)에 제공하기 전에 입력 오디오 신호를 필터링하기 위해 도 1에 도시된 장치에서 구현될 수 있다.
입력 오디오 신호의 보다 지속적인 수정을 위해, 여기 결정기(110)는 다수의 부대역 중 하나 이상의 부대역에 대한 여기 매개 변수의 값(112)을 결정할 수 있다. 그런 다음, 저장 장치(120)는 각 부대역(102)에 대한 스펙트럼 가중 요소(124)를 제공할 수 있으며, 여기 매개 변수의 값(112)이 결정되며, 신호 수정기(130)는 각 부대역(102)의 콘텐츠를 수정할 수 있으며, 여기 매개 변수의 값(112)은 각각의 상응하여 제공된 스펙트럼 가중 요소(124)에 기초하여 결정된다.
입력 오디오 신호의 다수의 부대역은 메모리 유닛에 의해 제공될 수 있거나 분석 필터 뱅크에 의해 생성될 수 있다.
하나의 부대역, 하나 이상의 부대역 또는 다수의 부대역 중 모든 부대역에 대한 여기 매개 변수는 결정될 수 있다. 이를 위해, 장치(100)는 여기 매개 변수의 하나의 값, 하나 이상의 값 또는 모든 값을 결정하는 하나의 여기 결정기(110)만을 포함할 수 있거나, 각 부대역(102)에 대한 여기 결정기(110)를 포함할 수 있으며, 여기 매개 변수의 값(112)이 결정된다. 더욱이, 장치(100)는 하나 이상의 부대역에 대한 하나 이상의 단일 수정기(130)를 포함할 수 있으며, 여기 매개 변수는 결정된다. 그러나, 그것은 모든 부대역(102)에 대한 단일 룩업 테이블(및 저장 장치)을 이용하여 충분하며, 여기 매개 변수의 값(112)은 결정된다.
여기 결정기(110), 저장 장치(120) 및 신호 수정기는 독립적인 하드웨어 장치, 컴퓨터의 부품, 마이크로 제어기 또는 디지털 신호 프로세서 뿐만 아니라 컴퓨터, 마이크로 제어기 또는 디지털 신호 프로세서에서 실행하도록 구성되는 컴퓨터 프로그램 또는 소프트웨어 제품일 수 있다.
도 4는 본 발명의 실시예에 따른 입력 오디오 신호를 수정하는 장치(400)의 블록도를 도시한다. 장치(400)는 도 1에 도시된 장치와 유사하지만, 추가로 분석 필터 뱅크(410) 및 합성 필터 뱅크(420)를 포함한다. 분석 필터 뱅크(410)는 입력 오디오 신호를 다수의 부대역으로 분리한다. 그런 다음, 여기 결정기(110)는 다수의 부대역 중 하나 이상의 부대역에 대한 여기 매개 변수의 값을 결정한다(특징(feature)을 계산한다). 그 후, 저장 장치(120)는 상응하는 하나 이상의 스펙트럼 가중 요소를 하나 이상의 신호 수정기(130)에 제공한다. 마지막으로, 합성 필터 뱅크(420)는 수정된 오디오 신호(또는 출력 오디오 신호)를 획득하여 제공하도록 적어도 하나의 수정된 부대역을 포함하는 다수의 부대역을 조합한다.
도 4에 도시된 예는 일반적인 경우에 제안된 방법의 응용일 수 있다. 제 n 부대역 신호(n 번째 부대역)에 대해 도시된 바와 같은 처리는 동일한 방식으로 다른 모든 부대역 신호에 적용될 수 있다(또는 모든 부대역에만 적용되어, 여기 매개 변수의 값이 결정된다).
선택적으로, 룩업 테이블에 포함된 스펙트럼 가중 요소는, 도 4에서 점선으로 나타낸 바와 같이 외부 수정 매개 변수의 미리 정의된 값에 더 관련된다(하지만 또한 도 1에 도시된 장치에도 적용할 수 있다). 외부 수정 매개 변수(또는 단순히 수정 매개 변수)는, 예를 들어, 사용자 인터페이스(예를 들어, 볼륨 및/또는 환경 설정(ambiance settings))의 입력 값을 나타낼 수 있다. 결과적으로, 이러한 경우에, 저장 장치(120)는 외부 수정 매개 변수의 값에 상응하는 스펙트럼 가중 요소를 제공할 수 있다. 예를 들면, 사용자가 볼륨 설정을 증가하거나 감소하는 경우, 외부 수정 매개 변수의 값은 변화하고, 저장 장치(120)는 상응하는 다른 스펙트럼 가중 요소를 제공할 수 있다. 요약하면, 저장 장치(120)는 부대역의 여기 매개 변수의 결정된 값에 상응하고, 여기 매개 변수의 값이 결정되는 부대역에 상응하며, 그리고 외부 수정 매개 변수의 값에 상응하는 스펙트럼 가중 요소를 제공할 수 있다.
이러한 예에서, 룩업 테이블은 여기 매개 변수의 미리 정의된 값에 관련되고, 다수의 부대역 중 부대역들에 관련되며, 그리고 외부 수정 매개 변수의 미리 정의된 값에 관련되는 정확히 3차원을 포함할 수 있다. 이것은, 룩업 테이블에 포함된 각 스펙트럼 가중 요소가 여기 매개 변수의 특정한 미리 정의된 값, 다수의 부대역 중 부대역, 및 외부 수정 매개 변수의 특정한 미리 정의된 값에 관련된다는 것을 의미한다. 환언하면, 룩업 테이블은 여기 매개 변수의 미리 정의된 값, 부대역 및 외부 수정 매개 변수의 미리 정의된 값의 각 조합을 위해 하나의 스펙트럼 가중 요소를 포함한다. 외부 수정 매개 변수의 미리 정의된 값은, 예를 들어, 외부 수정 매개 변수의 가능한 범위를 통해 선형적으로 또는 대수적으로 분포될 수 있다.
더욱이, 일부 실시예에서, 룩업 테이블에 포함되는 스펙트럼 가중 요소는 또한 배경 잡음 매개 변수의 미리 정의된 값에 관련된다. 배경 잡음 매개 변수는 입력 오디오 신호의 배경 잡음의 레벨을 나타낼 수 있다. 이러한 방식으로, 예를 들면, 배경 소음의 존재 시에 오디오 신호의 부분적 마스킹의 효과의 보상이 실현될 수 있다. 이 경우에, 저장 장치는 배경 잡음 매개 변수의 값에 상응하는 스펙트럼 가중 요소를 제공할 수 있다. 이것은 추가적으로 또는 대안적으로 외부 수정 매개 변수에 대한 상술한 고려로 행해질 수 있다. 양방이 고려되면, 저장 장치는 부대역의 여기 매개 변수의 결정된 값에 상응하고, 여기 매개 변수가 결정되는 부대역에 상응하며, 외부 수정 매개 변수의 값에 상응하며, 그리고 배경 잡음 매개 변수의 값에 상응하는 스펙트럼 가중 요소를 제공할 수 있다. 이 경우에, 룩업 테이블은 여기 매개 변수의 미리 정의된 값에 관련되고, 다수의 부대역 중 부대역들에 관련되며, 외부 수정 매개 변수의 미리 정의된 값에 관련되며, 그리고 배경 잡음 매개 변수의 미리 정의된 값에 관련되는 정확히 4차원을 포함할 수 있다. 배경 잡음 매개 변수의 미리 정의된 값은, 예를 들어, 배경 잡음 매개 변수의 가능한 범위를 통해 선형적으로 또는 대수적으로 분포될 수 있다.
배경 잡음 매개 변수의 값은 배경 잡음 검출기에 의해 결정될 수 있다. 이것은 부대역들로, 또는 하나의 부대역, 하나 이상의 부대역 또는 모든 부대역에 대해 부대역 레벨에서 개별적으로 분리하기 전에 전체 입력 오디오 신호에 대해 행해질 수 있다. 대안적으로, 입력 오디오 신호의 다수의 부대역이 저장되어 메모리 유닛에 의해 제공되면, 배경 잡음 매개 변수의 값은 또한 메모리 유닛에 의해 제공될 수 있다.
어쨌든, 룩업 테이블에 포함된 스펙트럼 가중 요소가 특정 음의 크기 매개 변수 또는 대상 특정 음의 크기 매개 변수에 기초하여 계산될 수 있을지라도, 저장 장치는 특정 음의 크기 매개 변수 또는 대상 특정 음의 크기 매개 변수에 대한 입력을 포함하지 않는다. 스펙트럼 가중 요소의 계산은 외부에서 행해질 수 있고, 나중에 저장 장치에 의해 저장될 수 있다. 그래서, 스펙트럼 가중 요소의 명시적 계산이 필요하지 않으므로, 설명된 개념에 따라 실현된 장치의 계산 복잡도는 알려진 장치에 비해 상당히 감소될 수 있다.
스펙트럼 가중 요소는, 예를 들어, 다음과 같은 방식으로 저장 장치에 의해 저장하도록 계산될 수 있다.
오디오의 처리는 디지털 도메인에서 수행될 수 있다. 따라서, 오디오 입력 신호는 일부 샘플링 주파수 fc에서 오디오 소스로부터 샘플링된 이산 시간 시퀀스 x[n]으로 나타낼 수 있다. 시퀀스 x[n]는 아래 식에 의해 주어지는 데시벨에서 x[n]의 rms 파워가 인간의 청취자에 의해 오디오가 오디션을 받는 dB의 음압 레벨과 동일하도록 적절히 스케일링되었음이 가정될 수 있다. 게다가, 오디오 신호는 설명의 단순함을 위해 모노포닉(monophonic)한 것으로 가정될 수 있다.
Figure 112012093050228-pct00001
오디오 입력 신호는 분석 필터 뱅크 또는 필터 뱅크 함수("Analysis Filterbank")에 적용된다. 분석 필터 뱅크의 각 필터는 내이의 기저막을 따른 특정 위치에서 주파수 응답을 시뮬레이션하도록 설계된다. Moore, Glasberg와 Baer ("B. C. J. Moore, B. Glasberg, T. Baer, "A Model for the Prediction of Thresholds, Loudness, and Partial Loudness," supra")에 의해 정의된 바와 같이, 필터 뱅크는 대역폭 및 간격이 Equivalent Rectangular Bandwidth(ERB) 주파수 스케일에서 일정한 한 세트의 선형 필터를 포함할 수 있다.
ERB 주파수 스케일이 인간의 인식과 더 가깝게 일치하고, 주관적인 음의 크기의 결과와 일치하는 객관적인 음의 크기의 측정을 생성할 시에 향상된 성능을 보여주지만, Bark 주파수 스케일은 성능이 감소될 수 있다.
헤르츠의 중심 주파수 f에 대해, 헤르츠의 한 ERB 대역의 폭은 다음과 같이 추정될 수 있다:
ERB(f) = 24.7(4.37f/1000 + 1) (1)
이러한 관계식에서, 워핑 주파수 스케일은 워핑 스케일을 따른 어떤 포인트에서, 워핑 스케일의 단위의 상응하는 ERB가 1과 동일하도록 정의된다. 헤르츠의 선형 주파수에서 이러한 ERB 주파수 스케일로 변환하기 위한 함수는 식 1의 역수를 적분함으로써 획득된다:
Figure 112012093050228-pct00002
(2a)
그것은 또한 f에 대해 식 2a를 풀이하여 다시 ERB 스케일에서 선형 주파수 스케일로의 변환을 표현하는데 유용하다:
Figure 112012093050228-pct00003
(2b)
e는 ERB 스케일의 단위이다.
분석 필터 뱅크는 ERB 스케일을 따라 균일하게 이격되는 중심 주파수 fc[1] ... fc[B]에서 부대역으로 지칭되는 B 청각 필터를 포함할 수 있다. 특히,
Figure 112012093050228-pct00004
(3a)
b = 2...B에 대해
Figure 112012093050228-pct00005
(3b)
Figure 112012093050228-pct00006
(3c)
여기서, △는 분석 필터 뱅크의 원하는 ERB 간격이며, fmim 및 fmax는 제각기 원하는 최소 및 최대 중심 주파수이다. 하나는 Δ = 1을 선택하여, 인간의 귀가 민감한 주파수 범위를 고려할 수 있고, 하나는 fmim = 50 Hz 및 fmax = 20000 Hz를 설정할 수 있다. 이러한 매개 변수에 의해, 예를 들어, 식 3a-c의 적용은 B=40 청각 필터를 생성한다.
Moore와 Glasberg에 의해 제안된 바와 같이, 각 청각 필터의 크기 주파수 응답은 라운딩(rounded) 지수 함수를 특징으로 할 수 있다. 특히, 중심 주파수 f[b]를 가진 필터의 크기 응답은 다음과 같이 계산될 수 있다:
Figure 112012093050228-pct00007
(4a)
여기서,
Figure 112012093050228-pct00008
(4b)
Figure 112012093050228-pct00009
(4c)
오디오 신호의 샘플링율에서 필터를 실행하고, 최대 전송율(full-rate) 구현으로 지칭되는 구현이 정확한 음의 크기 측정에 필요한 것보다 더 많은 시간적 해상도를 제공하는 것으로 생각되기 때문에, 분석 필터 뱅크의 필터링 동작은 일반적으로 STDFT(Short-Time Discrete Fourier Transform)로 지칭되는 유한 길이 이산 푸리에 변환을 이용하여 충분히 추정될 수 있다.
입력 오디오 신호 x[n]의 STDFT는 다음과 같이 정의될 수 있으며:
Figure 112012093050228-pct00010
(5a)
여기서, k는 주파수 인덱스이고, t는 시간 블록 인덱스이며, N은 DFT 크기이며, T는 홉(hop) 크기이며, w[n]은 다음과 같도록 표준화되는 길이 N 윈도우이다.
Figure 112012093050228-pct00011
(5b)
식 5a에서 변수 t는 초의 시간의 측정과 반대로 STDFT의 시간 블록을 나타내는 이산 인덱스이다는 것을 주목한다. t의 각 증가는 신호 x[n]를 따른 T 샘플의 홉을 나타낸다. 인덱스 t에 대한 후속 참조는 이러한 정의를 가정한다. 서로 다른 매개 변수 설정 및 윈도우 형상은 구현의 상세 사항에 따라 fs = 44100 Hz에 이용될 수 있지만, N=2048, T=1024를 선택하고, Hann 윈도우인 w[n]을 갖는 것은 시간 및 주파수 해상도의 적절한 균형을 제공한다. 상술한 STDFT는 고속 푸리에 변환(FFT)을 이용하여 보다 효율적으로 구현될 수 있다.
STDFT 대신에, 수정된 이산 코사인 변환(MDCT)은 분석 필터 뱅크을 구현하기 위해 이용될 수 있다. MDCT는 지각 오디오 코더에 일반적으로 이용되는 변환이다. 입력 오디오 신호 x[n]의 MDCT는 다음에 의해 주어질 수 있다:
Figure 112012093050228-pct00012
여기서
Figure 112012093050228-pct00013
(6)
일반적으로, 홉 크기 T는 신호 x[n]의 완벽한 구성이 가능하도록 정확히 변환 길이 N의 절반이도록 선택된다.
분석 필터 뱅크의 출력은 외이 및 중이(middle ear)를 통하는 오디오의 전송에 따라 필터 뱅크의 각 대역을 필터링하는 전송 필터 또는 전송 필터 함수("전송 필터")에 적용된다.
입력 오디오 신호의 음의 크기를 계산하기 위해, 전송 필터 a의 적용 후에 분석 필터 뱅크의 각 필터의 오디오 신호의 단시간(short time) 에너지의 측정이 필요하다. 이러한 시간 및 주파수 변화 측정은 여기로 지칭된다. 분석 필터 뱅크 a의 각 필터의 단시간 에너지 출력은 입력 신호의 파워 스펙트럼을 가진 주파수 도메인의 필터 응답의 곱셈을 통해 여기 함수 E[b,t]에서 추정될 수 있다:
Figure 112012093050228-pct00014
여기서, b는 부대역 수이고, t는 블록 수이며, Hb[k] 및 P[k]는 STDFT 또는 MDCT 빈 인덱스 k에 상응하는 주파수에서 제각기 샘플링되는 청각 필터 및 전송 필터의 주파수 응답이다. 식 4a-c에 명시된 것과 다른 청각 필터의 크기 응답에 대한 형식은 식 7에서 유사한 결과를 달성하기 위해 이용될 수 있다는 것이 주목되어야 한다.
요약하면, 여기 함수의 출력은 시간 주기 t마다 각각의 ERB 대역 b에서의 에너지 E의 주파수 도메인 표현이다.
어떤 응용을 위해, 특정 음의 크기로의 변환에 앞서 여기 E[b,t]를 평활하는 것이 바람직할 수 있다. 예를 들면, 평활은 다음의 식에 따라 평활 함수에서 재귀적으로 수행될 수 있다:
Figure 112012093050228-pct00015
(8)
여기서, 각 대역 b에서의 시상수
Figure 112012093050228-pct00016
는 원하는 응용에 따라 선택된다. 대부분의 경우에, 시상수는 이점으로 대역 b 내에서 인간의 음의 크기의 인식의 적분 시간에 비례하도록 선택될 수 있다. Watson과 Gengel은 이러한 적분 시간이 낮은 주파수(125-200 Hz)에서는 150-175 ms 및 높은 주파수에서는 40-60 ms의 범위 내에 있음을 입증하는 실험을 수행하였다("Charles S. Watson and Roy W. Gengel, "Signal Duration and Signal Frequency in Relation to Auditory Sensitivity" Journal of the Acoustical Society of America, Vol. 46, No. 4 (Part 2), 1969, pp. 989-997").
변환 함수("특정 음의 크기")에서, 여기의 각 주파수 대역은 ERB 당 Sone에서 측정되는 특정 음의 크기의 성분 값으로 변환될 수 있다.
처음에, 특정 음의 크기를 계산할 시에,
Figure 112012093050228-pct00017
의 각 대역의 여기 레벨은, 예를 들어, 전송 필터에 의해 표준화되는 등청감 곡선에 의해 명시되는 바와 같이 1 kHz에서 동등한 여기 레벨로 변환될 수 있다:
Figure 112012093050228-pct00018
(9)
여기서,
Figure 112012093050228-pct00019
는 주파수 f에서의 레벨 E에 동등한 소리인 1 kHz에서의 레벨을 생성하는 함수이다. 1 kHz에서 동등한 레벨로의 변환은 다음과 같은 특정 음의 크기의 계산을 단순화한다.
그 다음, 각 대역의 특정 음의 크기는 다음과 같이 계산될 수 있다:
Figure 112012093050228-pct00020
(10)
여기서, NNB[b,t] 및 NWB[b,t]는 제각기 협대역 및 광대역 신호 모델에 기초한 특정 음의 크기의 값이다. 값
Figure 112012093050228-pct00021
은 오디오 신호로부터 계산되는 0과 1 사이의 보간 인수이다.
협대역 및 광대역 특정 음의 크기의 값 NNB[b,t] 및 NWB[b,t]는 지수 함수를 이용하여 변환 여기로부터 평가될 수 있다:
Figure 112012093050228-pct00022
Figure 112012093050228-pct00023
(11a, 11b)
여기서, TQ1kHz는 1 kHz 톤에 대해 조용할 시의 임계값(threshold in quiet)에서의 여기 레벨이다. 등청감 곡선에서, TQ1kHz는 4.2 dB과 같다. 여기가 조용할 시의 임계값과 동일할 때 이러한 특정 음의 크기의 함수의 양방은 0과 동일하다는 것을 주목한다. 조용할 시의 임계값 보다 큰 여기의 경우, 양방의 함수는 강도 감각의 Steven의 법칙에 따른 파워 법칙에 의해 단조롭게 증대한다. 협대역 함수에 대한 지수는 광대역 함수에 대한 지수보다 크게 하여, 협대역 함수가 광대역 함수보다 더 빠르게 증가하도록 선택된다. 협대역 및 광대역 경우에 지수 β 및 이득 G의 특정 선택은 톤 및 잡음에 대한 음의 크기의 증대에 실험 데이터를 일치시키록 선택된다.
여기가 청각의 임계값에 있을 때 특정 음의 크기는 0 대신에 어떤 작은 값과 동일할 수 있다. 그 후, 특정 음의 크기는 여기가 0으로 감소할 때에 0으로 단조롭게 감소해야 한다. 청각의 임계값이 확률 임계값(톤이 시간의 50 % 감지되는 시점)이고, 각각 함께 제시된 임계값에서의 다수의 톤은 어느 개개의 톤보다 더 잘 청취 가능한 소리가 될 수 있다는 것이 정당화된다. 특정 음의 크기는 여기가 임계값 이하일 때에 0인 것으로 정의되면, 이득 해결자(gain solver)에 대한 고유 솔루션은 임계값 이하에서의 여기를 위해 존재하지 않는다. 한편, 특정 음의 크기가 0 이상의 여기의 모든 값에 대해 단조롭게 증가하도록 정의되면, 고유 솔루션은 존재한다. 1보다 큰 음의 크기의 스케일링은 항상 1보다 큰 이득을 생성할 것이고, 그 반대로도 생성할 것이다. 식 11a 및 11b에서의 특정 음의 크기의 함수는 다음의 식에 따라 원하는 속성을 갖도록 변경될 수 있다:
Figure 112012093050228-pct00024
(11c,11d)
여기서, 상수
Figure 112012093050228-pct00025
는 1보다 크고, 지수 η는 1보다 작으며, 상수 K 및 C는 특정 음의 크기의 함수 및 도함수는 그 점에서 연속적이도록 선택된다:
Figure 112012093050228-pct00026
특정 음의 크기에서, 전부 또는 "전체" 음의 크기 L[t]는 모든 대역 b에 걸쳐 특정 음의 크기의 합에 의해 주어진다:
Figure 112012093050228-pct00027
(12)
특정 음의 크기의 수정 함수("Specific Loudness Modification")에서,
Figure 112012093050228-pct00028
으로 지칭되는 대상 특정 음의 크기는 여러 방식으로 특정 음의 크기로부터 계산될 수 있다. 아래에 더 상세히 설명되는 바와 같이, 대상 특정 음의 크기는, 예를 들어, 볼륨 제어의 경우에 스케일 인수 α를 이용하여 계산될 수 있다. 아래의 식 16 및 관련된 설명을 참조한다. 자동 이득 제어(AGC) 및 동적 범위 제어(DRC)의 경우에, 대상 특정 음의 크기는 음의 크기를 입력하도록 원하는 출력 음의 크기의 비율을 이용하여 계산될 수 있다. 아래의 식 17 및 18과 관련된 설명을 참조한다. 동적 등화의 경우에, 대상 특정 음의 크기는 식 23에 명시된 관계 및 관련된 설명을 이용하여 계산될 수 있다.
이러한 예에서, 각 대역 b 및 모든 시간 간격 t에 대해, 이득 해결 함수(gain solving function)는 이의 입력으로서 평활 여기
Figure 112012093050228-pct00029
및 대상 특정 음의 크기
Figure 112012093050228-pct00030
를 취하고, 또한 이득 G[b,t]이라 하고, 그 후에 오디오를 수정하기 위해 이용되는 스펙트럼 가중 요소를 생성한다. 함수
Figure 112012093050228-pct00031
는 여기에서 다음과 같은 특정 음의 크기로의 비선형 변환을 나타낸다고 한다
Figure 112012093050228-pct00032
(13)
이득 해결자는 다음과 같도록 G[B,t]를 찾는다
Figure 112012093050228-pct00033
(14a)
이득 해결 함수는, 원래의 여기(original excitation)에 적용될 때에, 이상적으로 원하는 대상 특정 음의 크기와 동일한 특정 음의 크기를 생성하는 주파수 및 시간 변화 이득(스펙트럼 가중 요소)을 결정한다. 사실상, 이득 해결 함수는, 오디오 신호의 주파수 도메인 버전에 적용될 때에, 특정 음의 크기와 대상 특정 음의 크기의 차를 줄이기 위해 결과적으로 오디오 신호를 수정하는 주파수 및 시간 변화 이득을 결정한다. 이상적으로, 이러한 수정은 수정된 오디오 신호는 대상 특정 음의 크기의 선량(dose)의 근사치인 특정 음의 크기를 갖도록 한다. 식 14a의 솔루션은 다양한 방식으로 구현될 수 있다. 예를 들면,
Figure 112012093050228-pct00034
로 나타내는 특정 음의 크기의 역에 대한 폐형식(closed form)의 수학적 표현식이 존재하면, 이득은 식 14a을 재배열하여 직접 계산될 수 있다:
Figure 112012093050228-pct00035
(14b)
대안적으로,
Figure 112012093050228-pct00036
에 대한 폐형식의 솔루션이 존재하지 않으면, 각 반복 식 14a에 대해, 이득의 현재의 추정을 이용하여 평가되는 반복 접근 방식이 사용될 수 있다. 생성된 특정 음의 크기는 원하는 대상과 비교되고, 이득은 오류에 기초하여 업데이트된다. 이득이 적절히 업데이트되면, 이득은 원하는 솔루션으로 수렴할 것이다. 초기에 언급된 바와 같이, 대상 특정 음의 크기는 특정 음의 크기의 스케일링에 의해 나타낼 수 있다:
Figure 112012093050228-pct00037
(14c)
식 13을 식 14c로 치환하고 나서 식 14c를 식 14b로 치환하면은 이득에 대한 대안적 표현식을 산출한다:
Figure 112012093050228-pct00038
(14d)
계산된 스펙트럼 가중 요소 또는 이득은 저장 장치의 룩업 테이블에 저장된다.
본 발명에 따른 일부 실시예에서, 여기 결정기는 다수의 부대역 중 모든 부대역에 대한 여기 매개 변수의 값을 결정하지 않는다. 이 경우에, 룩업 테이블은 부대역에 관련된 스펙트럼 가중 요소만을 포함하여, 여기 매개 변수의 값이 결정되는 것으로 족하다. 이러한 방식으로, 룩업 테이블을 저장하는데 필요한 저장 장치의 저장 공간은 상당히 감소될 수 있다.
보상되어야 하는 등청감 곡선의 휨이 낮은 주파수에 대해 크므로(도 2 및 3 참조), 낮은 주파수 부대역에 대해서만 음의 크기의 변화를 보상하기에 충분할 수 있다. 그래서, 여기 매개 변수를 계산하여, 낮은 주파수 부대역에 대한 스펙트럼 가중 요소를 저장하는 것이 유용할 수 있다. 대조적으로, 높은 주파수 부대역에 대해서는, 여기 매개 변수의 값이 결정될 수 없고, 높은 주파수 부대역에 관련된 스펙트럼 가중 요소는 저장될 수 없다. 환언하면, 여기 매개 변수의 값이 결정되는 부대역은 여기 매개 변수의 값이 결정되지 않는 부대역보다 낮은 주파수를 포함할 수 있다.
더욱이, 높은 주파수 부대역을 수정할 필요가 없을 수 있다. 환언하면, 여기 결정기가 이러한 부대역에 대한 여기 매개 변수의 값을 결정하지 않을 경우에, 부대역의 콘텐츠는 신호 수정기에 의해 수정될 수 없다. 이것은, 예를 들어, 외부 수정 매개 변수 또는 배경 잡음 매개 변수와 같은 다른 매개 변수가 고려되지 않을 경우에만 적용될 수 있다.
대안적으로, 저장 장치에 의해 제공되는 스펙트럼 가중 요소는 신호 수정기에 의해 하나 이상의 부대역을 위해 이용될 수 있다. 환언하면, 신호 수정기는 여기 매개 변수의 값이 결정되는 부대역에 제공되는 스펙트럼 가중 요소에 기초하여 여기 매개 변수의 값이 결정되지 않는 부대역의 콘텐츠를 수정할 수 있다. 도 2 및 3에 도시된 등청감 곡선의 동작을 고려하면, 동일한 스펙트럼 가중 요소에 따라 높은 주파수 대역을 수정하기에 충분할 수 있다. 이러한 스펙트럼 가중 요소는 여기 매개 변수의 값이 결정되는 모든 부대역의 가장 높은 주파수를 포함하는 부대역에 제공되는 스펙트럼 가중 요소일 수 있다. 더 일반적으로, 신호 수정기는 여기 매개 변수의 값이 결정되는 모든 다른 부대역 보다 더 높은 주파수를 포함하는 부대역에 제공되는 스펙트럼 가중 요소에 기초하여 여기 매개 변수의 값이 결정되지 않는 부대역의 콘텐츠를 수정할 수 있다. 예를 들면, 여기 결정기는 다수의 부대역들 중 5 내지 15(또는 2 내지 20, 7 내지 12 또는 단지 5, 6, 7, 8, 9, 10, 11, 12) 부대역들에 대해서만, 또는 다수의 부대역들 중 1 내지 부대역들의 4분의 1보다 적은 개수의 부대역들, 1 내지 부대역들의 3분의 1보다 적은 개수의 부대역들, 1 내지 부대역들의 2분의 1보다 적은 개수의 부대역들 또는 1 내지 부대역들의 3분의 2보다 적은 개수의 부대역들에 대해서 여기 매개 변수의 값을 결정하는 것으로 족할 수 있다. 이러한 부대역은 다수의 부대역 중 다른 모든 부대역보다 낮은 주파수를 포함할 수 있다. 더욱이, 신호 수정기는 이러한 부대역에 대한 저장 장치에 의해 제공되는 스펙트럼 가중 요소에 따라 이러한 부대역의 콘텐츠를 수정할 수 있다.
예를 들면, Bark 스케일은 25 주파수 대역을 포함하고, 가장 느린 주파수 대역이 유휴 동작에서 가장 강한 편차를 보여주므로 가장 낮은 7 주파수 대역을 수정하기에 충분할 수 있다. 대안적으로, ERB 스케일의 가장 낮은 대역은 수정될 수 있다. 다수의 부대역 중 나머지 부대역은 수정되지 않은 상태를 유지할 수 있고, 외부 수정 매개 변수 및/또는 배경 잡음 매개 변수에 따라 수정될 수 있거나, 여기 매개 변수의 값이 결정되고, 여기 매개 변수의 값이 결정되는 모든 다른 부대역보다 높은 주파수를 포함하는 부대역에 제공되는 스펙트럼 가중 요소에 따라 수정될 수 있다.
도 5는 본 발명의 실시예에 따라 입력 오디오 신호를 수정하는 방법(500)의 흐름도를 도시한다. 방법(500)은 부대역의 에너지량에 기초하여 입력 오디오 신호의 다수의 부대역 중 하나의 부대역의 여기 매개 변수의 값을 결정하는 단계(510)를 포함한다. 더욱이, 방법(500)은 여기 매개 변수의 결정된 값에 상응하고, 여기 매개 변수의 값이 결정되는 부대역에 상응하는 스펙트럼 가중 요소를 제공하는 단계(520)를 포함한다. 스펙트럼 가중 요소는 다수의 스펙트럼 가중 요소를 포함하는 룩업 테이블에 저장된다. 다수의 스펙트럼 가중 요소 중 하나의 스펙트럼 가중 요소는 여기 매개 변수의 미리 정의된 값 및 다수의 부대역 중 하나의 부대역에 관련된다. 마지막으로, 방법(500)은 수정된 부대역을 획득하여 제공하도록 제공된 스펙트럼 가중 요소에 기초하여 여기 매개 변수의 값이 결정되는 부대역을 수정하는 단계를 포함한다.
환언하면, 방법(500)은 여기 신호를 계산하는 단계(510), 룩업 테이블에서 스펙트럼 가중치(스펙트럼 가중 요소)를 검색하는 단계(520), 및 출력 오디오 신호를 수정하는 단계(530)를 포함한다. 선택적으로, 방법(500)은 (수정된 오디오 신호를 획득하기 위해 부대역을 조합하는) 출력 오디오 신호를 재합성하는 단계를 포함한다.
이것은, 예를 들어, 효율적이고 일반적인 신호 수정을 위한 방법일 수 있다.
더욱이, 선택적으로, 외부 수정 매개 변수는 또한 상술한 바와 같이 고려될 수 있다(점선으로 표시됨).
배경 잡음 부대역 레벨 (배경 잡음 매개 변수)의 추가적 고려는 도 6에 도시된 방법(600)에 의해 언급된다.
본 발명에 따른 일부 실시예는 오디오 신호의 지각 처리의 효율적인 실현에 관한 것이다. 상술한 개념은 명시적 청각 모델링의 계산 부하를 받지 않고 음향 심리학 효과의 특성을 이의 처리에 쉽게 통합할 수 있는 주파수 선택적 오디오 신호 수정 및 처리를 위한 유연하고 고 효율적인 구조에 관한 것이다. 예로서, 지각 음의 크기의 제어를 위한 다대역 프로세서의 실현은 도시된 구조에 기초하여 고려된다.
이것은 음향 심리학 음의 크기의 제어를 효율적으로 실현할 수 있다.
상술한 처리는 각 청각 주파수 대역 내에서 입력 레벨에 의해 제어되는 필터 특성을 가진 입력 신호의 필터링과 비교된다. 그것은 보다 효율적으로 구현될 수 있다.
기본적으로, 제안된 방법은 특정 음의 크기의 계산 및 상응하는 역의 계산을 하지 않아, 약간 증가된 메모리 요구 사항을 희생하여 계산상 강렬한 처리 단계를 방지한다.
효율적인 구현은 간단한 룩업 테이블(LUT)을 이용하여, 경우에 따라서는 보간으로 구현될 수 있다.
LUT는 상술한 바와 같이 구현되는 입력 값 및 출력 값 프로세스를 측정하여 계산된다. LUT는, 예를 들어, 3 차원을 갖는다. 그것은 입력 여기, 수정 매개 변수 및 주파수 대역 인덱스가 주어진 수정된 오디오 신호 또는 수정된 부대역을 출력한다.
예를 들면, 그것은 기능이 가장 낮은 주파수 대역에 대해서만 주파수 대역 인덱스에 의존하는 것을 인식하여 효율적으로 구현될 수 있으며, 예를 들어, Bark 스케일에 상응하는 해상도를 가진 청각 필터 뱅크를 이용할 때, 필터 뱅크는 25개의 대역 통과 필터를 가질 수 있다. 높은 대역 인덱스의 경우에, 동일한 입력-출력 관계가 대역 인덱스 7에 대해 유지하므로, 가장 낮은 7 대역만에 대한 LUT의 전달 함수를 저장하는 것은 충분할 수 있다.
이러한 효율적 처리는 음향 심리학 점에서 정확한 볼륨 제어를 야기한다. 다른 응용, 즉 동적 범위 제어 및/또는 동적 등화는 LUT의 적절한 인덱스에 의해 상술한 바와 같이 효율적인 처리로 유도된다.
마지막으로, 배경 잡음 보상(즉, 배경 잡음의 존재 시에 오디오 신호의 부분 마스킹의 효과의 보상)은 배경 소음의 레벨을 나타내는 LUT에 4차원을 추가하여 달성될 수 있다. 잡음 보상을 위해 제안된 처리의 블록도는 도 6에 도시된다.
지금까지 설명된 처리는 음향 심리학 음의 크기의 스케일링 알고리즘의 에뮬레이션을 지향하지만, 도 1 또는 도 4에 설명된 구조는 LUT 이후 음향 심리학 음의 크기의 스케일링 알고리즘으로 이용할 수 있는 것보다 소리 수정의 스펙트럼을 훨씬 풍부하게 생성할 수 있다. 그것은 더욱 많은 요소(예를 들어, 사용자 환경 설정, 다른 시간 변화 요소 등)에 따라 행해질 수 있다. 그것은 폐형식의 표현식으로 주어진 함수에 의해 제공하는 특성 이상의 주관적인 청취자 환경에 따라 자유롭게 "조정(tuned)"될 수 있다.
요약하면, 본 발명은 명시적 청각 모델링의 계산 부하를 받지 않고 음향 심리학 효과의 특성을 이의 처리에 쉽게 통합할 수 있는 주파수 선택적 오디오 신호 수정 및 처리를 위한 유연하고 고 효율적인 구조에 관한 것이다.
추상적인 수준에서, 제안된 효율적인 처리는 다음의 단계를 포함한다. 입력 신호에 기초하여, (여기 매개 변수의 값을 포함하는) 하나 이상의 특징 값은 다수의 주파수 대역(예를 들어, 임계 대역)에 대해 계산될 수 있다. 이러한 특징 값 (및 경우에 따라서는, 다른 정보)에 기초하여, 테이블 룩업은 이러한 주파수 대역의 각각이 각 주파수 대역에 대해 하나 이상의 테이블 출력 매개 변수(스펙트럼 가중 요소)를 결정하도록 수행된다. 그 후, 이러한 테이블 출력 매개 변수는 상응하는 주파수 대역의 입력 신호의 수정(예를 들어, 곱셈 스케일링(multiplicative scaling))을 결정하는데 이용된다.
주파수 대역의 오디오 신호의 처리는 보통 필터 뱅크를 이용하여, 즉, 입력 신호가 분석 필터 뱅크에 의해 여러 주파수 대역(부대역)으로 분할되고, 최종 출력 신호가 수정된 부대역 신호를 합성 필터 뱅크에 공급하여 획득된다는 것을 의미한다. 분석 및 합성 필터 뱅크는 입력 시간 신호를 완전히 또는 거의 완전히 재구성하도록 조합한다.
주파수 대역의 전형적인 수는 4와 40 사이이다. 특징값(feature value)에 기초하는 테이블 룩업은 보통 테이블에 룩업 인덱스로 이용될 수 있는 값의 제한된 세트로의 특징값의 양자화를 포함한다. 더욱이, 룩업 테이블의 크기는 다소 거친 양자화 단계 크기를 선택한 후, (2 이상의) 인접한 테이블 출력 매개 변수 값 사이에 보간하여 감소될 수 있다. 매개 변수 출력 값의 계산을 위한 몇 가지 입력 특징을 고려하기 위해, 여러 차원, 예를 들어, 여기 idx(인덱스), 음조 idx, 주파수 idx를 포함하는 수정 요소 LUT를 가진 룩업 테이블이 이용될 수 있다. 매우 단순한(및 효율적인) 경우에, 출력 매개 변수 값은 직접적으로 출력 부대역 신호를 결정하기 위해 입력 부대역에 적용될 곱셈 요소를 나타낸다. 이것은, 예를 들어, 도 4에 도시된다.
설명된 개념의 일부 양태가 장치와 관련하여 설명되었지만, 이러한 양태는 또한 상응하는 방법에 대한 설명을 나타낸다는 것이 자명하며, 여기서, 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 마찬가지로, 방법 단계와 관련하여 설명된 양태는 또한 상응하는 장치의 상응하는 블록 또는 항목 또는 특징에 대한 설명을 나타낸다.
어떤 구현 요구 사항에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 이러한 구현은 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 이용하여 실행될 수 있으며, 이러한 디지털 저장 매체는 각각의 방법이 수행되도록 하는 프로그램 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자식 판독 가능한 제어 신호를 저장한다. 그래서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.
본 발명에 따른 일부 실시예는 여기에 설명된 방법 중 하나가 수행되도록 하는 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자식 판독 가능한 제어 신호를 가진 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 이러한 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행할 때에 방법 중 하나를 수행하기 위해 동작 가능하다. 프로그램 코드는, 예를 들어, 머신 판독 가능한 캐리어 상에 저장될 수 있다.
다른 실시예는 머신 판독 가능한 캐리어 상에 저장되고, 여기에 설명된 방법 중 하나를 수행하는 컴퓨터 프로그램을 포함한다.
그래서, 환언하면, 본 발명의 방법의 실시예는 컴퓨터 프로그램이 컴퓨터 상에서 실행할 때에, 여기에 설명된 방법 중 하나를 실행하기 위한 프로그램 코드를 가진 컴퓨터 프로그램이다.
그래서, 본 발명의 방법의 추가 실시예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 기록한 데이터 캐리어 (또는 디지털 저장 매체, 또는 컴퓨터 판독 가능한 매체)이다.
그래서, 본 발명의 방법의 추가 실시예는 여기에 설명된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 예를 들어 데이터 통신 접속을 통해, 예를 들어, 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시예는 여기에 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되는 처리 수단, 예를 들어, 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다.
추가 실시예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.
일부 실시예에서, 프로그램 가능한 논리 장치(예를 들어, 필드 프로그램 가능 게이트 어레이)는 여기에 설명된 방법의 일부 또는 모든 기능을 수행하는데 이용될 수 있다. 일부 실시예에서, 필드 프로그램 가능 게이트 어레이는 여기에 설명된 방법 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 이러한 방법은 바람직하게는 어떤 하드웨어 장치에 의해 수행된다.
상술한 실시예는 단지 본 발명의 원리를 위해 예시한 것이다. 여기에 설명된 배치 및 상세 사항의 수정 및 변형은 당업자에게는 자명한 것으로 이해된다. 그래서, 여기에서 실시예의 설명을 통해 제시된 특정 상세 사항에 의해 제한되지 않고, 첨부한 특허청구범위의 범위에 의해서만 제한되는 것으로 의도된다.

Claims (21)

  1. 입력 오디오 신호를 수정하는 장치(100)에 있어서,
    상기 입력 오디오 신호의 다수의 부대역 중 하나의 부대역(102)의 여기 매개 변수의 값(112)을 상기 부대역(102)의 에너지량(energy content)에 기초하여 결정하도록 구성되는 여기 결정기(110) ― 상기 여기 매개 변수의 값(112)은 상기 부대역의 상기 오디오 신호의 파워 또는 상기 부대역의 상기 오디오 신호의 단시간(short time) 에너지 또는 상기 부대역의 상기 오디오 신호의 상기 단시간 에너지의 양자화된 값을 나타냄 ―;
    다수의 스펙트럼 가중 요소를 포함하는 룩업 테이블을 저장하는 저장 장치(120) ― 상기 다수의 스펙트럼 가중 요소의 하나의 스펙트럼 가중 요소는 상기 여기 매개 변수의 미리 정의된 값 및 상기 다수의 부대역 중 하나의 부대역에 관련되며, 상기 저장 장치는 상기 여기 매개 변수의 결정된 값(112)에 상응하고 상기 여기 매개 변수의 값(112)이 결정되는 상기 부대역(102)에 상응하는 스펙트럼 가중 요소(124)를 제공하도록 구성됨 ―; 및
    상기 룩업 테이블에 의해 제공된 스펙트럼 가중 요소와 상기 오디오 신호의 상기 부대역의 곱셈 스케일링에 의해 수정된 부대역(132)을 제공하기 위해, 제공된 스펙트럼 가중 요소(124)에 기초하여, 상기 여기 매개 변수의 값(112)이 결정되는 상기 입력 오디오 신호의 부대역(102)의 콘텐츠를 수정하도록 구성되는 신호 수정기(130)를 포함하는, 입력 오디오 신호의 수정 장치.
  2. 청구항 1에 있어서,
    상기 여기 결정기(110)는 상기 다수의 부대역 중 하나 이상의 부대역(102)에 대한 여기 매개 변수의 값(112)을 결정하도록 구성되고, 상기 저장 장치(120)는 상기 여기 매개 변수의 값(112)이 결정되는 각 부대역(102)에 대한 스펙트럼 가중 요소(124)를 제공하도록 구성되며, 상기 신호 수정기(130)는 각각의 상응하는 제공된 스펙트럼 가중 요소(124)에 기초하여 상기 여기 매개 변수의 값(112)이 결정되는 각 부대역(102)의 콘텐츠를 수정하도록 구성되는, 입력 오디오 신호의 수정 장치.
  3. 청구항 1에 있어서,
    상기 입력 오디오 신호를 상기 다수의 부대역으로 분리하도록 구성되는 분석 필터 뱅크(410); 및
    수정된 오디오 신호를 제공하도록 적어도 하나의 수정된 부대역(132)을 포함하는 다수의 부대역을 조합하도록 구성되는 합성 필터 뱅크(420)를 더 포함하는, 입력 오디오 신호의 수정 장치.
  4. 청구항 1에 있어서,
    상기 룩업 테이블에 포함된 각 스펙트럼 가중 요소는 상기 여기 매개 변수의 미리 정의된 값 및 상기 다수의 부대역 중 하나의 부대역과 관련되는, 입력 오디오 신호의 수정 장치.
  5. 청구항 1에 있어서,
    상기 입력 오디오 신호의 상기 다수의 부대역 중 부대역들은 ERB 스케일 또는 Bark 스케일, 또는 인간의 귀의 주파수 해상도를 모방하는 다른 주파수 간격에 따라 분할되는, 입력 오디오 신호의 수정 장치.
  6. 청구항 1에 있어서,
    상기 여기 결정기(110)는 상기 다수의 부대역 중 모든 부대역에 대해서가 아닌 여기 매개 변수의 값(112)을 결정하도록 구성되고, 상기 룩업 테이블은 여기 매개 변수의 값이 결정되는 부대역에 관련된 스펙트럼 가중 요소만을 포함하는, 입력 오디오 신호의 수정 장치.
  7. 청구항 6에 있어서,
    여기 매개 변수의 값(112)이 결정되는 부대역(102)은 여기 매개 변수의 값이 결정되지 않는 부대역보다 낮은 주파수를 포함하는, 입력 오디오 신호의 수정 장치.
  8. 청구항 6에 있어서,
    상기 여기 결정기(110)가 상기 부대역에 대한 여기 매개 변수의 값(112)을 결정하지 않을 경우에, 상기 입력 오디오 신호의 부대역의 콘텐츠는 신호 수정기(130)에 의해 수정되지 않는, 입력 오디오 신호의 수정 장치.
  9. 청구항 1에 있어서,
    상기 여기 결정기(110)는 상기 다수의 부대역들 중 1 내지 부대역들의 3분의 1보다 적은 개수의 부대역들에 대해서 여기 매개 변수의 값(112)을 결정하도록 구성되고, 상기 신호 수정기(130)는 각각의 상응하는 제공된 스펙트럼 가중 요소에 기초하여 여기 매개 변수의 값이 결정되는 부대역들의 콘텐츠를 수정하도록 구성되며, 여기 매개 변수의 값이 결정되는 상기 부대역들은 상기 다수의 부대역들 중 모든 다른 부대역들보다 낮은 주파수들을 포함하는, 입력 오디오 신호의 수정 장치.
  10. 청구항 1에 있어서,
    상기 신호 수정기(130)는 여기 매개 변수의 값(112)이 결정되는 부대역(102)에 제공되는 스펙트럼 가중 요소(124)에 기초하여 여기 매개 변수의 값이 결정되지 않는 부대역의 콘텐츠를 수정하도록 구성되는, 입력 오디오 신호의 수정 장치.
  11. 청구항 10에 있어서,
    상기 신호 수정기(130)는 여기 매개 변수의 값(112)이 결정되고, 여기 매개 변수의 값(112)이 결정되는 모든 다른 부대역(102) 보다 높은 주파수를 포함하는 부대역(102)에 제공되는 스펙트럼 가중 요소(124)에 기초하여 여기 매개 변수의 값이 결정되지 않는 부대역의 콘텐츠를 수정하는, 입력 오디오 신호의 수정 장치.
  12. 청구항 1에 있어서,
    상기 룩업 테이블에 포함되는 스펙트럼 가중 요소는 외부 수정 매개 변수의 미리 정의된 값에 더 관련되고, 상기 저장 장치(120)는 부대역(102)의 상기 여기 매개 변수의 결정된 값(112)에 상응하고, 상기 여기 매개 변수의 값(112)이 결정되는 상기 부대역(102)에 상응하며, 상기 외부 수정 매개 변수의 값에 상응하는 스펙트럼 가중 요소(124)를 제공하도록 구성되는, 입력 오디오 신호의 수정 장치.
  13. 청구항 12에 있어서,
    상기 룩업 테이블은 상기 여기 매개 변수의 미리 정의된 값, 상기 다수의 부대역 중 부대역들 및 상기 외부 수정 매개 변수의 미리 정의된 값에 관련된 정확히 3차원을 포함하는, 입력 오디오 신호의 수정 장치.
  14. 청구항 12에 있어서,
    상기 신호 수정기(130)는 상기 외부 수정 매개 변수의 값에 기초하여 여기 매개 변수의 값이 결정되지 않는 부대역의 콘텐츠를 수정하도록 구성되는, 입력 오디오 신호의 수정 장치.
  15. 청구항 1에 있어서,
    상기 룩업 테이블에 포함되는 스펙트럼 가중 요소는 배경 잡음 매개 변수의 미리 정의된 값에 더 관련되고, 상기 저장 장치(120)는 상기 부대역(102)의 상기 여기 매개 변수의 결정된 값(112)에 상응하고, 상기 여기 매개 변수의 값(112)이 결정되는 상기 부대역(102)에 상응하며, 상기 배경 잡음 매개 변수의 값에 상응하는 스펙트럼 가중 요소(124)를 제공하도록 구성되는, 입력 오디오 신호의 수정 장치.
  16. 청구항 15에 있어서,
    상기 룩업 테이블은 상기 여기 매개 변수의 미리 정의된 값, 상기 다수의 부대역 중 부대역들, 외부 수정 매개 변수의 미리 정의된 값 및 상기 배경 잡음 매개 변수의 미리 정의된 값에 관련된 정확히 4차원을 포함하는, 입력 오디오 신호의 수정 장치.
  17. 청구항 1에 있어서,
    상기 저장 장치(120)는 특정 음의 크기의 매개 변수 또는 대상 특정 음의 크기의 매개 변수에 대한 입력을 포함하지 않는, 입력 오디오 신호의 수정 장치.
  18. 청구항 1에 있어서,
    상기 저장 장치(120)에 의해 저장된 상기 룩업 테이블은 상기 입력 오디오 신호를 수정하는 장치의 유일한 룩업 테이블인, 입력 오디오 신호의 수정 장치.
  19. 청구항 1에 있어서,
    상기 여기 결정기(110)는 상기 여기 매개 변수의 값이 상기 여기 매개 변수의 미리 정의된 값과 동일하도록 상기 부대역(102)의 에너지량을 측정하여, 상기 여기 매개 변수의 값을 획득하기 위해 상기 부대역의 측정된 에너지량을 양자화하도록 구성되는, 입력 오디오 신호의 수정 장치.
  20. 입력 오디오 신호를 수정하는 방법(500, 600)에 있어서,
    상기 입력 오디오 신호의 다수의 부대역 중 하나의 부대역의 여기 매개 변수의 값을 상기 부대역의 에너지량에 기초하여 결정하는 단계(510) ― 상기 여기 매개 변수의 값은 상기 부대역의 상기 오디오 신호의 파워 또는 상기 부대역의 상기 오디오 신호의 단시간 에너지 또는 상기 부대역의 상기 오디오 신호의 상기 단시간 에너지의 양자화된 값을 나타냄 ―;
    상기 여기 매개 변수의 결정된 값에 상응하고 상기 여기 매개 변수의 값이 결정되는 상기 부대역에 상응하는 스펙트럼 가중 요소(124)를 제공하는 단계(520) ― 상기 스펙트럼 가중 요소는 다수의 스펙트럼 가중 요소를 포함하는 룩업 테이블 내에 저장되고, 상기 다수의 스펙트럼 가중 요소 중 하나의 스펙트럼 가중 요소는 상기 여기 매개 변수의 미리 정의된 값 및 상기 다수의 부대역 중 하나의 부대역에 관련됨 ―;
    상기 룩업 테이블에 의해 제공된 스펙트럼 가중 요소와 상기 오디오 신호의 상기 부대역의 곱셈 스케일링에 의해 수정된 부대역을 제공하기 위해 제공된 스펙트럼 가중 요소에 기초하여, 상기 여기 매개 변수의 값이 결정되는 상기 부대역을 수정하는 단계(530)를 포함하는, 입력 오디오 신호의 수정 방법.
  21. 컴퓨터 프로그램이 컴퓨터 또는 마이크로 제어기 상에서 실행할 때에 청구항 20에 따른 방법을 수행하기 위한 프로그램 코드를 가진 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체.
KR1020127029682A 2010-04-22 2011-04-20 입력 오디오 신호를 수정하는 장치 및 방법 KR101469339B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10160679.6 2010-04-22
EP10160679.6A EP2381574B1 (en) 2010-04-22 2010-04-22 Apparatus and method for modifying an input audio signal
PCT/EP2011/056355 WO2011131732A1 (en) 2010-04-22 2011-04-20 Apparatus and method for modifying an input audio signal

Publications (2)

Publication Number Publication Date
KR20130008609A KR20130008609A (ko) 2013-01-22
KR101469339B1 true KR101469339B1 (ko) 2014-12-04

Family

ID=42570834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029682A KR101469339B1 (ko) 2010-04-22 2011-04-20 입력 오디오 신호를 수정하는 장치 및 방법

Country Status (14)

Country Link
US (1) US8812308B2 (ko)
EP (1) EP2381574B1 (ko)
JP (1) JP5632532B2 (ko)
KR (1) KR101469339B1 (ko)
CN (1) CN102986136B (ko)
AU (1) AU2011244268B2 (ko)
BR (1) BR112012026984B1 (ko)
CA (1) CA2796948C (ko)
ES (1) ES2526761T3 (ko)
HK (1) HK1161443A1 (ko)
MX (1) MX2012012113A (ko)
PL (1) PL2381574T3 (ko)
RU (1) RU2573246C2 (ko)
WO (1) WO2011131732A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006047600A1 (en) 2004-10-26 2006-05-04 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
TWI529703B (zh) 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
CN104303229B (zh) 2012-05-18 2017-09-12 杜比实验室特许公司 用于维持与参数音频编码器相关联的可逆动态范围控制信息的系统
CN103730131B (zh) * 2012-10-12 2016-12-07 华为技术有限公司 语音质量评估的方法和装置
KR101637897B1 (ko) 2013-01-21 2016-07-08 돌비 레버러토리즈 라이쎈싱 코오포레이션 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
KR102331129B1 (ko) 2013-01-21 2021-12-01 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
US20140379333A1 (en) * 2013-02-19 2014-12-25 Max Sound Corporation Waveform resynthesis
US9715880B2 (en) 2013-02-21 2017-07-25 Dolby International Ab Methods for parametric multi-channel encoding
CN104080024B (zh) 2013-03-26 2019-02-19 杜比实验室特许公司 音量校平器控制器和控制方法以及音频分类器
WO2014165304A1 (en) 2013-04-05 2014-10-09 Dolby Laboratories Licensing Corporation Acquisition, recovery, and matching of unique information from file-based media for automated file detection
WO2014179021A1 (en) 2013-04-29 2014-11-06 Dolby Laboratories Licensing Corporation Frequency band compression with dynamic thresholds
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
JP6476192B2 (ja) 2013-09-12 2019-02-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 多様な再生環境のためのダイナミックレンジ制御
WO2015038522A1 (en) 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation Loudness adjustment for downmixed audio content
CN110808723A (zh) 2014-05-26 2020-02-18 杜比实验室特许公司 音频信号响度控制
WO2016050740A1 (en) * 2014-10-01 2016-04-07 Dolby International Ab Efficient drc profile transmission
ES2916254T3 (es) 2014-10-10 2022-06-29 Dolby Laboratories Licensing Corp Sonoridad de programa basada en la presentación, independiente de la transmisión
EP3089364B1 (en) 2015-05-01 2019-01-16 Nxp B.V. A gain function controller
EP3171614B1 (en) 2015-11-23 2020-11-04 Goodix Technology (HK) Company Limited A controller for an audio system
JP2019522825A (ja) * 2016-05-20 2019-08-15 ケンブリッジ サウンド マネジメント， インコーポレイテッド サウンドマスキングのための自給式ラウドスピーカ
JP6844383B2 (ja) * 2017-03-31 2021-03-17 株式会社アドヴィックス 車両の制動装置
US10762910B2 (en) * 2018-06-01 2020-09-01 Qualcomm Incorporated Hierarchical fine quantization for audio coding
US11205414B2 (en) * 2019-02-15 2021-12-21 Brainfm, Inc. Noninvasive neural stimulation through audio
CN110010154B (zh) * 2019-03-26 2021-04-09 北京雷石天地电子技术有限公司 一种音量均衡方法及装置
EP3840222A1 (en) * 2019-12-18 2021-06-23 Mimi Hearing Technologies GmbH Method to process an audio signal with a dynamic compressive system
EP3840404B8 (en) * 2019-12-19 2023-11-01 Steelseries France A method for audio rendering by an apparatus
US11966661B2 (en) 2021-10-19 2024-04-23 Brainfm, Inc. Audio content serving and creation based on modulation characteristics
US11957467B2 (en) 2021-07-02 2024-04-16 Brainfm, Inc. Neural stimulation through audio with dynamic modulation characteristics
US11392345B1 (en) 2021-12-20 2022-07-19 Brainfm, Inc. Extending audio tracks while avoiding audio discontinuities

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097676A1 (en) * 2004-10-26 2009-04-16 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641361A (en) * 1985-04-10 1987-02-03 Harris Corporation Multi-band automatic gain control apparatus
US5255323A (en) 1990-04-02 1993-10-19 Pioneer Electronic Corporation Digital signal processing device and audio apparatus using the same
JPH0738553B2 (ja) * 1990-04-13 1995-04-26 パイオニア株式会社 音響装置のラウドネスコントロール回路
JP3119677B2 (ja) * 1991-06-10 2000-12-25 ローム株式会社 信号処理回路
JPH05206772A (ja) * 1992-01-30 1993-08-13 Alpine Electron Inc ラウドネス装置
JPH06177688A (ja) * 1992-10-05 1994-06-24 Mitsubishi Electric Corp オーディオ信号処理装置
JPH07122953A (ja) * 1993-10-22 1995-05-12 Matsushita Electric Ind Co Ltd 信号レベル圧縮装置
JP3322479B2 (ja) * 1994-05-13 2002-09-09 アルパイン株式会社 オーディオ装置
US6041297A (en) * 1997-03-10 2000-03-21 At&T Corp Vocoder for coding speech by using a correlation between spectral magnitudes and candidate excitations
JPH11166835A (ja) * 1997-12-03 1999-06-22 Alpine Electron Inc ナビゲーション音声補正装置
JP3505085B2 (ja) * 1998-04-14 2004-03-08 アルパイン株式会社 オーディオ装置
US6351529B1 (en) * 1998-04-27 2002-02-26 3Com Corporation Method and system for automatic gain control with adaptive table lookup
US6029126A (en) * 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
JP4522509B2 (ja) * 1999-07-07 2010-08-11 アルパイン株式会社 オーディオ装置
WO2001010020A1 (en) * 1999-07-28 2001-02-08 Clear Audio Ltd. Filter banked gain control of audio in a noisy environment
US7072477B1 (en) * 2002-07-09 2006-07-04 Apple Computer, Inc. Method and apparatus for automatically normalizing a perceived volume level in a digitally encoded file
CN101421781A (zh) * 2006-04-04 2009-04-29 杜比实验室特许公司 音频信号的感知响度和/或感知频谱平衡的计算和调整
DE102006047197B3 (de) * 2006-07-31 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten
JP4706666B2 (ja) * 2007-05-28 2011-06-22 日本ビクター株式会社 音量制御装置及びコンピュータプログラム
US8315398B2 (en) * 2007-12-21 2012-11-20 Dts Llc System for adjusting perceived loudness of audio signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097676A1 (en) * 2004-10-26 2009-04-16 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal

Also Published As

Publication number Publication date
KR20130008609A (ko) 2013-01-22
WO2011131732A1 (en) 2011-10-27
US20130046546A1 (en) 2013-02-21
BR112012026984B1 (pt) 2021-06-08
HK1161443A1 (en) 2012-08-24
RU2573246C2 (ru) 2016-01-20
CA2796948C (en) 2016-10-18
AU2011244268B2 (en) 2014-07-24
PL2381574T3 (pl) 2015-05-29
EP2381574B1 (en) 2014-12-03
CN102986136B (zh) 2016-02-10
CA2796948A1 (en) 2011-10-27
CN102986136A (zh) 2013-03-20
RU2012149697A (ru) 2014-05-27
MX2012012113A (es) 2013-02-26
JP2013537726A (ja) 2013-10-03
EP2381574A1 (en) 2011-10-26
JP5632532B2 (ja) 2014-11-26
ES2526761T3 (es) 2015-01-15
BR112012026984A2 (pt) 2017-10-03
US8812308B2 (en) 2014-08-19

Similar Documents

Publication Publication Date Title
KR101469339B1 (ko) 입력 오디오 신호를 수정하는 장치 및 방법
AU2011244268A1 (en) Apparatus and method for modifying an input audio signal
US9768748B2 (en) Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
KR101164937B1 (ko) 오디오 신호의 인식된 라우드니스를 계산 및 조정하는방법, 장치 및 컴퓨터 프로그램
EP2002429B1 (en) Controlling a perceived loudness characteristic of an audio signal
US8199933B2 (en) Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
WO2007034375A2 (en) Determination of a distortion measure for audio encoding
EP1835487B1 (en) Method, apparatus and computer program for calculating and adjusting the perceived loudness of an audio signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 6