KR20110039245A - 노이즈 필러, 노이즈 필링 파라미터 계산기, 인코딩된 오디오 신호 표현, 방법 및 컴퓨터 프로그램 - Google Patents

노이즈 필러, 노이즈 필링 파라미터 계산기, 인코딩된 오디오 신호 표현, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20110039245A
KR20110039245A KR1020117000435A KR20117000435A KR20110039245A KR 20110039245 A KR20110039245 A KR 20110039245A KR 1020117000435 A KR1020117000435 A KR 1020117000435A KR 20117000435 A KR20117000435 A KR 20117000435A KR 20110039245 A KR20110039245 A KR 20110039245A
Authority
KR
South Korea
Prior art keywords
spectral
noise
quantized
representation
audio signal
Prior art date
Application number
KR1020117000435A
Other languages
English (en)
Other versions
KR101251790B1 (ko
Inventor
니콜라스 레텔바흐
베른하르트 그릴
구일라우메 후쉬
스테판 게이어스베르거
마르쿠스 물트루스
해랄드 폽프
유르겐 헤어
스테판 와브닉
제랄드 슐러
젠스 허쉬펠트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40941986&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20110039245(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20110039245A publication Critical patent/KR20110039245A/ko
Application granted granted Critical
Publication of KR101251790B1 publication Critical patent/KR101251790B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

오디오 신호의 입력 스펙트럴 표현에 기초하여 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하기 위한 노이즈 필러에 있어서, 노이즈 필러는 식별된 스펙트럴 영역들을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역만큼 상기 입력 스펙트럴 표현의 비-제로 스펙트럴 영역들로부터 간격을 둔 상기 입력 스펙트럴 표현의 스펙트럴 영역들을 식별하도록 구성된 스펙트럴 영역 식별자 및 상기 오디오 신호의 상기 노이즈-필드된 스펙트럴 표현을 획득하기 위해, 노이즈를 상기 식별된 스펙트럴 영역들로 선택적으로 도입하도록 구성된 노이즈 삽입기를 포함한다. 오디오 신호의 양자화된 스펙트럴 표현을 기초로 하여 노이즈 필링 파라미터를 제공하기 위한 노이즈 필링 파라미터 계산기에 있어서, 노이즈 필링 파라미터 계산기는 식별된 스펙트럴 영역들을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역만큼, 상기 양자화된 스펙트럴 표현의 비-제로 스펙트럴 영역들로부터 간격을 둔 양자화된 스펙트럴 표현의 스펙트럴 영역들을 식별하도록 구성된 스펙트럴 영역 식별자 및 상기 노이즈 필링 파라미터의 계산을 위해, 상기 식별된 스펙트럴 영역들의 양자화 에러들을 선택적으로 고려하도록 구성된 노이즈 값 계산기를 포함한다. 따라서, 오디오 신호에 존재하는 인코딩된 오디오 신호 표현은 획득될 수 있다.

Description

노이즈 필러, 노이즈 필링 파라미터 계산기, 인코딩된 오디오 신호 표현, 방법 및 컴퓨터 프로그램{NOISE FILLER, NOISE FILLING PARAMETER CALCULATOR, METHOD FOR PROVIDING A NOISE FILLING PARAMETER, METHOD FOR PROVIDING A NOISE-FILLED SPECTRAL REPRESENTATION OF AN AUDIO SIGNAL, CORRESPONDING COMPUTER PROGRAM AND ENCODED AUDIO SIGNAL}
본 발명은 오디오 신호의 입력 스펙트럴 표현에 기초한 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하는 노이즈 필러, 오디오 신호의 양자화된 스펙트럴 표현에 기초한 노이즈 필링 파라미터를 제공하는 노이즈 필링 파라미터 계산기, 오디오 신호를 표현하는 인코딩된 오디오 신호 표현, 오디오 신호의 노이즈 필드된 스펙트럴 표현을 제공하는 방법, 오디오 신호의 양자화된 스펙트럴 표현에 기초한 노이즈 필링 파라미터를 제공하는 방법, 및 상기 방법을 이용한 실행하는 컴퓨터 프로그램에 관한 것이다.
이하에서는, 본 발명에 따른 실시예들이 바람직하게 적용될 수 있는 여러 시나리오들이 서술될 것이다. 많은 주파수 도메인 오디오 신호 인코더들이, 어떤 주파수 영역들 또는 스펙트럴 영역들(예를 들어, 시간-영역 대 주파수-영역 변환에 의해 제공되는 주파수 라인들 또는 스펙트럴 라인들)이 다른 스펙트럴 영역들보다 더 중요하다는 아이디어에 기초한다. 따라서, 높은 심리음향적 관련성의 스펙트럴 영역들은 통상적으로, 낮은 심리음향적 관련성의 스펙트럴 영역들보다 높은 정확도로 인코딩된다. 여러 스펙트럴 영역들의 심리음향적 관련성은, 예를 들어, 인접한 강한 스펙트럴 피크들에 의해 더 약한 스펙트럴 영역들의 마스킹을 고려하는 심리음향적 모델을 이용해 계산될 수 있다.
인코딩된 오디오 신호의 비트레이트를 낮은 레벨로 감소시키고자 한다면, 어떤 스펙트럴 영역들은 매우 낮은 정확도(예를 들어, 단지 한 비트 정확도, 또는 두 비트 정확도)로 양자화된다. 따라서, 낮은 정확도로 양자화되는 스펙트럴 영역들 중 많은 영역들이 0으로 양자화된다. 그에 따라, 낮은 비트레이트에서 변환-기반 오디오 코더들이 많은 아티팩트들 및 특히 0-양자화된 주파수 라인들로부터 기인한 아티팩트들을 가지는 경향이 있다. 사실, 낮은 비트레이트 오디오 코딩에서의 스펙트럴 값들의 성근(coarse) 양자화는, 많은 스펙트럴 라인들이 0으로 양자화될 수 있기 때문에 역 양자화 후에 매우 희박한 스펙트럼들을 도출할 수 있다. 재구성된 신호에서의 주파수 홀들은 바람직하지 않은 사운드 아티팩트들을 생성한다. 바람직하지 않은 사운드 이티팩트들은 스펙트럼들에서의 주파수 홀들이 프레임마다 움직일 때 재생된 사운드를 매우 날카롭거나 불안정(birdies)하게 만들 수 있다.
노이즈 필링은 디코더 단에서 랜덤 노이즈를 이용해 0-양자화된 계수들 또는 대역들을 필링함으로써 이러한 아티팩트들을 마스킹하는 수단이다. 삽입된 노이즈의 에너지는 인코더에 의해 계산되고 전송된 파라미터이다.
여러 개념의 노이즈 필링이 알려져 있다. 예를 들어, 소위 AMR-WR+는, 참조문헌 [1]에 개시된 바와 같이, 노이즈 필링 및 이산 푸리에 변환(DFT)을 결합한다. 더불어, 국제 표준화 기구 ITU-T G.729.1은 노이즈 필링 및 변형된 이산 코사인 변환(MDCT)을 결합한 개념을 정의한다. 상세한 사항들은 참조문헌 [2]에 개시된다.
노이즈 필링과 관련한 추가적인 측면들이 Koninklijke Philips Electronics N.V. 에 의한 국제특허출원 PCT/IB2002/001388 에 서술된다(참조문헌 [3] 참조).
그럼에도 불구하고, 종래의 노이즈 필링 개념들은 가청 왜곡을 야기시킨다.
이러한 측면에서, 향상된 청취감을 제공하는 노이즈 필링의 개념을 창출하고자 하는 요청이 있다.
본 발명의 목적은 오디오 신호의 입력 스펙트럴 표현을 기초로 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하기 위한 노이즈 필러를 창출하는 것이다.
본 발명의 일 실시예는 오디오 신호의 입력 스펙트럴 표현을 기초로 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하기 위한 노이즈 필러를 창출한다. 상기 노이즈 필러는 식별된 스펙트럴 영역들을 획득하기 위하여 적어도 하나의 중간 스펙트럴 영역만큼 상기 입력 스펙트럴 표현의 비-제로 스펙트럴 영역들(예를 들어 스펙트럴 라인들 또는 스펙트럴 방식들)로부터 간격을 둔 상기 입력 스펙트럴 표현의 스펙트럴 영역들(예를 들어, 스펙트럴 라인들, 또는 스펙트럴 방식들)을 식별하도록 구성된 스펙트럴 영역 식별자를 포함한다. 상기 노이즈 필러는 또한 오디오 신호의 상기 노이즈-필드된 스펙트럴 표현을 획득하기 위해, 노이즈를 상기 식별된 스펙트럴 영역들(예를 들면, 스펙트럴 라인들 또는 스펙트럴 방식들)로 선택적으로 도입하도록 구성된 노이즈 삽입기를 포함한다.
본 발명의 실시예는 만일 노이즈 필링이 음조 컴포넌츠의 인접한 주위로 적용되는 경우, 청취감의 관점에서 오디오 신호의 스펙트럴 표현의 음조 컴포넌트가 저하되는 것을 찾는 것에 기초를 두고 있다. 따라서, 만일 노이즈 필링이 음조, 비-제로 스펙트럴 영역들로부터 간격을 두고 있는 스펙트럴 영역들에만 적용된다면 노이즈-필드된 오디오 신호의 향상된 청취감은 획득될 수 있다는 것이 발견되었다. 따라서, 오디오 신호 스펙트럼의 음조 컴포넌트는 잘 들리는 것으로 남아있고, 한편 큰 스펙트럴 정공들의 존재는 여전히 효율적으로 회피된다.
바람직한 실시예에서, 스펙트럴 영역 식별자는 상기 입력 스펙트럴 표현의 스펙트럴 라인들을 식별하는 것으로 구성되고, 상기 스펙트럴 라인들은 0으로 양자화되고, 또한 0으로 양자화된 더 낮은 주파수 주변 스펙트럴 라인들의 적어도 제1 미리 결정된 수와 0으로 양자화된 더 높은 주파수 주변 스펙트럴 라인들의 적어도 제2 미리 결정된 수를 포함하고, 여기서 상기 제1 미리 결정된 수는 1보다 크거나 같고, 상기 제2 미리 결정된 수는 1보다 크거나 같다. 상기 실시예에서, 노이즈 삽입기는 비-제로 값으로 양자화되는 스펙트럴 라인들과 0으로 양자화되는 스펙트럴 라인들을 남기지만, 0으로 양자화되는 더 낮은 주파수 주변 스펙트럴 라인들의 제1 미리 결정된 수 또는 노이즈 필링에 의해 영향을 받지 않는 0으로 양자화되는 더 높은 주파수 주변 스펙트럴 라인들의 제2 미리 결정된 수를 가지지 않으면서, 식별된 스펙트럴 라인들로 노이즈가 선택적으로 도입되도록 구성된다. 따라서, 상기 노이즈 필링은 선택적이고, 여기서 노이즈는 오직 스펙트럴 라인들에서만 도입되고, 상기 스펙트럴 라인들은 0으로 양자화되고, 상기 스펙트럴 라인들은 위쪽 스펙트럴 방향과 아래 쪽 스펙트럴 방향 모두 비-제로 값으로 양자화된 라인들로부터 간격을 두게 되는데, 예를 들어, 0으로 양자화되는 더 낮은 주파수의 주위 스펙트럴 라인들의 제1 미리 결정된 수만큼 그리고 0으로 양자화되는 더 높은 주파수의 주위 스펙트럴 라인들의 제2 미리 결정된 수만큼 간격을 두게 된다.
바람직한 실시예에서, 상기 제1 미리 결정된 수는 상기 제2 미리 결정된 수와 같은데, 이는 비-제로 값으로 양자화된 라인들로부터 위쪽 주파수 방향에서의 최소 간격과 비-제로 값으로 양자화된 라인들로부터 아래쪽 주파수 방향에서의 최소 간격이 같다는 것이다.
바람직한 실시예에서, 노이즈 필러는 노이즈 필링에 의해 영향을 받지 않는 오디오 신호의 스펙트럴 표현의 아래쪽 부분을 남겨놓고, 오디오 신호의 입력 스펙트럴 표현의 위쪽 부분의 스펙트럴 영역들로 노이즈가 도입되는 것으로 구성된다. 이러한 개념은 대게 더 높은 주파수들이 낮은 주파수들보다 지각적으로(perceptually) 덜 중요할 경우 유용하다. 0 양자화 값들은 또한 스펙트럼들의 후반부에서 대부분 발생한다(예를 들어 높은 주파수들에서). 또한, 높은 주파수들에서의 노이즈 추가는 최종 소음 보상을 덜 획득하게 하는 경향이 있다.
바람직한 실시예에서, 스펙트럴 영역 식별자는 합계를 획득하기 위하여 주어진 스펙트럴 영역(예를 들어 스펙트럴 주위는 더 낮은, 더 높은 주파수들 모두로 확장됨)의 미리 결정된 양측의 스펙트럴 주변의 스펙트럴 영역들의 양자화된 강도 값들(예를 들면 에너지 값들 또는 크기 값들)을 합하여, 상기 주어진 스펙트럴 영역이 식별된 스펙트럴 영역인지 결정하기 위해 합계를 평가하도록 구성된다. 주어진 스펙트럴 영역 양측의 스펙트럼 주위의 양자화된 스펙트럼의 에너지의 합계는 노이즈 필링이 주어진 스펙트럼 영역에 적용되어야 하는지를 결정하기에 의미 있는 양이다.
다른 바람직한 실시예에서, 상기 스펙트럼 영역 식별자는 0으로 양자화된 스펙트럴 영역들의 인접한 시퀀스들을 감지하기 위하여, 상기 입력 스펙트럴 표현의 스펙트럴 영역들의 범위를 스캔하고, 상기 감지된 인접한 시퀀스들의 하나 이상의 중앙 스펙트럴 영역들(예를 들면 비-경계 스펙트럴 영역들)을 상기 식별된 스펙트럴 영역들로서 인식하도록 구성된다.
0으로 양자화되는 스펙트럴 영역들의 특정 "run-length" 감지는 수행될 수 있는 낮은 계산 복잡도로 해결될 수 있는 업무인 것으로 발견되었다. 스펙트럴 영역들의 인접한 시퀀스를 식별하기 위하여, 스펙트럴 영역들의 상기 시퀀스 내에 스펙트럴 영역들의 모두가 0으로 양자화되어있는지 여부를 비교적 단순한 알고리즘이나 회로를 사용하여 수행될 수 있는 것으로 결정하는 것이 가능하다. 만일 스펙트럴 영역들(스펙트럴 영역들의 존재하는 시퀀스의 바깥쪽 스펙트럴 영역들로부터 충분히 거리를 둔)의 인접한 시퀀스가 0으로 양자화되는 것이 발견된다면, 시퀀스의 안쪽 스펙트럴 영역들의 하나 이상이 식별된 스펙트럴 영역들로 취급된다. 따라서, 스펙트럴 영역들의 범위(예를 들면 계속해서 스펙트럴 영역들의 다른 시프트된 시퀀스들을 선택)를 통한 스캐닝에 의해 스펙트럴 표현의 효율적인 분석은 0으로 양자화되고 미리 결정된 최소 거리에 의해 비-제로 값으로 양자화된 스페트럴 영역들로부터 간격을 둔 스펙트럴 영역들을 식별하기 위하여 만들어질 수 있다.
본 발명의 다른 실시예는 오디오 신호의 양자화된 스펙트럴 표현을 기초로 노이즈 필링 파라미터를 제공하기 위해 노이즈 필링 파리미터 계산기를 창출할 수 있다. 상기 노이즈 필링 파라미터 계산기는 식별된 스펙트럴 영역들을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역만큼, 상기 양자화된 스펙트럴 표현의 비-제로 스펙트럴 영역들로부터 간격을 둔 양자화된 스펙트럴 표현의 스펙트럴 영역들을 식별하도록 구성된 스펙트럴 영역 식별자를 포함한다. 상기 노이즈 필링 파라미터는 또한 상기 노이즈 필링 파라미터의 계산을 위해, 상기 식별된 스펙트럴 영역들의 양자화 에러들을 선택적으로 고려하도록 구성된 노이즈 값 계산기를 포함한다. 상기 노이즈 필링 파라미터 계산기는 핵심 아이디어에 기초를 두고 있는데, 여기서 핵심 아이디어는 디코더-측의 노이즈 필링이 음조 스펙트럴 영역들(비-제로 값으로 양자화)로부터 간격을 둔 스펙트럴 영역들로 제한되는 것이 바람직하고, 따라서 노이즈 파라미터는 인코더 측에서 계산되어야 한다는 것이다. 따라서, 상술한 디코더 개념에 특히 부합하는 노이즈 필링 파라미터가 획득된다. 0으로 양자화되었으나 비-제로 값으로 양자화된 스펙트럴 영역들로부터 매우 가까운 스펙트럴 영역들은 종종 정확이 소음 같은 오디오를 반사하지 않지만 인접한 음조(비-제로 값으로 양자화된)스펙트럴 영역과 강한 연관성이 있다. 따라서, 노이즈 필링 파라미터의 계산을 위한 비-제로 값으로 양자화되는 스펙트럴 영역들과 가까운 스펙트럴 영역들의 양자화 에러를 고려하는 것이 일반적으로 바람직하지 않다는 것이 발견되었는데, 이는 종래 소음의 강한 과대평가로 상당히 노이지한 재구성된 스펙트럴 표현의 결과 때문이다.
따라서, 여기 서술된 상기 노이즈 필링 파라미터 계산기의 개념은 상술된 노이즈 필링 개념의 조합에 유용하고 심지어 종래의 노이즈 필링 개념들의 조합에도 유용하다.
바람직한 실시예에서, 노이즈 필러 측면에서 서술된 스펙트럴 영역들의 식별을 위한 개념은 노이즈 필링 파라미터 계산기의 조합에 적용될 수 있다.
다른 바람직한 실시예에서, 상기 노이즈 값 계산기는 노이즈 필링 파라미터의 계산을 위한 식별된 스펙트럴 영역들의 양자화 에러의 실제 에너지를 검토하는 것으로 구성된다. 실제 양자화 에러(평가된 양자화 에러 또는 양자화 에러의 평균 보다는)의 검토는 통계적으로 예상되었던 양자화 에러로부터 실제 양자화 에러가 일반적으로 벗어났기 때문에 일반적으로 향상된 결과를 가져왔다.
또 다른 바람직한 실시예에서, 상기 노이즈 값 계산기는 단수의 스펙트럴 영역 또는 인접한 스페트럴 라인들의 복수 내에 집중된 음조 양자화 에러 에너지와 관련하여 식별된 스펙트럴 영역들의 복수인 상태를 이용하여 분산된 비-음조 양자화 에너지를 강조하도록 구성된다. 이러한 개념은 비-음조 와이드밴드 노이즈에 대해서 발견하는 것에 기초를 두는데, 상기 비-음조 와이드밴드 노이즈의 평균에너지는 양자화 문턱 값 미만이고, 따라서 비-음조 와이드밴드 노이즈는 0으로 양자화 되고, 비록 상기 비-음조 와이드밴드 노이즈가 0으로 양자화 및 음조 컴포넌트가 0으로 양자화되는 것 모두 0으로 양자화된다 하여도, 비-음조 와이드밴드 노이즈가 단수의 음조 오디오 컴포넌트보다 지각적으로(perceptually) 훨씬 더 관련이 있다. 상기와 같이 되는 이유는 디코더 측에서 임의로 생성된 것에 의한 노이즈 필러는 양자화된 스펙트럴 표현에서 손실된 비-음조 와이드 밴드 노이즈를 만들 수 있으나, 손실되지 않은 음조 컴포넌츠들은 만들 수 없기 때문이다. 따라서, 0으로 양자화된 음조 컴포넌츠에 비해 0으로 양자화된 비-음조 노이즈 컴포넌츠의 강점은 더 현실적인 소리 재구성에 있다. 이것은 또한 사람의 청취감이 0으로 양자화된 작은 스펙트럴 피크의 부재보다 스펙트럴 정공(예를 들면, 0으로 양자화 된 와이드 밴드 노이즈의 부재의 관점에서)의 존재에 의해 훨씬 더 저하된다는 사실에 기인한다. 음조 컴포넌트는 단수의 스펙트럴 라인에서 집중되거나 몇 개의 스펙트럴 인접한 라인들(예를 들면 i-1, i, i+1)을 통해 확장된다. 스펙트럴 영역은, 예를 들면, 하나 이상의 스펙트럴 라인들을 포함한다.
바람직한 실시예에서, 노이즈 값 계산기는 상기 노이즈 필링 파라미터를 획득하기 위하여 식별된 스펙트럴 영역의 로그화된 양자화 에러 에너지의 합을 계산하도록 구성된다. 식별된 스펙트럴 영역들의 로그화된 양자화 에러 에너지들의 합의 계산에 의해 상술된 0으로 양자화된 음조 컴포넌츠에 비해 0으로 양자화된 비-음조 노이즈 컴포넌츠의 강점은 효율적인 방식으로 획득될 수 있다.
본 발명의 다른 실시예는 오디오 신호을 표현하기 위해 인코딩된 오디오 신호 표현을 창출한다. 상기 인코딩된 오디오 신호 표현은 오디오 신호의 인코딩 되고 양자화된 스펙트럴 영역 표현과 인코딩된 노이즈 필링 파라미터로 구성된다. 상기 노이즈 필링 파라미터는 적어도 하나의 중간 스펙트럴 영역에 의해 비-지로 값으로 양자화된 스펙트럴 영역 표현의 스펙트럴 영역들로부터 간격을 둔 0으로 양자화된 스펙트럴 영역 표현의 스펙트럴 영역들의 양자화 에러를 표현하는 노이즈 필링 파라미터를 포함한다. 상술 된 인코딩된 오디오 신호 표현은 상술 된 노이즈 필러에 의해 사용 가능하고, 상술 된 노이즈 필링 파라미터 계산기를 사용하여 획득될 수 있다. 인코딩된 오디오 신호 표현은 특히 탁월한 오디오 품질과 함께 오디오 신호의 재구성을 감안할 수 있는데, 노이즈 필링 파라미터가 스펙트럴 영역들에 대한 양자화된 스펙트럴 영역 표현의 양자화 에러를 선택적으로 반사하기 때문이고, 여기서 의미 있는 노이즈 정보는 스펙트럴 영역들에 존재하고, 이는 디코더 측의 노이즈-필링을 위해 선택적으로 검토되어야 한다.
본 발명에 따른 또 다른 실시예는 오디오 신호의 노이즈 필드된 표현을 제공하기 위한 방법을 창출한다.
본 발명에 따른 또 다른 실시예는 오디오 신호의 양자화된 스펙트럴 표현을 기초로한 노이즈 필링 파라미터를 제공하기 위한 방법을 창출한다.
본 발명에 따른 또 다른 실시예는 상기 언급된 방법들을 수행하기 위한 컴퓨터 프로그램을 창출한다.
본 발명은 감소된 아티팩트들과 함께 노이즈 필링을 향상시키는 것을 가능하게 한다.
이하, 도면들을 참조하여 본 발명에 따른 실시예들이 순서대로 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른, 노이즈 필러의 블록 개략도를 도시한다.
도 2는 본 발명에 따른 노이즈 필러를 포함하는 오디오 신호 디코더의 블록 개략 다이어그램을 도시한다.
도 3은 도 1의 노이즈 필러의 기능을 구현하는 슈도 프로그램 코드를 도시한다.
도 4는 도 1에 따른 노이즈 필러에서 수행될 수 있는, 스펙트럴 영역들의 식별의 그래픽적 표현을 도시한다.
도 5는 본 발명의 일 실시예에 따른 노이즈 필링 파라미터 계산기의 블록 개략 다이어그램을 도시한다.
도 6은 도 5에 따른 노이즈 필링 파라미터 계산기의 기능을 구현하는 슈도 프로그램 코드를 나타낸다.
도 7은 오디오 신호의 입력 스펙트럴 표현에 기초하여 오디오 신호의 노이즈 필드 스펙트럴 표현을 제공하는 방법의 플로우 차트를 도시한다.
도 8은 오디오 신호의 양자화된 스펙트럴 표현에 기초하여 오디오 신호의 노이즈드 필링 파라미터를 제공하는 방법의 플로우 차트를 도시한다.
도 9는 본 발명의 일 실시예에 따른, 오디오 신호 표현의 그래픽적 표현을 도시한다.
도 1-4에 따른 노이즈 필러
도 1은 본 발명의 일 실시예에 따른, 노이즈 필러(100)의 블록 개략 다이어그램을 도시한다. 노이즈 필러(100)는, 예를 들어 디코딩된 스펙트럴 계수들(예를 들어 양자화되거나 또는 역으로 양자화될 수 있는)의 형태로, 오디오 신호의 입력 스펙트럴 표현(110)을 수신하도록 구성된다. 노이즈 필러(100)는 또한, 입력 스펙트럴 표현(110)에 기초하여 오디오 신호의 노이즈 필드 스펙트럴 표현(112)을 제공하도록 구성된다.
노이즈 필러(100)는 적어도 하나의 중간 스펙트럴 영역에 의해 입력 스펙트럴 표현(110)의 비-제로 스펙트럴 영역으로부터 간격을 갖는 입력 스펙트럴 표현(110)의 스펙트럴 영역을 식별하기 위한 스펙트럴 영역 식별자(120)를, 식별된 스펙트럴 영역을 지시하는 정보(122)를 얻기 위해 포함한다. 상기 노이즈 필러(100)는 또한 오디오 신호의 노이즈 필드된 스펙트럴 표현(112)를 얻기 위해, 식별된 스펙트럴 영역에 선택적으로 노이즈를 내놓는 (정보(122)에 서술된) 노이즈 삽입기(130)를 포함한다.
노이즈 필러(100)의 기능과 관련하여, 노이즈 필러(100)는 입력 스펙트럴 표현(110)의 스펙트럴 영역(예를 들어 스펙트럴 라인들 또는 스펙트럴 방식들)을 노이즈로 선택적으로 채우는 것으로, 예를 들어 노이즈를 나타내는 스펙트럴 값들의 대치로 0으로 양자화된 스펙트럴 라인들의 스펙트럴 값들을 대치함으로써, 일반적으로 불려진다. 상기와 같이, 상기 입력 스펙트럴 표현(110) 내에 스펙트럴 정공들 또는 스펙트럴 갭(gap)들은 채워질 수 있는데, 예를 들어 입력 스펙트럴 표현(110)의 성근(coarse) 양자화로부터 올 수 있다. 그러나, 노이즈 필러(100)는 0으로 양자화된 모든 스펙트럴 라인들에 노이즈를 내놓지 않는다(예를 들어 스펙트럴 값들이 영으로 양자화 되는 스펙트럴 라인들). 오히려, 노이즈 필러(100)는 다른 비-제로 값으로 양자화된 스펙트럴 라인들로부터 충분히 거리를 갖는 것을 포함하는, 그러한 0으로 양자화 된 스펙트럴 라인들에게만 노이즈를 내놓는다. 상기와 같이, 노이즈 필링은 전체적으로 스펙트럴 정공들 또는 스펙트럴 갭(gap)들을 채우진 않지만, 노이즈가 도입되고 스펙트럴 라인들이 비-제로 값으로 양자화 되는 상기 스펙트럴 라인들 사이에 적어도 하나의 스펙트럴 영역(또는 적어도 하나의 미리 결정된 수의 다른 스펙트럼 영역들)의 스펙트럴 거리를 유지시킨다. 따라서, 필링 노이즈, 스펙트럴 표현으로의 도입 및 비-제로 값으로 양자화된 스펙트럴 라인들 사이의 스펙트럴 거리는 유지되는데, 심리음향적으로 관련된 스펙트럴 라인들(스펙트럴 라인들은 오디오 신호의 입력 스펙트럴 표현 안에서 0으로 양자화 되지 않는다)은 노이즈 필터에 의해 스펙트럼 안으로 도입된 필링 노이즈로부터 명확히 구분된다(하나 또는 그 이상의 스펙트럴 영역들의 미리 결정된 수의 스펙트럴 거리 때문). 따라서, 심리음향적으로 가장 관련된 오디오 콘텐트(입력 스펙트럴 표현(110)에서 비-제로 스펙트럴 라인 값으로 표현되는)는 명확히 감지되나, 큰 스펙트럼 정공은 회피된다. 이는 비-제로 값으로 양자화되는 입력 스펙트럴 표현의 스펙트럴 라인들의 근접한 곳에서 노이즈 필링이 선택적으로 생략된다는 사실 때문이나, 반면에 노이즈 필링은 스펙트럴 정공들 또는 스펙트럴 갭들의 중심 영역에서 실행된다.
다음은 노이즈 필러(100)에 대한 응용환경이 도 2에 도시되어 있다. 도 2는 본 발명에 따른 노이즈 필러를 포함하는 오디오 신호 디코더의 블록 개략 다이어그램을 도시한다. 오디오 신호 디코더(200)는 노이즈 필러(100)를 중요 요소로 포함한다. 또한, 오디오 신호 디코더(200)는 인코딩된 오디오 신호 표현(212)을 수신하고 인코딩된 오디오 신호의 스펙트럴 계수의 디코딩 되고, 선택적으로 역으로 양자화된 표현(214)을 제공하도록 구성된 스펙트럴 계수 디코더(210)를 포함한다. 상기 스펙트럴 계수 디코더(210)는 예를 들어 엔트로피 디코더(예를 들어, 산술적 디코더 또는 런렝스 디코더) 그리고, 인코딩된 오디오 신호 표현(212)으로부터 스펙트럴 계수들(예를 들어, 역으로 양자화된 계수들의 형태)의 디코딩된 표현(214)을 얻기 위한 선택적 역 양자화기를 포함할 수 있다. 상기 노이즈 필러(100)는 오디오 신호의 입력 스펙트럴 표현(110)으로서 스펙트럴 계수들(스펙트럴 계수들은 선택적으로 역 양자화 된다)의 디코딩된 표현(214)을 수신하도록 구성된다.
또한, 오디오 신호 디코더(200)는 인코딩된 오디오 신호 표현(212) 으로부터 노이즈 인자 정보(222)를 추출하고 추출된 노이즈 인자 정보(222)를 노이즈 필러(100)로 제공하도록 구성된 노이즈 인자 추출기(220)를 포함한다. 또한, 상기 오디오 신호 디코더(200)는 상기 노이즈 필러(100)로부터 재구성된 스펙트럼 표현(232)을 수신하도록 구성된 스펙트럼 재형성기(230)를 포함한다. 상기 재구성된 스펙트럼 표현(232)은 예를 들어 노이즈 필러에 의해 제공된 노이즈 필드된 스펙트럴 표현(112)과 같을 수도 있다. 선택적으로 고려될 수 있는 상기 스펙트럼 재형성기(230)에는 재구성된 스펙트럼 표현(232)에 기초하여 스펙트럼 정보(234)를 제공하는 것이 포함된다. 상기 오디오 신호 디코더(200)는 스펙트럼 재형성기(230)로부터 스펙트럼 표현(234)을, 스펙트럼 재형성기(230)가 없는 경우 재구성된 스펙트럼 표현(232)을 받고, 상기 받은 것을 기초로 시간-영역 오디오 신호 표현(242)을 제공하는 시간-영역 컨버터(240)을 더 포함한다. 상기 스펙트럴-영역을 시간-영역으로 변환하는 컨버터(240)는 예를 들어 역으로 변형된 이산 코사인 변환(IMDCT)을 수행하도록 구성될 수 있다.
바람직한 실시예로, 디코더 측에서의 노이즈 필링은 다음의 단계들(또는 다음 단계들을 따른다)을 포함한다:
1.노이즈 플로워 디코딩
2.주파수 라인들의 양자화된 값들의 디코딩
3.0들의 런렝스가 최소의 런렝스 크기보다 더 큰 스펙트럼들의 선택된 부분에서 스펙트럴 영역들을 감지; 그리고
4.임의로 생성된 신호를 선택된 영역들 내의 라인들 각각에 디코딩된 노이즈 플로워에 적용.
노이즈 플로워는 다음과 같이 디코딩 됨:
nf_decoded = 0.0625*(8-index).
예를 들어, 감지된 스펙트럴 영역들은 인코더 측(아래에 서술될)에서 수행되는 방식으로 선택된다.
MDCT 영역에서 메모리가 없는(memoryless) 가우시안 노이즈는 모든 라인들에 대해 같은 크기의 스펙트럼 그러나 임의의 신호들에 의해 생성된다. 따라서, 선택된 영역들 내에 라인들 마다 디코더는 랜덤 신호(-1 또는 +1)를 생성하고 디코딩된 노이즈 플로워에 생성된 랜덤 신호를 적용한다. 그러나, 노이즈 기여도 제공의 다른 방법들은 똑같이 적용될 수 있다.
다음은, 몇 가지 세부 정보들이 도 1, 2, 3 및 4를 참조하여 서술될 것인데, 도 3은 노이즈 필러(100)에 의해 구현되는 디코더 측의 노이즈 필링을 위한 알고리즘의 슈도 프로그램 코드를 도시하고, 도 4는 노이즈 필링의 그래픽적 표현을 도시한다.
우선, 노이즈 플로워의 디코딩은 노이즈 인자 추출기(220)에 의해 수행될 수 있는데, 예를 들어, 노이즈 인자 인덱스(또한 인덱스로 간단히 지정된)를 받고, 상기 노이즈 인자 인덱스에 기초하여 디코딩된 노이즈 인자 값(222)(또한, nf_decoded로 지정됨)을 제공한다. 예를 들어 상기 노이즈 인자 인덱스는 셋 또는 네개의 비트들을 사용하여 인코딩 될 수 있고, 예를 들어 상기 노이즈 인자 인덱스는 0에서 7사이의 범위를 갖는 정수 값이 될 수 있고, 또는 0에서 15사이의 범위를 갖는 정수 값이 될 수 있다.
주파수 라인들(또한 스펙트럴 라인들 또는 스펙트럴 방식들로 지정된)의 양자화된 값들은 상기 스펙트럴 계수 디코더(210)에 의해 제공될 수 있다. 따라서, 양자화된 (x(i))로 지정된 양자화된(또는 선택적으로, 역으로 양자화된) 스펙트럴 라인 값들(또한 스펙트럴 계수들로 지정된)이 획득된다. 여기서 i는 스펙트럴 라인 값들의 주파수 인덱스를 지정한다.
계속해서, 스펙트럴 영역들은 스펙트럼들(예를 들어, 미리 결정된 스펙트럴 라인 주파수 인덱스 i로부터 시작된 스펙트럼의 위쪽 부분)의 선택된 부분의 노이즈 필러(100)에 의해 감지되는데, 0들의(예를 들어, 0으로 양자화된 스펙트럴 라인 값들의) 런렝스가 최소의 런렝스의 크기보다 더 크다. 상기와 같은 스펙트럴 영역들의 감지는 도 3의 알고리즘(300)에서 첫 번째 부분(310)에 의해 수행된다. 상기 알고리즘(300)에서 첫 번째 부분(310)으로부터 보여지는 바와 같이 감지된 영역들의 집합 R은 알고리즘의 시작(R={};)에서 공집합(empty set)으로 초기화된다.
도 3의 알고리즘의 예에서 최소의 런렝스는 8의 고정된 값으로 집합되지만, 자연히 다른 값들도 선택될 수 있다.
계속해서, 각각의 스펙트럴 라인들이 0으로 양자화된(그리고 고려중인 스펙트럴 라인이 그 자체로 0으로 양자화되는지 여부) 스페트럴 라인들의 양측 환경을 포함 하는지 여부가(실행 변수 "Line Index"에 의해 지정된)고려중인 복수의 스펙트럴 라인에 대해서 결정된다. 예를 들어, 스펙트럼의 제2 절반부의 현재 주파수 인덱스인 "Line Index"에 의해 지정되는 모든 라인들은 성공적으로 고려중인 라인들로서 여겨질 수도 있다. "Line Index"에 의해 지정된 고려중인 라인인, 양자화된 스펙트럴 수들의 합 "quantized(x(i))"은 Line Index - (MinimalRunLength)/2의 스펙트럴 라인 주파수 인덱스에서 "Line Index + (MinimalRunLength)/2"의 스펙트럴 라인 주파수 인덱스에 이르는 환경에서 계산된다. 만일 현재 고려중인 상기된 스펙트럴 라인들의 환경에서 스펙트럴 라인 값들의 합(스펙트럴 라인 주파수 인덱스 "Line Index"를 가진)이 0으로 발견된다면, 상기 스펙트럴 라인(또는 더 정확하게, 상기 스펙트럴 라인 주파수 인덱스 "Line Index")은 곧 감지된 영역(또는 감지된 스펙트럴 라인들)의 집합 R로 더해지게 된다. 결론적으로, 만일 스펙트럴 라인의 스펙트럴 라인 주파수 인덱스는 집합 R로 더해지는데, 이것은 라인 "Line Index - (MinimalRunLength)/2"와 "Line Index + (MinimalRunLength)/2"사이에 0으로 양자화되는 모든 스펙트럴 라인 값들을 포함하는 것을 의미한다. 따라서, 슈도 프로그램 코드(310)의 제1 부분(310)에 그(그리고 단지 그들) 영이 아닌 값으로 양자화된 다른 스펙트럴 라인들로부터 충분히 간격을 둔(예를 들어, 최소 MinimalRunLength/2 라인들에 의해) 스펙트럴 부분의 스펙트럴 라인을 열거하는 스펙트럴 라인 주파수 인덱스들 "라인 인덱스"의 집합 R을 얻을 수 있다.
스펙트럼의 그래픽 표현(400)을 나타내는 영역의 감지가 도 4에 도시되어 있다. 가로축(410)은 스펙트럴 라인 주파수 인덱스 "라인 인덱스"에 관하여 스펙트럴 라인들의 주파수를 서술한다. 세로축(412)은 스펙트럴 라인들의 강도(예를 들어, 크기 또는 에너지)를 서술한다. 보여지는 바와 같이, 그래픽 표현(400)에서 그려진 스펙트럼의 부분은 비-제로 값으로 양자화 되어있는 네 개의 스펙트럴 라인들(420a, 420b, 420c 및 420d)을 포함한다. 더욱이 스펙트럴 라인들(420c, 420d)의 사이에는 0으로 양자화되어있는 11개의 스펙트럴 라인들(422a-422k)이 있다. 더욱이, 만일 현재 고려중인 스펙트럴 라인과 비-제로 값으로 양자화된 다른 스펙트럴 라인 사이에 0으로 양자화된 적어도 4개의 스펙트럴 라인이 존재한다면(그리고 자연적으로, 만일 현재 고려중인 스펙트럴 라인 자체가 0으로 양자화 된다면), 스펙트럴 라인은 단지 비-제로 값으로 양자화된 스펙트럴 라인으로부터 충분히 간격이 있다고 여겨진다. 그러나 스펙트럴 라인 422a를 고려해 볼 때, 0으로 양자화되지 않는 스펙트럴 라인 422a의 스펙트럴 라인 주파수 인덱스는 상기 알고리즘(300)에서 제1 부분(310)에 따라 계산된 집합 R의 부분이 될 수 없는 경우이면, 422a는 곧 인접한 422c에서 발견될 것이다. 유사하게, 스펙트럴 라인들(422b, 422c 및 422d)은 스펙트럴 라인들(422b-422d)의 스펙트럴 라인 주파수 인덱스들이 또한 집합 R의 부분이 될 수 없는 경우이면, 다른 비-제로 값으로 양자화 되어 있는 다른 스펙트럴 라인들로부터 충분이 떨어지지 않는 것으로 발견된다. 반대로 스펙트럴 라인 (422e)이 비-제로 값으로 양자화 되어있는 다른 스펙트럴 라인들로부터 충분히 떨어져 있다고 인정될 것이며, 이는 스펙트럴 라인(422e)이 모두 0으로 양자화된 9개의 인접한 스펙트럴 라인들의 시퀀스의 중간 라인(또는 더 일반적으로는 중앙 라인) 에 있기 때문이다. 따라서, 상기 스펙트럴 라인 422e의 스펙트럴 라인 주파수 인덱스는 알고리즘(300)에서 제1 부분(310)에 따라 계산된 집합 R의 부분이 될 것이다. 또한, 마찬가지로 스펙트럴 라인(422f, 422g)은 스펙트럴 라인들(422f, 422g)의 스펙트럴 라인 주파수 인덱스들이면, 스펙트럴 라인들인 422f와 422g가 비-제로 값으로 양자화된 다른 낮은 주파수 스펙트럴 라인들인 420a, 420b 및 420c와비-제로 값으로 양자화된 다른 높은 주파수 스펙트럴 라인들로부터 충분히 멀리 떨어져 있기 때문에 300의 알고리즘에서 제1 부분(310)에 따라 결정된 집합 R의 부분이 될 것이다. 반대로, 스펙트럴 라인들(422h, 422i, 422j 및 422k)은 논한 바와 같이 주파수 관점에서 스펙트럴 라인들이 너무 가까이에 위치하고, 게다가 스펙트럴 라인 420d가 비-제로 값으로 양자화 되기 때문에 집합 R의 부분이 될 수 없다. 따라서, 집합 R은 스펙트럴 라인들이 비-제로 값으로 양자화되었기 때문에 스펙트럴 라인들(420a, 420b, 420c 및 420d)의 스펙트럴 라인 주파수 인덱스들을 포함하지 않는다. 또한, 스펙트럴 라인들(422a, 422b, 422c, 422d, 422h, 422i, 422j 및 422k)의 스펙트럴 라인 주파수 인덱스들은 집합 R의 부분이 될 수 없는데, 상기의 스펙트럴 라인들이 스펙트럴 라인들(420a, 420b, 420c 및 420d)에 너무 가깝게 위치하고 있기 때문이다. 반면에, 스펙트럴 라인들(422e, 422f, 422g)의 스펙트럴 라인 주파수 인덱스들은 집합 R에 포함되는데, 스펙트럴 라인들이 그 자체로 0으로 양자화되고, 다른 근접한 비-제로 스펙트럴 라인들로부터 충분이 멀리 위치하고 있기 때문이다.
알고리즘(300)에서 디코딩 하는 노이즈 플로워의 제2 부분(320)을 포함하는데, 그 점에서 노이즈 값 인덱스(프로그램 코드 중 320 부분에 있는 "index")는 디코딩된 노이즈 수치 값(프로그램 코드(300)에 있는 "nf_decoded")으로 변환된다.
또한, 상기 프로그램 코드(300)는 식별된 스펙트럴 라인들, 예를 들어 집합 R에 있는 스펙트럴 주파수 인덱스들 i의 스펙트럴 라인들을 노이즈로 필링하는 제3 부분(330)을 포함한다. 상기 목적을 위해, 식별된 스펙트럴 라인들(예를 들어, 실행 변수 i는 계속해서 집합 R에 포함되어있는 모든 스펙트럴 라인 주파수 인덱스들을 취한다는 점에서 x(i)와 함께 설계된다)의 스펙트럴 값들은 노이즈 필링 값을 제공한다. 상기 노이즈 필링 값들은 예를 들어 디코딩된 노이즈 필링값(nf_decoded)과 임의의 수 또는 슈도 임의의 수("random(-1, +1)"로 설계된)의 곱셈에 의해 얻어지는데, 여기서 임의의 수 또는 슈도 임의의 수는 -1과 +1일 수 있다. 그러나 임의의 또는 슈도 임의의 노이즈의 다른 제공은 자연스럽게 가능하다.
또한, 노이즈 필링는 도 4에 도시되어 있다. 도 4에서 도시된 바와 같이, 스펙트럴 라인들인 422e, 422f 및 422g의 0스펙트럴 값들은 노이즈 필링 값들에 의해 대체 된다(도 4에서 점으로 된 라인들로 도시된).
도 5 및 도 6에 따른 노이즈 필링 파라미터 계산기
도 5는 본 발명의 일 실시예에 따른 노이즈 필링 파라미터 계산기(500)의 블록 개략 다이어그램을 도시한다. 노이즈 필링 파라미터 계산기는 오디오 신호의 양자화된 스펙트럴 표현(510)을 얻고, 오디오 신호의 양자화된 스펙트럴 표현(510)을 기초로 노이즈 필링 파라미터(512)를 제공하도록 구성된다. 노이즈 필링 파라미터 계산기(500)는 식별된 스펙트럴 영역들(예를 들어, 식별된 스펙트럴 라인들)로 서술된 정보(522)를 얻기 위해 오디오 신호의 양자화된 스펙트럴 표현(510)을 받고, 양자화된 스펙트럴 표현(510)으로부터 최소 하나의 중간 스펙트럴 영역(예를 들어 스펙트럴 라인)만큼 간격을 둔 양자화된 스펙트럴 표현(510)의 스펙트럴 영역들(예를 들어 스펙트럴 라인들)을 식별하도록 구성된 스펙트럴 영역 식별자(520)를 포함한다. 또한, 노이즈 필링 파라미터 계산기(500)는 양자화 에러 정보(532)를 받고 노이즈 필링 파라미터(512)를 제공하는 노이즈 값 계산기(530)를 포함한다. 목적을 위해, 노이즈 값 계산기는 노이즈 필링 파라미터(512)를 계산하기 위해 상기 정보(522)에 의해 서술된 식별된 스펙트럴 영역들의 양자화 에러들을 선택적으로 고려하도록 구성된다.
예를 들어, 양자화 에러 정보(532)는 양자화된 스펙트럴 표현(510)에서 0으로 양자화된 스펙트럴 라인들의 에너지들(또는 강도들)로 서술된 에너지 정보(또는 강도 정보)와 동일할 수 있다.
노이즈 필링 파라미터 계산기(500)는 오디오 신호의 비-양자화된 스펙트럴 표현(542)을 받고, 오디오 신호의 양자화된 스펙트럴 표현(510)을 제공하는 양자화기(540)를 선택적으로 포함할 수 있다. 상기 양자화기(540)는 예를 들어 개별적으로 각각의 라인마다 또는 스펙트럴 밴드마다 조정할 수 있는 조정 가능한 양자화 해상도를 가질 수 있다(예를 들어 스펙트럴 라인들 또는 스펙트럴 밴드들의 심리음향적 관련성에 의존해서 심리음향 모델을 사용하여 얻은). 변수-해상도 양자화기의 기능은 International Standard 13818-7과 ISO/IEC 14496-3에 서술된 기능과 같을 수 있다. 특히, 상기 양자화기(540)는 오디오 신호의 양자화된 스펙트럴 표현(510)에서 스펙트럴 갭들 또는 스펙트럴 정공들이 있도록 조정될 수 있다(예를 들어 0으로 양자화된 인접한 스펙트럴 라인들의 인접한 영역들).
또한, 비-양자화된 스펙트럴 표현(542)은 양자화 에러 정보(532)로서 제공될 수 있고, 또는 상기 양자화 에러 정보(532)는 비-양자화 스펙트럴 표현(542)으로부터 도출될 수 있다.
다음은, 노이즈 필링 파라미터 계산기(500)에 의해 수행되는 노이즈 필링 파라미터 계산의 기능이 상세히 서술될 것이다. 인코더 측에서 노이즈 필링 파라미터 계산시, 노이즈 필링은 양자화 영역에서 바람직하게 적용될 수 있다. 마찬가지로, 도입된 노이즈는 심리음향적 관련성 역 필터에 의해 이후 형성된다. 디코더에 의해 도입된 노이즈의 에너지는 인코더 측에서 다음의 단계들을 거쳐 계산되고 인코딩된다:
1. 주파수 라인들의 양자화된 값들 획득;
2. 스펙트럼들의 한 부분만을 선택;
3. 0 들의 런렝스가 최소의 런렝스 크기보다 더 큰 스펙트럼들의 선택된 부분에서 스펙트럴 영역들을 감지;
4. 이전 감지 영역들을 통해 양자화 오류의 기하평균을 계산; 및
5. 기하평균을 3비트로 균일하게 양자화.
첫 번째 단계와 관련하여, 주파수 라인들의 양자화된 값들은 양자화기(540)를 사용하여 얻을 수 있다. 그러므로 상기 주파수 라인들의 양자화된 값들은 양자화된 스펙트럴 표현(510)으로 표현된다.
선택적인, 두 번째 단계와 관련하여, 스펙트럼의 높은 주파수 부분을 기초로 하는 경우 노이즈 필링의 계산이 바람직하게 수행된다는 것을 주목해야한다. 바람직한 실시예는, 노이즈의 에너지(노이즈 플로워라고 불리는)는 스펙트럼들의 하반부에서만, 예를 들어 높은 주파수(낮은 주파수들에 대해서는 아님)에 대해서만, 계산된다. 사실, 일반적으로 높은 주파수들(스펙트럼의 상단 부분)은 낮은 주파수들보다 덜 중요하고, 0-양자화된 값들은 주로 스펙트럼들의 제2 절반부에서 발생한다. 또한, 높은 주파수의 노이즈는 최종의 소음 보상을 적게 얻는 경향이 있다.
세 번째 단계와 관련하여, 0-양자화된 값들의 런렝스가 발생하는 스펙트럴 영역들에서 노이즈 필링을 제한함으로써 노이즈 필링이 비-제로 값들에 너무 많은 영향을 주는 것을 피해야 한다. 마찬가지로, 상기 노이즈 필링은 비-제로 값들의 주변에 적용되지 않고, 이러한 라인들의 원래의 색조는 더 좋게 보존된다. 바람직한 실시예로, 최소 런렝스 크기는 8로 고정된다. 이것은 비-제로 값을 둘러싸고 있는 8개의 라인들이 노이즈 필링에 의해 영향을 받지 않는다는 것을 의미한다(그리고, 결과적으로 노이즈 값의 계산에 대해 고려되지 않는다).
네 번째 단계와 관련하여, 양자화된 영역에서 양자화 에러는 [-0.5;0.5]의 범위를 갖고, 단일하게 분산된다고 가정된다. 감지된 영역의 양자화 에러의 에너지는 로그 영역내의 평균(예를 들어 기하평균)이다. 노이즈 플로워,nf,는 다음과 같이 계산된다:
nf=power(10, sum(log10(E(x(i))))/(2*n)).
위의 식에서, sum()은 감지된 영역들 내의 개별적인 라인들인 x(i)의 log10(E()), 즉 로그 에너지들의 합이고, n은 이러한 영역들 내 라인들의 수이다. 노이즈 플로워인 nf는 0과 0.5 사이에 있다. 상기 계산은 계정에 0으로 된 값의 원래 스펙트럴 평탄도를 고려하여, 이들의 음조/소음의 특징에 대한 정보를 얻을 수 있게 한다.
만일 0으로 된 값들이 매우 음조적(tonal) 이라면, 노이즈 플로워(장치500에 있는 컴퓨터)는 0으로 되 갈 것이고, 낮은 노이즈 플로워는 디코더(예를 들어, 상기 서술된 디코더(100, 200))에 더해질 것이다. 만일 0으로 된 값들이 매우 잡음이 많다면, 노이즈 플로워는 높아질 것이고, 노이즈 필링은 PNS(Perceptual Noise Substitution)와 같이 0으로 된 스펙트럴 라인들의 고도화된 파라메트릭 코딩으로 보여 질 수 있다(또한, 참조[4]를 참고하라].
다섯 번째 단계와 관련하여, 노이즈 플로워의 양자화 인덱스("index")는 다음과 같이 계산된다:
index=max(0,min(7,int(8-16*nf))).
예를 들어, 상기 인덱스는 3bit로 전송된다.
다음으로, 노이즈 필링 파라미터의 계산하는 알고리즘이 본 발명의 일 실시예에 따른 노이즈 필링 파라미터를 얻는 알고리즘의 슈도 프로그램 코드(600)를 나타내는 도 6을 참조하여 서술될 것이다. 상기 알고리즘(600)은 노이즈 필링 파라미터의 계산이 고려되어야 하는 감지하는 영역들의 첫 번째 부분(610)을 포함한다. 식별된 영역들(예를 들어 스펙트럴 라인들)은 예를 들어 식별된 스펙트럴 라인들의 스펙트럴 라인 주파수 인덱스들("line index")을 포함할 수 있는 집합 R에 의해 서술된다. 스펙트럴 라인들은 식별될 수 있는데, 스펙트럴 라인들은 스스로 0으로 양자화 될 수 있고, 비-제로 값으로 양자화되는 다른 어떤 스펙트럴 라인들로부터라도 충분히 간격을 둘 수 있다.
프로그램(600)의 제1 부분(610)은 프로그램(300)의 제1 부분(310)과 동일할 수 있다. 따라서, 상기 알고리즘(600)에서 사용된 양자화된 스펙트럴 표현("quantized (x(i))")은 예를 들어 디코더 측 알고리즘(300)에서 사용된 양자화된 스펙트럴 표현("quantized (x(i))")과 동일할 수 있다. 바꾸어 말하면, 인코더 측에서 사용된 양자화된 스펙트럴 표현은 인코딩된 형식으로 인코더와 디코더를 포함하는 전송 시스템의 디코더로 전송될 수 있다.
알고리즘(600)은 노이즈 플로워 계산의 제2 부분(620)을 포함한다. 노이즈 플로워 계산에서만, 상기 알고리즘(600)의 제1 부분(610)에서 계산 되어진 집합 R에 의해 서술된 스펙트럴 영역들(또는 스펙트럴 라인들)만이 고려된다. 보이는 바와 같이, 노이즈 필링 값 nf는 처음에 0으로 초기화된다. 또한, 고려된 스펙트럴 라인들(n)의 수는 역시 처음에 0으로 초기화된다. 계속해서, 집합 R에 포함된 라인 인덱스들인 모든 스펙트럴 라인들의 에너지들이 합쳐지는데, 이때 스펙트럴 라인들의 에너지들은 합쳐지기 전에 로그화 된다. 예를 들어, 스펙트럴 라인들의 에너지들(E(x(i)))의 10이 밑인 로그(log10)는 합쳐질 수 있다. 양자화되기 전의 스펙트럴 라인들의 실제 에너지("E or energy (x(i))"로 설계된)는 로그 형식으로 합쳐지는 것을 유의해야 한다. 간주된 스펙트럴 라인들의 수는 또한 카운트된다. 따라서, 알고리즘(600)의 제2 부분(620)의 실행 후에, 변수 nf는 양자화되기 전의 식별된 스펙트럴 라인들의 에너지의 로그 합인 것을 나타내고, 변수 n은 식별된 스펙트럼 라인들의 수를 나타낸다.
또한, 알고리즘(600)은 예를 들어, 식별된 스펙트럴 라인들의 로그 합과 같은 nf 값을 양자화하는 제3 부분(630)을 포함한다. 상기 서술되거나 도 6에서의 나타낸 매핑(mapping) 방정식이 사용될 수 있다.
도 7에 따른 방법
도 7은 오디오 신호의 입력 스펙트럴 표현에 기초하여 오디오 신호의 노이즈 필드 스펙트럴 표현을 제공하는 방법의 플로우 차트를 도시한다. 도 7의 방법(700)은 식별된 스펙트럴 영역을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역에 의해 입력 스펙트럴 표현의 비-제로 스펙트럴 영역으로부터 간격을 둔 오디오 신호의 입력 스펙트럴 표현의 스펙트럴 영역들은 식별하는 710 단계를 포함한다. 또한, 상기 방법 700은 오디오 신호의 노이즈-필드된 스펙트럴 표현을 획득하기 위해, 노이즈를 식별된 스펙트럴 영역들로 선택적으로 도입하는 단계 720을 포함한다.
방법 700은 여기에 기술된 발명 노이즈 필러와 관련하여 특징이나 기능들에 의해 보충될 수 있다.
도 8에 따른 방법
도 8은 오디오 신호의 양자화된 스펙트럴 표현에 기초하여 오디오 신호의 노이즈 필링 파라미터를 제공하는 방법의 플로우 차트를 도시한다. 방법 800은 식별된 스펙트럴 영역을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역에 의해 양자화된 스펙트럴 표현의 비-제로 스펙트럴 영역으로부터 간격을 둔 오디오 신호의 양자화된 스펙트럴 표현의 스펙트럴 영역들은 식별하는 단계 810을 포함한다. 또한 방법 800은 필링 파라미터의 계산을 위한 식별된 스펙트럴 영역들의 양자화 에러들을 선택적으로 고려하는 단계 820을 포함한다.
방법 800은 여기에 기술된 발명 노이즈 필러와 관련하여 특징이나 기능들에 의해 보충될 수 있다.
도 9에 따른 오디오 신호 표현
도 9는 본 발명의 일 실시예에 따른, 오디오 신호 표현의 그래픽적 표현을 도시한다. 오디오 신호 표현(900)은 예를 들어 입력 스펙트럴 표현(110)을 위한 기초를 형성할 수 있다. 또한, 상기 오디오 신호 표현(900)은 인코딩된 오디오 신호 표현(212)의 기능을 대체할 수 있다. 상기 오디오 신호 표현(900)은 노이즈 필링 파라미터 계산기(500)를 이용하여 획득될 수 있는데, 여기서 오디오 신호 표현(900)은 예를 들어, 오디오 신호의 양자화된 스펙트럴 표현(510)과 노이즈 필링 파라미터(512)를 포함하는데 예를 들어, 모두 인코딩 형식으로 포함할 수 있다.
즉, 인코딩된 오디오 신호 표현(900)은 오디오 신호를 나타낸다. 상기 인코딩된 오디오 신호 표현(900)은 오디오 신호의 인코딩되고 양자화된 스펙트럴 영역 표현과 인코딩된 노이즈 필링 파라미터를 포함한다. 상기 노이즈 필링 파라미터는 0으로 양자화된 스펙트럴 영역 표현의 스펙트럴 영역들 및 비-제로로 양자화되는 스펙트럴 영역 표현의 스펙트럴 영역들로부터 적어도 하나의 중간 스펙트럴 영역만큼 간격을 두는 양자화 에러를 표현한다.
자연히, 상기 오디오 신호 표현(900)은 상기 서술된 정보 중 어떤 것에 의해서도 보충될 수 있다.
구현 대안들
특정 구현 요구들에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면 플로피 디스크, DVD, CD, 롬, P롬, E-P롬, EE-P롬, 또는 플래시 메모리를 사용하여 수행될 수 있고, 이들은 전자적으로 판독 가능한 제어 신호를 가지며, 이러한 신호는 관련된 방법이 수행되도록 프로그래머블 컴퓨터 시스템과 협업(또는 협업할 수 있는)한다.
본 발명에 대응하는 어떤 실시예는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함하고, 이러한 신호는 여기 기술된 방법 중의 하나가 수행되도록 프로그래머블 컴퓨터 시스템과 협업한다.
일반적으로 본 발명의 실시예는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 상기 프로그램 코드는 컴퓨터 제품이 컴퓨터에서 수행될 때 상기의 방법 중의 하나를 수행하도록 동작한다. 상기 프로그램 코드는 예를 들면 기계 판독가능한 매체에 저장된다.
어떤 실시예들은 여기 기술된 방법 중의 하나를 수행하는 컴퓨터 프로그램을 포함하며, 이는 기계 판독가능한 매체에 저장된다.
즉, 발명에 따른 방법의 일 실시예는, 따라서, 컴퓨터 프로그램이 컴퓨터에서 수행될 때, 여기 기술된 방법 중의 하나를 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 또 다른 실시예는, 따라서, 여기 기술된 방법 중의 하나를 수행하는, 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장매체)이다.
본 발명의 방법의 또 다른 실시예는, 그러므로, 여기 기술된 방법 중의 하나를 수행하는 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 신호시퀀스이다. 상기 데이터 스트림 또는 신호시퀀스는 데이터 통신 연결수단, 예를 들면 인터넷,을 통하여 전송되도록 구성될 수 있다.
또 다른 실시예는 처리수단, 예를 들면 컴퓨터, 또는 프로그래머블 논리 장치를 포함하며, 이들은 여기 기술된 방법 중의 하나를 수행하도록 구성되거나 조정된다.
또 다른 실시예는 여기 기술된 방법 중의 하나를 수행하는 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
어떤 실시예들에서, 프로그래머블 논리장치(예를 들면 필드 프로그래머블 게이트 어레이)가 여기 기술된 방법의 몇 개 또는 모든 기능을 수행하도록 사용될 것이다. 어떤 실시예들에서, 필드 프로그래머블 게이트 어레이가 여기 기술된 방법 중의 하나를 수행하도록 마이크로프로세서와 협업할 수 있다. .
결론
상기의 내용을 요약하면, 본 발명은 인코더 측에서 노이즈 필링 파리미터들을 계산할 때와 디코더 측에서 노이즈를 적용할 때 모두 입력신호와 신호 특성들을 이용하여 오디오 코딩 수단 "노이즈 필링"을 향상시킨다. 본 발명의 실시예에서, 0-양자화 스펙트럴 라인들의 음조/소음이 측정되며, 노이즈 플로워 평가를 위해 사용된다. 상기 노이즈 플로워는 스펙트럼의 특정 영역들에서 발생하는 노이즈 필링을 0-양자화된 값들로 적용하는 디코더로 전송된다. 이러한 영역들은 디코딩된 스펙트럼들의 특성에 기초하여 선택된다.
발명의 맥락에 따르면, 발명은 변형된 이산 코사인 변환에서 스칼라 양자화를 사용하는 변환-기초 코딩에 적용된다. 상기 변형된 이산 코사인 변환 계수들은 지각(perceptual) 단서(clue)들에 기초하여 계산된 커브에 의해 미리 정규화된다. 상기 커브는 AMR-WB+의 TCX 모드에서 수행되는 것 처럼(참조[1]을 참고하라), LPC 계수들을 웨이팅 함으로써, 이전의 LPC(선형예측코딩)분석 단계로부터 추론될 수 있다. 웨이팅 계수로부터 지각(perceptual) 웨이팅 필터는 변형 이산 코사인 변환 이전에 설계되고 적용된다. 역 필터는 또한 역 변형 이산 코사인 변환 이후에 디코더 측에서 적용된다. 이러한 역 지각(perceptual) 웨이팅 필터는 양자화 노이즈들을 인식된 노이즈를 최소화 하거나 마스킹하는 방법으로 양자화 노이즈를 형성한다.
본 발명에 따른 실시예들에 따르면, 선행 기술의 단점은 극복된다. 노이즈 필링은 종래에는 단지 스펙트럴 인벨로프-기반의 문턱 값, 마스킹 문턱 값, 에너지 문턱 값을 고려하여 0-양자화된 값들에 체계적인 방식으로 적용된다. 선행 기술은 입력 신호의 특성과 디코딩된 신호의 특성 중 어느 것도 고려하지 않는다. 따라서, 종래의 장치는 원치 않는 추가적 아티팩트들, 특히 노이즈 아티팩트들을 도입하고 그와 같은 툴의 이점을 소거시킨다.
반대로, 본 발명의 실시예들은 상술한 것과 같이 감소된 아티팩트들과 함께 노이즈 필링을 향상시키는 것을 가능하게 한다.
참조문헌:
[1] "Extended Adaptive Multi-Rate - Wideband (AMR-WB+) codec" 3GPP TS 26.290 V6.3.0, 2005-06, Technical Specification
[2] Ragot et al, "ITU-T G.729.l: AN 8-32 Kbit/S Scalable Coder Interoperable with G.729 for Wideband Telephony and Voice Over IP", Vol. 4, ICASSP 07, 15-20 April 2007
[3] "AUDIO CODING", International Application No.: PCT/IB2002/001388, Applicant: KONINKLIJKE PHILIPS ELECTRONICS N.V. [NL/NL]; Groenewoudseweg 1 NL-5621 BA Eindhoven (NL). Inventors: TAORI, Rakesh; Prof Holstlaan 6 NL-5656 AA Eindhoven (NL) and VAN DE PAR, Steven, L., J., D., E.; Prof. Holstlaan 6 NL-5656 AA Eindhoven (NL).
[4] Generic Coding of Moving Pictures and Associated Audio: Advanced Audio Coding. International Standard 13818-7, ISO/IEC JTC1/SC29/WG11 Moving Pictures Expert Group, 1997.

Claims (15)

  1. 오디오 신호의 입력 스펙트럴 표현(110)에 기초하여 오디오 신호의 노이즈-필드된 스펙트럴 표현(112)을 제공하기 위한 노이즈 필러(100)에 있어서,
    식별된 스펙트럴 영역들(422a, 422f, 422g)을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역(422a, 422b, 422c, 422d, 422h, 422i, 422j, 422k)만큼 상기 입력 스펙트럴 표현(110)의 비-제로 스펙트럴 영역들(420a, 420b, 420c, 420d)로부터 간격을 둔 상기 입력 스펙트럴 표현(110)의 스펙트럴 영역들(422e, 422f, 422g)을 식별하도록 구성된 스펙트럴 영역 식별자(120); 및
    상기 오디오 신호의 상기 노이즈-필드된 스펙트럴 표현(112)을 획득하기 위해, 노이즈를 상기 식별된 스펙트럴 영역들(422e, 422f, 422g)로 선택적으로 도입하도록 구성된 노이즈 삽입기(130)를 포함하는 노이즈 필러(100).
  2. 제 1항에 있어서,
    상기 스펙트럴 영역 식별자(120)는, 상기 입력 스펙트럴 표현(110)의 스펙트럴 라인들(422e, 422f, 422g)을 식별된 스펙트럴 영역들로서 식별하도록 구성되어, 상기 스펙트럴 라인들은 0으로 양자화되고, 또한 0으로 양자화된 더 낮은 주파수 주변 스펙트럴 라인들(422a, 422b, 422c, 422d; 422b, 422c, 422d, 422e, 422c, 422d, 422e, 422f)의 적어도 제1 미리 결정된 수(4)와 0으로 양자화된 더 높은 주파수 주변 스펙트럴 라인들(422f, 422g, 422h, 422i; 422g, 422h, 422i, 422j; 422h, 422i, 422j, 422k)의 적어도 제2 미리 결정된 수(4)를 포함하고,
    상기 제1 미리 결정된 수(4)는 1보다 크거나 같고, 상기 제2 미리 결정된 수(4)는 1보다 크거나 같고,
    상기 노이즈 삽입기(130)는, 비-제로 값으로 양자화되는 스펙트럴 라인들(420a, 420b, 420c, 420d)과 0으로 양자화되는 스펙트럴 라인들(422a, 422b, 422c, 422d, 422h, 422i, 422j, 422k)을 남기지만, 0으로 양자화되는 더 낮은 주파수 주변 스펙트럴 라인들의 제1 미리 결정된 수(4) 또는 노이즈 필링에 의해 영향을 받지 않는 0으로 양자화되는 더 높은 주파수 주변 스펙트럴 라인들의 제2 미리 결정된 수(4)를 가지지 않으면서, 식별된 스펙트럴 라인들(422e, 422f, 422g)로 노이즈를 선택적으로 도입하도록 구성된, 노이즈 필러(100).
  3. 제 2항에 있어서,
    상기 제1 미리 결정된 수(4)는 제2 미리 결정된 수(4)와 동일한 노이즈 필러(100).
  4. 제 1항 내지 3항 중 어느 한 항에 있어서,
    상기 노이즈 필러는 상기 노이즈 필링에 의해 영향을 받지 않는 상기 오디오 신호의 입력 스펙트럴 표현(110)의 아래 쪽 부분은 남겨놓고, 오디오 신호의 입력 스펙트럴 표현(110)의 위쪽 부분의 스펙트럴 영역들로 노이즈를 도입하도록 구성된 노이즈 필러(100).
  5. 제 1항 내지 4항 중 어느 한 항에 있어서,
    상기 스펙트럴 영역 식별자(120)는 주어진 스펙트럴 영역(i)의 미리 결정된 양측의 스펙트럴 주변의 스펙트럴 영역들의 양자화된 강도 값들(양자화된(x(i)))을 합하여 합계(E)를 획득하고, 상기 주어진 스펙트럴 영역(i)이 식별된 스펙트럴 영역인지 여부를 결정하기 위해 상기 합계(E)를 평가하도록 구성된, 노이즈 필러(100).
  6. 제 1항 내지 5항 중 어느 한 항에 있어서,
    상기 스펙트럴 영역 식별자(120)는 0으로 양자화된 스펙트럴 영역들의 인접한 시퀀스들(422a-422i; 422b-422j; 422c-422k)을 감지하기 위하여, 상기 입력 스펙트럴 표현(110)의 스펙트럴 영역들의 범위를 스캔하고, 상기 감지된 인접한 시퀀스들의 하나 이상의 중앙 스펙트럴 영역들(422e, 422f, 422g)을 상기 식별된 스펙트럴 영역들로서 인식하도록 구성된, 노이즈 필러(100)
  7. 오디오 신호의 양자화된 스펙트럴 표현(510)을 기초로 하여 노이즈 필링 파라미터(512)를 제공하기 위한 노이즈 필링 파라미터 계산기(500)에 있어서,
    식별된 스펙트럴 영역들(422e, 422f, 422g)을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역(422a, 422b, 422c, 422d, 422h, 422i, 422j, 422k)만큼, 상기 양자화된 스펙트럴 표현(510)의 비-제로 스펙트럴 영역들(420a, 420b, 420c, 420d)로부터 간격을 둔 양자화된 스펙트럴 표현(510)의 스펙트럴 영역들을 식별하도록 구성된 스펙트럴 영역 식별자(520); 및
    상기 노이즈 필링 파라미터(512, nf)의 계산을 위해, 상기 식별된 스펙트럴 영역들(i)의 양자화 에러들(energy (x(i)))을 선택적으로 고려하도록 구성된 노이즈 값 계산기(530)를 포함하는 노이즈 필링 파라미터 계산기(500).
  8. 제 7항에 있어서,
    상기 스펙트럴 영역 식별자(520)는 입력 스펙트럴 표현(510)의 스펙트럴 라인들(422e, 422f, 422g)을 식별된 스펙트럴 영역들로서 식별하도록 구성되고, 상기 스펙트럴 라인들은 0으로 양자화되고, 또한 0으로 양자화된 더 낮은 주파수 주변 스펙트럴 라인들(422a, 422b, 422c, 422d; 422b, 422c, 422d, 422e, 422c, 422d, 422e, 422f)의 적어도 제1 미리 결정된 수(4)와 0으로 양자화된 더 높은 주파수 주변 스펙트럴 라인들(422f, 422g, 422h, 422i; 422g, 422h, 422i, 422j; 422h, 422i, 422j, 422k)의 적어도 제2 미리 결정된 수(4)를 포함하고,
    상기 제1 미리 결정된 수(4)는 1보다 크거나 같고, 상기 제2 미리 결정된 수(4)는 1보다 크거나 같고,
    상기 노이즈 값 계산기(520)는 비-제로 값으로 양자화되는 스펙트럴 라인들(420a, 420b, 420c, 420d)과 0으로 양자화되는(422a, 422b, 422c, 422d, 422h, 422i, 422j, 422k)을 남기지만, 0으로 양자화되는 더 낮은 주파수 주위 스펙트럴 라인들의 제1 미리 결정된 수(4) 또는 노이즈 필링 파라미터의 계산에서 제외되는 0으로 양자화되는 더 높은 주파수 주변 스펙트럴 라인들의 제2 미리 결정된 수(4)를 가지지 않으면서, 노이즈 필링 파라미터의 계산을 위해 식별된 스펙트럴 영역들(i)의 양자화 에러들을 선택적으로 고려하는 것으로 구성된, 노이즈 값 계산기(500).
  9. 제 7항 또는 제 8항에 있어서,
    상기 노이즈 값 계산기(530)는 노이즈 필링 파라미터(512,nf,nf_index)의 계산을 위한 식별된 스펙트럴 영역들(i)의 양자화 에러의 실제 에너지(energy(x(i)))를 고려하도록 구성된 노이즈 필링 파라미터 계산기(500).
  10. 제 7항 내지 9항 중 어느 한 항에 있어서,
    상기 노이즈 값 계산기(530)는 단수의 스펙트럴 영역 또는 복수의 인접한 스펙트럴 라인들에 집중된 음조 양자화 에러 에너지와 관련하여 복수의 식별된 스펙트럴 영역들 상에 분산된 비-음조 양자화 에러 에너지(energy (x(i)))를 강조하도록 구성된, 노이즈 필링 파라미터 계산기(500).
  11. 제 7항 내지 10항 중 어느 한 항에 있어서,
    상기 노이즈 값 계산기(530)는 상기 노이즈 필링 파라미터(512,nf,nf_index)를 획득하기 위하여 식별된 스펙트럴 영역(i)의 로그화된 양자화 에러 에너지(log10(energy(x(i))))의 합을 계산하도록 구성된, 노이즈 필링 파라미터 계산기(500).
  12. 오디오 신호를 표현하는 인코딩된 오디오 신호 표현(900)에 있어서,
    오디오 신호의 인코딩되고 양자화된 스펙트럴 영역 표현; 및
    인코딩된 노이즈 필링 파라미터를 포함하고,
    상기 노이즈 필링 파라미터는 적어도 하나의 중간 스펙트럴 영역에 의해 비-제로 값으로 양자화된 스펙트럴 영역 표현의 스펙트럴 영역들로부터 간격을 둔 0으로 양자화된 스펙트럴 영역 표현의 스펙트럴 영역들의 양자화 에러를 표현하는 인코딩된 오디오 신호 표현(900).
  13. 오디오 신호의 입력 스펙트럴 표현을 기초로 오디오 신호의 노이즈-필드된 표현을 제공하기 위한 방법(700)에 있어서,
    식별된 스펙트럴 영역을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역에 의해 입력 스펙트럴 표현의 비-제로 스펙트럴 영역들로부터 간격을 둔 입력 스펙트럴 표현의 스펙트럴 영역들을 식별하는 단계(710); 및
    오디오 신호의 노이즈-필드된 스펙트럴 표현을 획득하기 위해, 노이즈를 식별된 스펙트럴 영역들로 선택적으로 도입하는 단계(720)를 포함하는, 오디오 신호의 노이즈-필드된 표현을 제공하기 위한 방법(700).
  14. 오디오 신호의 양자화된 스펙트럴 표현을 기초로 노이즈 필링 파라미터를 제공하기 위한 방법(800)에 있어서,
    식별된 스펙트럴 영역을 획득하기 위해, 적어도 하나의 중간 스펙트럴 영역에 의해 양자화된 스펙트럴 표현의 비-제로 스펙트럴 영역들로부터 간격을 둔 양자화된 스펙트럴 표현의 스펙트럴 영역들을 식별하는 단계(810); 및
    노이즈 필링 파라미터의 계산을 위한 식별된 스펙트럴 영역들의 양자화 에러들을 선택적으로 고려하는 단계(820)를 포함하는, 노이즈 필링 파라미터를 제공하기 위한 방법(800).
  15. 컴퓨터 프로그램이 컴퓨터에서 수행될 때, 제 13항 또는 제 14항의 방법을 수행하기 위한 컴퓨터 프로그램.

KR1020117000435A 2008-07-11 2009-06-26 노이즈 필러, 노이즈 필링 파라미터 계산기, 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하는 방법, 노이즈 필링 파라미터를 제공하는 방법, 저장 매체 KR101251790B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7987208P 2008-07-11 2008-07-11
US61/079,872 2008-07-11
US10382008P 2008-10-08 2008-10-08
US61/103,820 2008-10-08
PCT/EP2009/004653 WO2010003565A1 (en) 2008-07-11 2009-06-26 Noise filler, noise filling parameter calculator, method for providing a noise filling parameter, method for providing a noise-filled spectral representation of an audio signal, corresponding computer program and encoded audio signal

Publications (2)

Publication Number Publication Date
KR20110039245A true KR20110039245A (ko) 2011-04-15
KR101251790B1 KR101251790B1 (ko) 2013-04-08

Family

ID=40941986

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020147004791A KR101582057B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020117000768A KR101518532B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020157036527A KR101706009B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020117000435A KR101251790B1 (ko) 2008-07-11 2009-06-26 노이즈 필러, 노이즈 필링 파라미터 계산기, 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하는 방법, 노이즈 필링 파라미터를 제공하는 방법, 저장 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020147004791A KR101582057B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020117000768A KR101518532B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020157036527A KR101706009B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램

Country Status (22)

Country Link
US (9) US9043203B2 (ko)
EP (7) EP4372745A1 (ko)
JP (2) JP5622726B2 (ko)
KR (4) KR101582057B1 (ko)
CN (2) CN102089808B (ko)
AR (2) AR072482A1 (ko)
AT (1) ATE535903T1 (ko)
AU (2) AU2009267459B2 (ko)
BR (6) BR122021003726B1 (ko)
CA (2) CA2730361C (ko)
CO (2) CO6341671A2 (ko)
EG (1) EG26480A (ko)
ES (5) ES2422412T3 (ko)
HK (2) HK1157045A1 (ko)
MX (2) MX2011000382A (ko)
MY (2) MY178597A (ko)
PL (3) PL3246918T3 (ko)
PT (1) PT2304719T (ko)
RU (2) RU2519069C2 (ko)
TW (2) TWI417871B (ko)
WO (2) WO2010003556A1 (ko)
ZA (2) ZA201100091B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109437A (ko) * 2013-01-29 2015-10-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 노이즈 채움 개념
US9830914B2 (en) 2012-12-06 2017-11-28 Huawei Technologies Co., Ltd. Method and device for decoding signal
KR20200019164A (ko) * 2011-06-30 2020-02-21 삼성전자주식회사 대역폭 확장신호 생성장치 및 방법

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122021003726B1 (pt) 2008-07-11 2021-11-09 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
EP2182513B1 (en) * 2008-11-04 2013-03-20 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US8553897B2 (en) * 2009-06-09 2013-10-08 Dean Robert Gary Anderson Method and apparatus for directional acoustic fitting of hearing aids
US8879745B2 (en) * 2009-07-23 2014-11-04 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Method of deriving individualized gain compensation curves for hearing aid fitting
US9101299B2 (en) * 2009-07-23 2015-08-11 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Hearing aids configured for directional acoustic fitting
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US9117458B2 (en) * 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9208792B2 (en) * 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012037515A1 (en) 2010-09-17 2012-03-22 Xiph. Org. Methods and systems for adaptive time-frequency resolution in digital data coding
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012053150A1 (ja) * 2010-10-18 2012-04-26 パナソニック株式会社 音声符号化装置および音声復号化装置
WO2012122303A1 (en) 2011-03-07 2012-09-13 Xiph. Org Method and system for two-step spreading for tonal artifact avoidance in audio coding
US9015042B2 (en) * 2011-03-07 2015-04-21 Xiph.org Foundation Methods and systems for avoiding partial collapse in multi-block audio coding
US9009036B2 (en) 2011-03-07 2015-04-14 Xiph.org Foundation Methods and systems for bit allocation and partitioning in gain-shape vector quantization for audio coding
JP5820487B2 (ja) 2011-03-18 2015-11-24 フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． オーディオコンテントを表すビットストリームのフレームにおけるフレーム要素位置決め
EP2705516B1 (en) * 2011-05-04 2016-07-06 Nokia Technologies Oy Encoding of stereophonic signals
US9875748B2 (en) * 2011-10-24 2018-01-23 Koninklijke Philips N.V. Audio signal noise attenuation
US8942397B2 (en) * 2011-11-16 2015-01-27 Dean Robert Gary Anderson Method and apparatus for adding audible noise with time varying volume to audio devices
JP5942463B2 (ja) * 2012-02-17 2016-06-29 株式会社ソシオネクスト オーディオ信号符号化装置およびオーディオ信号符号化方法
US9305567B2 (en) 2012-04-23 2016-04-05 Qualcomm Incorporated Systems and methods for audio signal processing
CN103778918B (zh) * 2012-10-26 2016-09-07 华为技术有限公司 音频信号的比特分配的方法和装置
AU2014211539B2 (en) * 2013-01-29 2017-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Low-complexity tonality-adaptive audio signal quantization
MX346927B (es) 2013-01-29 2017-04-05 Fraunhofer Ges Forschung Énfasis de bajas frecuencias para codificación basada en lpc (codificación de predicción lineal) en el dominio de frecuencia.
BR112015019176B1 (pt) * 2013-04-05 2021-02-09 Dolby Laboratories Licensing Corporation método e aparelho de expansão de um sinal de áudio, método e aparelho de compressão de um sinal de áudio, e mídia legível por computador
EP2981961B1 (en) 2013-04-05 2017-05-10 Dolby International AB Advanced quantizer
EP2992605B1 (en) * 2013-04-29 2017-06-07 Dolby Laboratories Licensing Corporation Frequency band compression with dynamic thresholds
EP4290510A3 (en) 2013-05-24 2024-02-14 Dolby International AB Audio encoder
BR112015032013B1 (pt) * 2013-06-21 2021-02-23 Fraunhofer-Gesellschaft zur Förderung der Angewandten ForschungE.V. Método e equipamento para a obtenção de coeficientes do espectropara um quadro de substituição de um sinal de áudio, descodificador de áudio,receptor de áudio e sistema para transmissão de sinais de áudio
WO2014210284A1 (en) * 2013-06-27 2014-12-31 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
EP2830058A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frequency-domain audio coding supporting transform length switching
EP2830060A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling in multichannel audio coding
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
AU2014329890B2 (en) 2013-10-03 2017-10-26 Dolby Laboratories Licensing Corporation Adaptive diffuse signal generation in an upmixer
CN111580772B (zh) * 2013-10-22 2023-09-26 弗劳恩霍夫应用研究促进协会 用于音频设备的组合动态范围压缩和引导截断防止的构思
EP3285254B1 (en) 2013-10-31 2019-04-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal
PL3336839T3 (pl) 2013-10-31 2020-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem maskowania błędów modyfikującego sygnał pobudzenia w dziedzinie czasu
WO2015081699A1 (zh) 2013-12-02 2015-06-11 华为技术有限公司 一种编码方法及装置
KR20230042410A (ko) 2013-12-27 2023-03-28 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
EP4109445A1 (en) * 2014-03-14 2022-12-28 Telefonaktiebolaget LM Ericsson (PUBL) Audio coding method and apparatus
CN111710342B (zh) * 2014-03-31 2024-04-16 弗朗霍弗应用研究促进协会 编码装置、解码装置、编码方法、解码方法及程序
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980801A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
EP2980792A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
JPWO2016052191A1 (ja) * 2014-09-30 2017-07-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20160173808A1 (en) 2014-12-16 2016-06-16 Psyx Research, Inc. System and method for level control at a receiver
WO2016142002A1 (en) * 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TWI771266B (zh) * 2015-03-13 2022-07-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016162283A1 (en) * 2015-04-07 2016-10-13 Dolby International Ab Audio coding with range extension
US9454343B1 (en) 2015-07-20 2016-09-27 Tls Corp. Creating spectral wells for inserting watermarks in audio signals
US9311924B1 (en) 2015-07-20 2016-04-12 Tls Corp. Spectral wells for inserting watermarks in audio signals
US9626977B2 (en) 2015-07-24 2017-04-18 Tls Corp. Inserting watermarks into audio signals that have speech-like properties
US10115404B2 (en) 2015-07-24 2018-10-30 Tls Corp. Redundancy in watermarking audio signals that have speech-like properties
IL276591B2 (en) 2015-10-08 2023-09-01 Dolby Int Ab Layered coding for voice or compressed sound field representations
CA3228629A1 (en) 2015-10-08 2017-04-13 Dolby International Ab Layered coding and data structure for compressed higher-order ambisonics sound or sound field representations
US10142743B2 (en) 2016-01-01 2018-11-27 Dean Robert Gary Anderson Parametrically formulated noise and audio systems, devices, and methods thereof
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
AU2017219696B2 (en) * 2016-02-17 2018-11-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
US10146500B2 (en) 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
EP3396670B1 (en) * 2017-04-28 2020-11-25 Nxp B.V. Speech signal processing
WO2019081070A1 (en) * 2017-10-27 2019-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS, METHOD, OR COMPUTER PROGRAM PRODUCT FOR GENERATING ENHANCED BANDWIDTH AUDIO SIGNAL USING NEURAL NETWORK PROCESSOR
WO2019091576A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
US11694708B2 (en) * 2018-09-23 2023-07-04 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
US11264014B1 (en) * 2018-09-23 2022-03-01 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
WO2020073148A1 (en) * 2018-10-08 2020-04-16 Telefonaktiebolaget Lm Ericsson (Publ) Transmission power determination for an antenna array
WO2020164751A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
EP3939035A4 (en) * 2019-03-10 2022-11-02 Kardome Technology Ltd. LANGUAGE IMPROVEMENT USING CLUSTERING OF HINTS
WO2020207593A1 (en) * 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program
US20200402522A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
US11361776B2 (en) 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US11538489B2 (en) 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
CN112037802B (zh) * 2020-05-08 2022-04-01 珠海市杰理科技股份有限公司 基于语音端点检测的音频编码方法及装置、设备、介质
US11545172B1 (en) * 2021-03-09 2023-01-03 Amazon Technologies, Inc. Sound source localization using reflection classification
CN114900246B (zh) * 2022-05-25 2023-06-13 中国电子科技集团公司第十研究所 噪声基底估计方法、装置、设备及存储介质

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703505A (en) * 1983-08-24 1987-10-27 Harris Corporation Speech data encoding scheme
US4956871A (en) * 1988-09-30 1990-09-11 At&T Bell Laboratories Improving sub-band coding of speech at low bit rates by adding residual speech energy signals to sub-bands
JPH0934493A (ja) 1995-07-20 1997-02-07 Graphics Commun Lab:Kk 音響信号符号化装置、音響信号復号装置および音響信号処理装置
US6092041A (en) 1996-08-22 2000-07-18 Motorola, Inc. System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder
US5797120A (en) * 1996-09-04 1998-08-18 Advanced Micro Devices, Inc. System and method for generating re-configurable band limited noise using modulation
US5924064A (en) * 1996-10-07 1999-07-13 Picturetel Corporation Variable length coding using a plurality of region bit allocation patterns
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
US6167133A (en) * 1997-04-02 2000-12-26 At&T Corporation Echo detection, tracking, cancellation and noise fill in real time in a communication system
US6240386B1 (en) 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
US7124079B1 (en) 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
JP3804902B2 (ja) 1999-09-27 2006-08-02 パイオニア株式会社 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
DE60233032D1 (de) * 2001-03-02 2009-09-03 Panasonic Corp Audio-kodierer und audio-dekodierer
US6876968B2 (en) 2001-03-08 2005-04-05 Matsushita Electric Industrial Co., Ltd. Run time synthesizer adaptation to improve intelligibility of synthesized speech
KR100871999B1 (ko) * 2001-05-08 2008-12-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
JP4506039B2 (ja) 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100462611B1 (ko) * 2002-06-27 2004-12-20 삼성전자주식회사 하모닉 성분을 이용한 오디오 코딩방법 및 장치
JP4218271B2 (ja) * 2002-07-19 2009-02-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
DE10236694A1 (de) 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
KR100477699B1 (ko) * 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
ATE391988T1 (de) * 2003-10-10 2008-04-15 Agency Science Tech & Res Verfahren zum codieren eines digitalen signals in einen skalierbaren bitstrom, verfahren zum decodieren eines skalierbaren bitstroms
US7723474B2 (en) 2003-10-21 2010-05-25 The Regents Of The University Of California Molecules that selectively home to vasculature of pre-malignant dysplastic lesions or malignancies
US7436786B2 (en) * 2003-12-09 2008-10-14 International Business Machines Corporation Telecommunications system for minimizing the effect of white noise data packets for the generation of required white noise on transmission channel utilization
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
DE102004007200B3 (de) 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
US7613306B2 (en) * 2004-02-25 2009-11-03 Panasonic Corporation Audio encoder and audio decoder
ES2291877T3 (es) 2004-05-17 2008-03-01 Nokia Corporation Codificacion de audio con diferentes modelos de codificacion.
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US7873515B2 (en) * 2004-11-23 2011-01-18 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
KR100707173B1 (ko) 2004-12-21 2007-04-13 삼성전자주식회사 저비트율 부호화/복호화방법 및 장치
US7885809B2 (en) * 2005-04-20 2011-02-08 Ntt Docomo, Inc. Quantization of speech and audio coding parameters using partial information on atypical subsequences
RU2419171C2 (ru) * 2005-07-22 2011-05-20 Франс Телеком Способ переключения скорости передачи битов при аудиодекодировании с масштабированием скорости передачи битов и масштабированием полосы пропускания
JP4627737B2 (ja) * 2006-03-08 2011-02-09 シャープ株式会社 デジタルデータ復号化装置
WO2007122614A2 (en) * 2006-04-21 2007-11-01 Galtronics Ltd. Twin ground antenna
JP4380669B2 (ja) * 2006-08-07 2009-12-09 カシオ計算機株式会社 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、及び、プログラム
US7275936B1 (en) * 2006-09-22 2007-10-02 Lotes Co., Ltd. Electrical connector
US8275611B2 (en) * 2007-01-18 2012-09-25 Stmicroelectronics Asia Pacific Pte., Ltd. Adaptive noise suppression for digital speech signals
EP2116997A4 (en) * 2007-03-02 2011-11-23 Panasonic Corp AUDIO DECODING DEVICE AND AUDIO DECODING METHOD
ES2858423T3 (es) 2007-08-27 2021-09-30 Ericsson Telefon Ab L M Método y dispositivo para el llenado de huecos espectrales
US9269372B2 (en) 2007-08-27 2016-02-23 Telefonaktiebolaget L M Ericsson (Publ) Adaptive transition frequency between noise fill and bandwidth extension
US8554550B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context processing using multi resolution analysis
BR122021003726B1 (pt) * 2008-07-11 2021-11-09 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Codificador de áudio, decodificador de áudio, métodos para codificar e decodificar um sinal de áudio.
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012053150A1 (ja) 2010-10-18 2012-04-26 パナソニック株式会社 音声符号化装置および音声復号化装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200019164A (ko) * 2011-06-30 2020-02-21 삼성전자주식회사 대역폭 확장신호 생성장치 및 방법
KR20200143665A (ko) * 2011-06-30 2020-12-24 삼성전자주식회사 대역폭 확장신호 생성장치 및 방법
US10236002B2 (en) 2012-12-06 2019-03-19 Huawei Technologies Co., Ltd. Method and device for decoding signal
US9830914B2 (en) 2012-12-06 2017-11-28 Huawei Technologies Co., Ltd. Method and device for decoding signal
US10546589B2 (en) 2012-12-06 2020-01-28 Huawei Technologies Co., Ltd. Method and device for decoding signal
US10971162B2 (en) 2012-12-06 2021-04-06 Huawei Technologies Co., Ltd. Method and device for decoding signal
US11610592B2 (en) 2012-12-06 2023-03-21 Huawei Technologies Co., Ltd. Method and device for decoding signal
KR20170117605A (ko) * 2013-01-29 2017-10-23 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 노이즈 채움 개념
KR101877906B1 (ko) * 2013-01-29 2018-07-12 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 노이즈 채움 개념
KR20150109437A (ko) * 2013-01-29 2015-10-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 노이즈 채움 개념
US10410642B2 (en) 2013-01-29 2019-09-10 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filling concept
US9792920B2 (en) 2013-01-29 2017-10-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filling concept
US9524724B2 (en) 2013-01-29 2016-12-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filling in perceptual transform audio coding
US11031022B2 (en) 2013-01-29 2021-06-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filling concept

Also Published As

Publication number Publication date
KR101582057B1 (ko) 2015-12-31
CA2730536A1 (en) 2010-01-14
CA2730361A1 (en) 2010-01-14
AU2009267459B2 (en) 2014-01-23
BR122021003097B1 (pt) 2021-11-03
US20110170711A1 (en) 2011-07-14
US11869521B2 (en) 2024-01-09
AR072482A1 (es) 2010-09-01
ZA201100091B (en) 2011-10-26
ES2422412T3 (es) 2013-09-11
CA2730536C (en) 2014-12-02
BR122021003142B1 (pt) 2021-11-03
EP2304719B1 (en) 2017-07-26
ES2642906T3 (es) 2017-11-20
EP3246918A1 (en) 2017-11-22
BRPI0910522A2 (pt) 2020-10-20
KR20140036042A (ko) 2014-03-24
HK1160285A1 (en) 2012-08-10
EG26480A (en) 2013-12-02
KR20160004403A (ko) 2016-01-12
KR101518532B1 (ko) 2015-05-07
US20240096337A1 (en) 2024-03-21
EP4235660A2 (en) 2023-08-30
EP4372744A1 (en) 2024-05-22
US20150112693A1 (en) 2015-04-23
US9449606B2 (en) 2016-09-20
ES2955669T3 (es) 2023-12-05
US20170004839A1 (en) 2017-01-05
ZA201100085B (en) 2011-10-26
US9711157B2 (en) 2017-07-18
EP4372745A1 (en) 2024-05-22
RU2011102410A (ru) 2012-07-27
MY155785A (en) 2015-11-30
US20110173012A1 (en) 2011-07-14
BR122021003752B1 (pt) 2021-11-09
US20140236605A1 (en) 2014-08-21
AU2009267468B2 (en) 2012-03-15
HK1157045A1 (en) 2012-06-22
EP4375998A1 (en) 2024-05-29
CN102089806B (zh) 2012-12-05
TW201007696A (en) 2010-02-16
BRPI0910811A2 (pt) 2020-11-03
JP2011527455A (ja) 2011-10-27
JP5622726B2 (ja) 2014-11-12
JP5307889B2 (ja) 2013-10-02
MX2011000382A (es) 2011-02-25
CO6341671A2 (es) 2011-11-21
PL2304720T3 (pl) 2012-04-30
CN102089808A (zh) 2011-06-08
KR20110040829A (ko) 2011-04-20
CA2730361C (en) 2017-01-03
BRPI0910811B1 (pt) 2021-09-21
ATE535903T1 (de) 2011-12-15
WO2010003556A1 (en) 2010-01-14
MY178597A (en) 2020-10-16
EP2304720A1 (en) 2011-04-06
KR101251790B1 (ko) 2013-04-08
US9043203B2 (en) 2015-05-26
RU2512103C2 (ru) 2014-04-10
BR122021003726B1 (pt) 2021-11-09
CN102089808B (zh) 2014-02-12
TW201007697A (en) 2010-02-16
EP2304719A1 (en) 2011-04-06
AU2009267459A1 (en) 2010-01-14
EP2304720B1 (en) 2011-11-30
PT2304719T (pt) 2017-11-03
MX2011000359A (es) 2011-02-25
PL2304719T3 (pl) 2017-12-29
US20170309283A1 (en) 2017-10-26
CN102089806A (zh) 2011-06-08
US10629215B2 (en) 2020-04-21
EP4235660A3 (en) 2023-09-13
RU2519069C2 (ru) 2014-06-10
US20210272577A1 (en) 2021-09-02
CO6280569A2 (es) 2011-05-20
US11024323B2 (en) 2021-06-01
RU2011104006A (ru) 2012-08-20
WO2010003565A1 (en) 2010-01-14
KR101706009B1 (ko) 2017-02-22
ES2374640T3 (es) 2012-02-20
EP3246918C0 (en) 2023-06-14
EP3246918B1 (en) 2023-06-14
ES2526767T3 (es) 2015-01-15
TWI492223B (zh) 2015-07-11
AR072497A1 (es) 2010-09-01
JP2011527451A (ja) 2011-10-27
US8983851B2 (en) 2015-03-17
AU2009267468A1 (en) 2010-01-14
PL3246918T3 (pl) 2023-11-06
TWI417871B (zh) 2013-12-01
US20240096338A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
KR101251790B1 (ko) 노이즈 필러, 노이즈 필링 파라미터 계산기, 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하는 방법, 노이즈 필링 파라미터를 제공하는 방법, 저장 매체
CN110197667B (zh) 对音频信号的频谱执行噪声填充的装置
EP2346030B1 (en) Audio encoder, method for encoding an audio signal and computer program
US9546924B2 (en) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
CA3202969A1 (en) Method and device for unified time-domain / frequency domain coding of a sound signal
AU2013273846B2 (en) Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
CN114783449A (zh) 神经网络训练方法、装置、电子设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170323

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 7