KR102070432B1 - 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치 - Google Patents

대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR102070432B1
KR102070432B1 KR1020130030587A KR20130030587A KR102070432B1 KR 102070432 B1 KR102070432 B1 KR 102070432B1 KR 1020130030587 A KR1020130030587 A KR 1020130030587A KR 20130030587 A KR20130030587 A KR 20130030587A KR 102070432 B1 KR102070432 B1 KR 102070432B1
Authority
KR
South Korea
Prior art keywords
signal
band
high frequency
bwe
decoding
Prior art date
Application number
KR1020130030587A
Other languages
English (en)
Other versions
KR20130107257A (ko
Inventor
주기현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130107257A publication Critical patent/KR20130107257A/ko
Application granted granted Critical
Publication of KR102070432B1 publication Critical patent/KR102070432B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치가 개시된다. 대역폭 확장을 위한 고주파수 복호화방법은 가중치를 추정하는 단계; 및 랜덤 노이즈와 복호화된 저주파수 스펙트럼간에 상기 가중치를 적용해서 고주파수 여기신호를 생성하는 단계를 포함한다.

Description

대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING HIGH FREQUENCY FOR BANDWIDTH EXTENSION}
본 발명은 오디오 부호화 및 복호화에 관한 것으로서, 보다 상세하게로는 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치에 관한 것이다.
G.719의 코딩 스킴은 텔레컨퍼런싱의 목적으로 개발 및 표준화된 것으로서, MDCT(Modified Discrete Cosine Transform)을 수행하여 주파수 도메인 변환을 수행하여, 스테이셔너리(stationary) 프레임인 경우에는 MDCT 스펙트럼을 바로 코딩한다. 넌 스테이셔너리(non-stationary) 프레임은 시간 도메인 얼라이어싱 순서(time domain aliasing order)를 변경함으로써, 시간적인 특성을 고려할 수 있도록 변경한다. 넌 스테이셔너리 프레임에 대하여 얻어진 스펙트럼은 스테이셔너리 프레임과 동일한 프레임워크로 코덱을 구성하기 위해서 인터리빙을 수행하여 스테이셔너리 프레임과 유사한 형태로 구성될 수 있다. 이와 같이 구성된 스펙트럼의 에너지를 구하여 정규화를 수행한 후 양자화를 수행하게 된다. 통상 에너지는 RMS 값으로 표현되며, 정규화된 스펙트럼은 에너지 기반의 비트 할당을 통해 밴드별로 필요한 비트를 생성하고, 밴드별 비트 할당 정보를 기반으로 양자화 및 무손실 부호화를 통해 비트스트림을 생성한다.
G.719의 디코딩 스킴에 따르면, 코딩 방식의 역과정으로 비트스트림에서 에너지를 역양자화하고, 역양자화된 에너지를 기반으로 비트 할당 정보를 생성하여 스펙트럼의 역양자화를 수행하여 정규화된 역양자화된 스펙트럼을 생성해 준다. 이때 비트가 부족한 경우 특정 밴드에는 역양자화한 스펙트럼이 없을 수 있다. 이러한 특정 밴드에 대하여 노이즈를 생성해 주기 위하여, 저주파수의 역양자화된 스펙트럼을 기반으로 노이즈 코드북을 생성하여 전송된 노이즈 레벨에 맞추어서 노이즈를 생성하는 노이즈 필링 방식이 적용된다. 한편, 특정 주파수 이상의 밴드에 대해서는 저주파수 신호를 폴딩하여 고주파수 신호를 생성해주는 대역폭 확장 기법이 적용된다.
본 발명이 해결하고자 하는 과제는 복원 음질을 향상시킬 수 있는 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치와 이를 채용하는 멀티미디어 기기를 제공하는데 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 대역폭 확장을 위한 고주파수 부호화 방법은 복호화단에서 고주파수 여기신호를 생성하는데 적용되는 가중치를 추정하기 위한 프레임별 여기 타입 정보를 생성하는 단계; 및 상기 프레임별 여기 타입 정보를 포함하는 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 대역폭 확장을 위한 고주파수 복호화 방법은 가중치를 추정하는 단계; 및 랜덤 노이즈와 복호화된 저주파수 스펙트럼간에 상기 가중치를 적용해서 고주파수 여기신호를 생성하는 단계를 포함할 수 있다.
본 발명에 따른 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치에 의하면, 복잡도의 증가없이 복원 음질을 향상시킬 수 있다.
도 1은 일실시예에 따라 저주파수 신호의 밴드와 고주파수 신호의 밴드를 구성하는 예를 설명하는 도면이다
도 2a 내지 도 2c는 일실시예에 따라 R0 영역과 R1 영역을 선택된 코딩 방식에 대응하여 R2와 R3, R4와 R5로 구분한 도면이다.
도 3은 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 4는 일실시예에 따라 BWE 영역(R1)에서 R2와 R3를 결정하는 방법을 설명하는 플로우챠트이다.
도 5는 일실시예에 따라 BWE 파라미터를 결정하는 방법을 설명하는 플로우챠트이다.
도 6은 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 7은 일실시예에 따라 BWE 파라미터 부호화부의 구성을 나타낸 블럭도이다.
도 8은 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블럭도이다.
도 9는 일실시예에 따른 여기신호 생성부의 세부적인 구성을 보여주는 블럭도이다.
도 10은 다른 실시예에 따른 여기신호 생성부의 세부적인 구성을 보여주는 블럭도이다.
도 11은 또 다른 실시예에 따른 여기신호 생성부의 세부적인 구성을 보여주는 블럭도이다.
도 12는 밴드 경계에서 가중치에 대한 스무딩 처리를 설명하기 위한 도면이다.
도 13은 일실시예에 따라 오버래핑 영역에 존재하는 스펙트럼을 재구성하기 위하여 사용되는 기여분인 가중치를 설명하는 도면이다.
도 14는 일실시예에 다른 스위칭 구조의 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 15는 다른 실시예에 다른 스위칭 구조의 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 16은 일실시예에 다른 스위칭 구조의 오디오 복호화장치의 구성을 나타낸 블럭도이다.
도 17은 다른 실시예에 다른 스위칭 구조의 오디오 복호화장치의 구성을 나타낸 블럭도이다.
도 18은 일실시예에 따른 부호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 19는 일실시예에 따른 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 20은 일실시예에 따른 부호화모듈과 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 저주파수 신호의 밴드와 고주파수 신호의 밴드를 구성하는 예를 설명하는 도면이다. 실시예에 따르면, 샘플링 레이트는 32kHz이고, 640개의 MDCT 스펙트럼 계수를 22개의 밴드로 구성하며, 구체적으로 저주파수 신호에 대하여 17개의 밴드, 고주파수 신호에 대하여 5개의 밴드로 구성될 수 있다. 고주파수 신호의 시작 주파수는 241번째 스펙트럼 계수이며, 0~240까지의 스펙트럼 계수는 저주파수 코딩 방식으로 코딩되는 영역으로서 R0로 정의할 수 있다. 또한, 241~639까지의 스펙트럼 계수는 BWE가 수행되는 영역으로서 R1으로 정의할 수 있다. 한편, R1 영역에는 저주파수 코딩 방식으로 코딩되는 밴드도 존재할 수 있다.
도 2a 내지 도 2c는 도 1의 R0 영역과 R1 영역을 선택된 코딩 방식에 따라 R2, R3, R4, R5로 구분한 도면이다. 먼저, BWE 영역인 R1 영역은 R2와 R3로, 저주파수 코딩 영역인 R0 영역은 R4와 R5로 구분될 수 있다. R2는 저주파수 코딩 방식, 예를 들면 주파수 도메인 코딩 방식으로 양자화 및 무손실 부호화되는 신호를 포함하고 있는 밴드를 나타내고, R3는 저주파수 코딩 방식으로 코딩되는 신호가 없는 밴드를 나타낸다. 한편, R2가 저주파수 코딩 방식으로 코딩하기 위하여 비트 할당을 하도록 정의한 경우라 하더라도 비트가 부족해서 R3에서와 동일한 방식으로 밴드가 생성될 수 있다. R5는 비트가 할당되어 저주파수 코딩 방식으로 코딩이 수행되는 밴드를 나타내고, R4는 비트 여유분이 없어 저주파수 신호임에도 코딩이 안되거나 비트가 적게 할당되어 노이즈를 부가해야 하는 밴드를 나타낸다. 따라서, R4와 R5의 구분은 노이즈 부가 여부에 의해서 판단될 수 있으며, 이는 저주파수 코딩된 밴드내 스펙트럼 개수의 비율로 결정될 수 있으며, 또는 FPC를 사용한 경우에는 밴드내 펄스 할당 정보에 근거하여 결정할 수 있다. R4와 R5 밴드는 복호화 과정에서 노이즈를 부가할 때 구분될 수 있기 때문에, 부호화 과정에서는 명확히 구분이 안될 수 있다. R2~R5 밴드는 부호화되는 정보가 서로 다를 뿐 아니라, 디코딩 방식이 다르게 적용될 수 있다.
도 2a에 도시된 예의 경우 저주파수 코딩 영역(R0) 중 170-240까지의 2개 밴드가 노이즈를 부가하는 R4이고, BWE 영역(R1) 중 241-350까지의 2개 밴드 및 427-639까지의 2개 밴드가 저주파수 코딩 방식으로 코딩되는 R2이다. 도 2b에 도시된 예의 경우 저주파수 코딩 영역(R0) 중 202-240까지의 1개 밴드가 노이즈를 부가하는 R4이고, BWE 영역(R1) 중 241-639까지의 5개 밴드 모두가 저주파수 코딩 방식으로 코딩되는 R2이다. 도 2c에 도시된 예의 경우 저주파수 코딩 영역(R0) 중 144-240까지의 3개 밴드가 노이즈를 부가하는 R4이고, BWE 영역(R1) 중 R2는 존재하지 않는다. 저주파수 코딩 영역(R0)에서 R4는 통상 고주파수 부분에 분포될 수 있으나, BWE 영역(R1)에서 R2는 특정 주파수 부분에 제한되지 않는다.
도 3은 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 3에 도시된 오디오 부호화장치는 트랜지언트 검출부(310), 변환부(320), 에너지 추출부(330), 에너지 부호화부(340), 토널러티 산출부(350), 코딩밴드 선택부(360), 스펙트럼 부호화부(370), BWE 파라미터 부호화부(380) 및 다중화부(390)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 입력신호는 음악 혹은 음성, 혹은 음악과 음성의 혼합신호를 의미할 수 있으며, 크게 음성신호와 그외 일반적인 신호로 나눌 수도 있다. 이하에서는 설명의 편의를 위하여 오디오 신호로 통칭하기로 한다.
도 3을 참조하면, 트랜지언트 검출부(310)는 시간 도메인의 오디오 신호에 대하여 트랜지언트 신호 혹은 어택 신호가 존재하는지를 검출할 수 있다. 이를 위하여 공지된 다양한 방법을 적용할 수 있으며, 일예로서 시간 도메인의 오디오 신호의 에너지 변화를 이용할 수 있다. 현재 프레임에서 트랜지언트 신호 혹은 어택 신호가 검출되면, 현재 프레임을 트랜지언트 프레임으로 정의하고, 그렇지 않은 경우 넌-트랜지언트 예를 들면 스테이셔너리(stationary) 프레임으로 정의할 수 있다.
변환부(320)는 트랜지언트 검출부(310)에서의 검출 결과에 근거하여, 시간 도메인의 오디오 신호를 주파수 도메인으로 변환할 수 있다. 변환방식의 일예로서 MDCT가 적용될 수 있으나 이에 한정되지 않는다. 트랜지언트 프레임과 스테이셔너리 프레임의 각 변환 처리 및 인터리빙 처리는 G.719에서와 동일하게 수행될 수 있으나, 이에 한정되지 않는다.
에너지 추출부(330)는 변환부(320)로부터 제공되는 주파수 도메인의 스펙트럼에 대하여 에너지를 추출할 수 있다. 주파수 도메인의 스펙트럼은 밴드 단위로 구성될 수 있으며, 밴드의 길이는 균일하거나 불균일할 수 있다. 에너지는 각 밴드의 평균 에너지, 평균 전력, 엔벨로프 혹은 norm을 의미할 수 있다. 각 밴드에 대하여 추출된 에너지는 에너지 부호화부(340)와 스펙트럼 부호화부(370)로 제공될 수 있다.
에너지 부호화부(340)는 에너지 추출부(330)로부터 제공되는 각 밴드의 에너지에 대하여 양자화 및 무손실 부호화를 수행할 수 있다. 에너지 양자화는 균일 스칼라 양자화기(uniform scalar quantizer), 비균일 스칼라 양자화기(non-uniform scalar quantizer), 혹은 벡터 양자화기(vector quantizer) 등 다양한 방식을 이용하여 수행될 수 있다. 에너지 무손실 부호화는 산술 코딩(arithmetic coding) 혹은 허프만 코딩(Huffman coding) 등 다양한 방식을 이용하여 수행될 수 있다.
토널러티 산출부(350)는 변환부(320)로부터 제공되는 주파수 도메인의 스펙트럼에 대하여 토널러티를 산출할 수 있다. 각 밴드에 대하여 토널러티를 산출함으로써, 현재 밴드가 톤성(tone-like charateristic)을 가지는지 노이즈성(noise-like charateristic)을 가지는지를 판단할 수 있다. 토널러티는 SFM(Spectral Flatness Measurement)에 근거하여 산출되거나, 하기 수학식 1에서와 같이 평균 진폭 대비 피크의 비율로 정의될 수 있다.
Figure 112013024770064-pat00001
여기서, T(b)는 밴드 b의 토널러티, N은 밴드의 길이, S(k)는 밴드 b의 스펙트럼 계수를 나타낸다. T(b)는 db 값으로 변경되어 사용될 수 있다.
한편, 토널러티는 이전 프레임의 해당 밴드의 토널러티와 현재 프레임의 해당 밴드의 토널러티에 대한 가중합(weighted sum)으로 산출될 수 있다. 이 경우, 밴드 b의 토널러티(T(b))는 하기 수학식 2에서와 같이 정의될 수 있다.
Figure 112013024770064-pat00002
여기서, T(b,n)은 프레임 n의 밴드 b에서의 토널러티를 나타내고, a0는 가중치로서 실험적으로 혹은 시뮬레이션을 통하여 미리 최적의 값으로 설정될 수 있다.
토널러티는 고주파수 신호를 구성하는 밴드 예를 들면 도 1의 R1 영역의 밴드에 대하여 산출될 수 있으나, 필요에 따라서 저주파수 신호를 구성하는 밴드 예를 들면 도 1의 R0 영역의 밴드에 대해서도 산출될 수 있다. 한편, 밴드내 스펙트럼의 길이가 너무 많은 경우는 토널러티 산출시 오류가 발생할 수 있기 때문에, 밴드를 분리하여 산출한 후, 이의 평균값 혹은 최대값으로 그 밴드를 대표하는 토널러티로 설정할 수 있다
코딩밴드 선택부(360)는 각 밴드의 토널러티를 근거로 하여 코딩밴드를 선택할 수 있다. 일실시예에 따르면, 도 1의 BWE 영역(R1)에 대하여 R2 및 R3를 결정할 수 있다. 한편, 도 1의 저주파수 코딩 영역(R0)의 R4와 R5는 할당할 수 있는 비트를 고려하여 결정할 수 있다.
구체적으로, 저주파수 코딩 영역(R0)에서의 코딩밴드 선택 처리에 대하여 설명하기로 한다.
R5는 주파수 도메인 코딩 방식에 의해 비트를 할당하여 코딩을 수행할 수 있다. 일실시예에 따르면, 주파수 도메인 코딩 방식으로 코딩을 수행하기 위하여 밴드별 비트 할당 정보에 따라서 할당된 비트를 기반으로 펄스를 코딩하는 팩토리얼 펄스 코딩(Factorial Pulse Coding) 방식을 적용할 수 있다. 비트 할당 정보로는 에너지를 사용할 수 있으며, 에너지가 큰 밴드에는 많은 비트가 할당되고, 에너지가 작은 밴드에는 적은 비트가 할당되도록 설계할 수 있다. 할당할 수 있는 비트는 타겟 비트율에 따라서 제한될 수 있고, 이와 같은 제한조건하에서 비트를 할당하기 때문에 타겟 비트율이 낮은 경우 R5와 R4의 밴드 구분이 좀 더 의미가 있을 수 있다. 그런데, 트랜지언트 프레임인 경우에는 스테이셔너리 프레임과는 다른 방식으로 비트 할당을 수행할 수 있다. 일실시예에 따르면 트랜지언트 프레임인 경우 고주파수 신호의 밴드들에 대해서는 비트 할당을 강제적으로 수행하지 않도록 설정할 수 있다. 즉, 트랜지언트 프레임에서 특정 주파수 이후의 밴드들에 대해서는 비트를 0으로 할당함으로써, 저주파수 신호를 잘 표현할 수 있도록 해주면 낮은 타겟 비트율에서 음질 개선을 얻을 수 있다. 한편, 스테이셔너리 프레임에서 특정 주파수 이후의 밴드에 대하여 비트를 0으로 할당할 수 있다. 또한, 스테이셔너리 프레임에서 고주파수 신호의 밴드들 중 소정 문턱치를 초과하는 에너지가 포함된 밴드에 대해서는 비트 할당을 수행할 수 있다. 이와 같은 비트 할당 처리는 에너지 및 주파수 정보를 근거로 하여 수행되며, 부호화부 및 복호화부에서 동일한 방식을 적용하기 때문에 추가적인 부가 정보를 비트스트림에 포함시킬 필요가 없다. 일실시예에 따르면, 양자화된 다음 다시 역양자화된 에너지를 이용하여 비트 할당을 수행할 수 있다.
도 4는 일실시예에 따라 BWE 영역(R1)에서 R2와 R3를 선택하는 방법을 설명하는 플로우챠트이다. 여기서, R2는 주파수 도메인 코딩 방식으로 코딩된 신호를 포함하고 있는 밴드이고, R3는 주파수 도메인 코딩 방식으로 코딩된 신호를 포함하고 있지 않은 밴드이다. BWE 영역(R0)에서 R2에 해당하는 밴드가 모두 선택되면, 나머지 밴드가 R3에 해당된다. R2는 톤성을 지닌 밴드이기 때문에 큰 값의 토널러티를 가진다. 반면, 토널러티 대신 노이즈니스(noiseness)는 작은 값을 가진다.
도 4를 참조하면, 410 단계에서는 각 밴드에 대하여 토널러티를 산출하고, 420 단계에서는 산출된 토널러티를 소정 문턱치(Tth0)와 비교할 수 있다.
430 단계에서는 420 단계에서의 비교결과 산출된 토널러티가 소정 문턱치보다 큰 값을 갖는 밴드를 R2로 할당하고, f_flag(b)를 1로 설정할 수 있다.
440 단계에서는 420 단계에서의 비교결과 산출된 토널러티가 소정 문턱치보다 작은 값을 갖는 밴드를 R3로 할당하고, f_flag(b)를 0으로 설정할 수 있다.
BWE 영역(R0)에 포함된 각 밴드에 대하여 설정된 f_flag(b)는 코딩 밴드 선택정보로 정의되어 비트스트림에 포함될 수 있다. 코딩 밴드 선택정보는 비트스트림에 포함되지 않을 수 있다.
다시 도 3으로 돌아가서, 스펙트럼 부호화부(370)는 코딩밴드 선택부(360)에서 생성된 코딩밴드 선택정보에 근거하여, 저주파수 신호의 밴드들과 f_flag(b)가 1로 설정된 R2 밴드에 대하여 스펙트럼 계수의 주파수 도메인 코딩을 수행할 수 있다. 주파수 도메인 코딩은 양자화 및 무손실 부호화를 포함하며, 일실시예에 따르면 팩토리얼 펄스 코딩(FPC) 방식을 사용할 수 있다. FPC 방식은 코딩된 스펙트럼계수의 위치, 크기 및 부호 정보를 펄스로 표현하는 방식이다.
스펙트럼 부호화부(370)는 에너지 추출부(330)로부터 제공되는 각 밴드별 에너지를 기반으로 비트 할당 정보를 생성하고, 각 밴드별로 할당된 비트에 근거하여 FPC를 위한 펄스 개수를 계산하고, 펄스 개수를 코딩할 수 있다. 이때, 비트 부족 현상으로 인하여 저주파수 신호의 일부 밴드가 코딩이 안 되거나, 너무 적은 비트로 코딩이 수행되어 복호화단에서 노이즈를 부가할 필요가 있는 밴드가 존재할 수 있다. 이와 같은 저주파수 신호의 밴드가 R4로 정의될 수 있다. 한편, 충분한 개수의 펄스로 코딩이 수행되는 밴드의 경우에는 복호화단에서 노이즈를 부가할 필요가 없으며, 이와 같은 저주파수 신호의 밴드가 R5로 정의될 수 있다. 부호화단에서는 저주파수 신호에 대한 R4와 R5의 구분에 의미가 없으므로 별도의 코딩 밴드 선택정보를 생성할 필요가 없다. 단지, 주어진 전체 비트내에서 각 밴드별로 할당된 비트에 근거하여 펄스 개수를 계산하고, 펄스 개수에 대한 코딩을 수행할 수 있다.
BWE 파라미터 부호화부(380)는 저주파수 신호의 밴드들 중 R4 밴드가 노이즈를 부가할 필요가 있는 밴드임을 나타내는 정보(lf_att_flag)를 포함하여, 고주파수 대역폭 확장에 필요한 BWE 파라미터들을 생성할 수 있다. 여기서, 복호화단에서 고주파수 대역폭 확장에 필요한 BWE 파라미터들은 저주파수 신호와 랜덤 노이즈에 대하여 적절하게 가중치를 부가하여 생성할 수 있다. 다른 실시예로는 저주파 신호를 화이트닝 한 신호와 랜덤 노이즈에 대해서 적절하게 가중치를 부가하여 생성할 수 있다.
이때, BWE 파라미터들은 현재 프레임의 모든 고주파수 신호 생성을 위해서 랜덤 노이즈를 좀 더 강하게 부가해야 한다는 정보(all_noise), 저주파수 신호를 좀 더 강조해야 한다는 정보(all_lf)로 구성될 수 있다. lf_att_flag, all_noise, all_lf 정보는 프레임마다 한번 전송되며, 각 정보별로 1 비트씩 할당되어 전송될 수 있다. 필요에 따라서는 밴드별로 분리되어 전송될 수도 있다.
도 5는 일실시예에 따라 BWE 파라미터를 결정하는 방법을 설명하는 플로우챠트이다. 이를 위하여, 도 2의 예에서 241~290까지 밴드를 Pb로, 521~639까지 밴드를 Eb로, 즉, BWE 영역(R1)의 시작 밴드와 마지막 밴드를 각각 Pb와 Eb로 정의할 수 있다.
도 5를 참조하면, 510 단계에서는 BWE 영역(R1)의 평균 tonality(Ta0)를 산출하고, 520 단계에서는 평균 tonality(Ta0)를 문턱치(Tth1)와 비교할 수 있다.
525 단계에서는 520 단계에서의 비교결과, 평균 tonality(Ta0)가 문턱치(Tth1)보다 작으면 all_noise 를 1로 설정하는 한편, all_lf와 lf_att_flag는 모두 0으로 설정하여 전송하지 않는다.
530에서는 520 단계에서의 비교결과, 평균 tonality(Ta0)가 문턱치(Tth1)보다 크거나 같으면 all_noise 를 0으로 설정하는 한편, all_lf와 lf_att_flag를 하기와 같이 결정하여 전송하게 된다.
한편, 540 단계에서는 평균 tonality(Ta0)를 문턱치(Tth2)와 비교할 수 있다. 여기서, 문턱치(Tth2)는 문턱치(Tth1)보다 작은 값임이 바람직하다.
545 단계에서는 540 단계에서의 비교결과, 평균 tonality(Ta0)가 문턱치(Tth2)보다 크면 all_if 를 1로 설정하는 한편, lf_att_flag는 0으로 설정하여 전송하지 않는다.
550 단계에서는 540 단계에서의 비교결과, 평균 tonality(Ta0)가 문턱치(Tth2)보다 작거나 같으면 all_if 를 0으로 설정하는 한편, lf_att_flag를 하기와 같이 결정하여 전송하게 된다.
560 단계에서는 Pb 이전 밴드들의 평균 토널러티(Ta1)를 산출한다. 일실시예에 따르면 한개 내지 다섯개의 이전 밴드들을 고려할 수 있다.
570 단계에서는 이전 프레임과 상관없이 평균 토널러티(Ta1)를 문턱치(Tth3)와 비교하거나, 이전 프레임의 lf_att_flag 즉, p_lf_att_flag을 고려할 경우 평균 토널러티(Ta1)를 문턱치(Tth4)와 비교할 수 있다.
580 단계에서는 570 단계에서의 비교결과, 평균 tonality(Ta1)가 문턱치(Tth3)보다 크면 lf_att_flag을 1로 설정하고, 590 단계에서는 570 단계에서의 비교결과, 평균 tonality(Ta1)가 문턱치(Tth3)보다 작거나 같으면 lf_att_flag을 0으로 설정한다.
한편, 580 단계에서는 p_lf_att_flag가 1로 설정된 경우 평균 토널러티(Ta1)가 문턱치(Tth4)보다 크면 lf_att_flag을 1로 설정한다. 이때, 이전 프레임이 트랜지언트 프레임인 경우 p_lf_att_flag는 0으로 설정된다. 590 단계에서는 p_lf_att_flag가 1로 설정된 경우 평균 토널러티(Ta1)가 문턱치(Tth4)보다 작거나 같으면 lf_att_flag을 0으로 설정한다. 여기서, 문턱치(Tth3)는 문턱치(Tth4)보다 큰 값임이 바람직하다.
한편, 고주파수 신호의 밴드들 중 flag(b)가 1로 설정된 밴드가 하나라도 존재하는 경우, all_noise는 0으로 설정된다. 그 이유는 고주파수 신호에 톤성을 지닌 밴드가 존재한다는 것을 의미하기 때문에, all_noise를 1로 설정할 수 없기 때문이다. 이 경우 all_noise는 0으로 전송하면서 상기한 540 내지 590 단계를 수행하여 all_lf와 lf_att_flag에 대한 정보를 생성한다.
다음 표 1은 도 5를 통하여 생성된 BWE 파라미터들의 전송 관계를 표시한 것이다. 여기서 숫자는 해당 BWE 파라미터의 전송에 필요한 비트를 의미하며, X로 표기된 경우에는 해당 BWE 파라미터를 전송하지 않음을 의미한다. BWE 파라미터들 즉, all_noise, all_lf, lf_att_flag는 코딩밴드 선택부(360)에서 생성된 코딩밴드 선택정보인 f_flag(b)와 상관관계를 가질 수 있다. 예를 들어 표 1에서와 같이 all_noise가 1로 설정된 경우에는 f_flag, all_lf, lf_att_flag를 전송할 필요가 없다. 한편, all_noise 가 0으로 설정된 경우에는 f_flag(b)를 전송해야 하며, BWE 영역(R1)에 속한 밴드 개수만큼의 정보를 전달해야 한다.
all_lf 값이 0으로 설정된 경우에는 lf_att_flag 값은 0으로 설정되며 전송되지 않는다. all_lf 값이 1로 설정된 경우에는 lf_att_flag 의 전송을 필요로 한다. 이와 같은 상관관계에 따라 종속적으로 전송이 될 수도 있으며, 코덱 구조의 간소화를 위해서 종속적인 상관관계없이도 전송도 가능하다. 결과적으로, 스펙트럼 부호화부(370)에서는 전체 허용 비트에서 전송될 BWE 파라미터들과 코딩밴드 선택정보를 위하여 사용될 비트를 제외하고 남은 잔여 비트를 이용하여 밴드별 비트 할당 및 코딩을 수행하게 된다.
Figure 112013024770064-pat00003
다시 도 3으로 돌아가서, 다중화부(390)는 에너지 부호화부(340)로부터 제공되는 각 밴드별 에너지, 코딩밴드 선택부(360)로부터 제공되는 BWE 영역(R1)의 코딩밴드 선택정보, 스펙트럼 부호화부(370)로부터 제공되는 저주파수 코딩영역(R0)과 BWE 영역(R1) 중 R2 밴드의 주파수 도메인 코딩 결과, BWE 파라미터 부호화부(380)로부터 제공되는 BWE 파라미터들을 포함하는 비트스트림을 생성하여 소정의 저장매체에 저장하거나 혹은 복호화단으로 전송할 수 있다.
도 6은 다른 실시예에 따른 오디오 부호화장치의 구성을 나타낸 블럭도이다. 도 6에 도시된 오디오 부호화장치는 기본적으로 복호화단에서 고주파수 여기신호를 생성하는데 적용되는 가중치를 추정하기 위한 프레임별 여기 타입 정보를 생성하는 구성요소와, 프레임별 여기 타입 정보를 포함하는 비트스트림을 생성하는 구성요소로 이루어질 수 있다. 나머지 구성요소는 옵션으로 더 추가될 수 있다.
도 6에 도시된 오디오 부호화장치는 트랜지언트 검출부(610), 변환부(620), 에너지 추출부(630), 에너지 부호화부(640), 스펙트럼 부호화부(650), 토널러티 산출부(660), BWE 파라미터 부호화부(670) 및 다중화부(680)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서는, 도 3의 부호화장치와 동일한 구성요소에 대한 설명은 생략하기로 한다.
도 6에 있어서, 스펙트럼 부호화부(650)은 변환부(620)로부터 제공되는 저주파수 신호의 밴드들에 대하여 스펙트럼 계수의 주파수 도메인 코딩을 수행할 수 있다. 나머지 동작은 스펙트럼 부호화부(370)에서와 동일하다.
토널러티 산출부(660)는 프레임 단위로 BWE 영역(R1)의 토널러티를 산출할 수 있다.
BWE 파라미터 부호화부(670)는 토널러티 산출부(660)로부터 제공되는 BWE 영역(R1)의 토널러티를 이용하여 BWE 여기 타입 정보 혹은 여기 클래스 정보를 생성하여 부호화할 수 있다. 일실시예에 따르면, 입력신호의 모드 정보를 먼저 고려하여 BWE 여기 타입을 결정할 수 있다. BWE 여기 타입 정보는 프레임별로 전송될 수 있다. 예를 들어, BWE 여기 타입 정보가 2비트로 구성되는 경우, 0~3까지의 값을 가질 수 있다. 0으로 갈수록 랜덤 노이즈에 부가하는 가중치가 커지고, 3으로 갈수록 랜덤 노이즈에 부가하는 가중치가 작아지는 방식으로 할당할 수 있다. 일실시예에 따르면, 토널러티가 높을수록 3에 가까운 값을 갖도록 설정하고, 낮을수록 0에 가까운 값을 갖도록 설정할 수 있다.
도 7은 일실시예에 따라 BWE 파라미터 부호화부의 구성을 나타낸 블럭도이다. 도 7에 도시된 BWE 파라미터 부호화부는 신호분류부(710)와 여기타입 결정부(730)를 포함할 수 있다.
주파수 도메인의 BWE 방식은 시간 도메인 코딩 파트와 결합되어 적용될 수 있다. 시간 도메인 코딩에는 주로 CELP 방식이 사용될 수 있으며, CELP 방식으로 저주파 대역을 코딩하고, 주파수 도메인에서의 BWE가 아닌 시간 도메인에서의 BWE 방식과 결합되도록 구현될 수 있다. 이러한 경우, 전체적으로 시간 도메인 코딩과 주파수 도메인 코딩간의 적응적 코딩 방식 결정에 기반하여 코딩 방식을 선택적으로 적용할 수 있게 된다. 적절한 코딩 방식을 선택하기 위해서 신호분류를 필요로 하며, 일실시예에 따르면 신호 분류 결과를 추가로 활용하여 밴드별 가중치가 할당될 수 있다.
도 7을 참조하면, 신호분류부(710)에서는 입력신호의 특성을 프레임 단위로 분석하여 현재 프레임이 음성신호인지 여부를 분류하고, 분류결과에 따라서 BWE 여기 타입을 결정할 수 있다. 신호 분류 처리는 공지된 다양한 방법, 예를 들어 단구간 특성 및/또는 장구간 특성을 이용하여 수행될 수 있다. 현재 프레임이 시간 도메인 코딩이 적절한 방식인 음성신호로 분류되는 경우, 고주파수 신호의 특성에 기반한 방식보다, 고정된 형태의 가중치를 부가하는 방식이 음질 향상에 도움이 될 수 있다. 그런데, 후술할 도 14 및 15의 스위칭 구조의 부호화장치에 사용되는 통상의 신호 분류부(1410, 1510)는 복수개의 이전 프레임의 결과와 현재 프레임의 결과를 조합하여 현재 프레임의 신호를 분류할 수 있다. 따라서, 중간 결과로 현재 프레임만의 신호 분류 결과를 활용하여, 비록 최종적으로는 주파수 도메인 코딩이 적용되었지만, 현재 프레임이 시간 도메인 코딩이 적절한 방식이라고 출력된 경우에는 고정된 가중치를 설정하여 수행할 수 있다. 예를 들어, 이와 같이 현재 프레임이 시간 도메인 코딩이 적절할 음성신호로 분류되는 경우에 BWE 여기 타입은 예를 들어 2로 설정될 수 있다.
한편, 신호분류부(710)의 분류 결과 현재 프레임이 음성신호로 분류되지 않은 경우에는 복수개의 문턱치를 이용하여 BWE 여기 타입을 결정할 수 있다.
여기타입 결정부(730)는 3개의 문턱치를 설정하여 토널러티의 평균값의 영역을 4개로 구분함으로써, 음성신호가 아니라고 분류된 현재 프레임의 4가지 BWE 여기 타입을 생성할 수 있다. 항상 4가지 BWE 여기 타입을 한정하는 것은 아니며, 경우에 따라서 3가지 혹은 2가지 경우를 사용할 수도 있으며, BWE 여기 타입의 개수에 대응하여 사용되는 문턱치의 개수 및 값도 조정될 수 있다. 이와 같은 BWE 여기 타입정보에 대응하여 프레임별 가중치가 할당될 수 있다. 다른 실시예로는 프레임별 가중치는 좀 더 많은 비트를 할당할 수 있는 경우에는 밴드별 가중치 정보를 추출하여 전송할 수도 있다.
도 8은 일실시예에 따른 오디오 복호화장치의 구성을 나타낸 블럭도이다. 도 8에 도시된 오디오 복호화장치는 기본적으로 프레임 단위로 수신되는 여기 타입 정보를 이용하여 가중치를 추정하는 구성요소, 및 랜덤 노이즈와 복호화된 저주파수 스펙트럼간에 가중치를 적용해서 고주파수 여기신호를 생성하는 구성요소로 이루어질 수 있다. 나머지 구성요소는 옵션으로 더 추가될 수 있다.
도 8에 도시된 오디오 복호화장치는 역다중화부(810), 에너지 복호화부(820), BWE 파라미터 복호화부(830), 스펙트럼 복호화부(840), 제1 역정규화부(850), 노이즈 부가부(860), 여기신호 생성부(870), 제2 역정규화부(880) 및 역변환부(890)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 8을 참조하면, 역다중화부(810)는 비트스트림을 파싱하여 부호화된 밴드별 에너지, 저주파수 코딩영역(R0)과 BWE 영역(R1) 중 R2 밴드의 주파수 도메인 코딩 결과, BWE 파라미터들을 추출할 수 있다. 이때, 코딩밴드 선택정보와 BWE 파라미터들간의 상관관계에 따라서 코딩밴드 선택정보가 역다중화부(810)로부터 파싱되거나, BWE 파라미터 복호화부(830)로부터 파싱될 수 있다.
에너지 복호화부(820)는 역다중화부(810)로부터 제공되는 부호화된 밴드별 에너지를 복호화하여 밴드별 역양자화된 에너지를 생성할 수 있다. 밴드별 역양자화된 에너지는 제1 및 제2 역정규화부(850, 880)로 제공될 수 있다. 또한, 밴드별 역양자화된 에너지는 부호화단에서와 마찬가지로 비트할당을 위하여 스펙트럼 복호화부(840)로 제공될 수 있다.
BWE 파라미터 복호화부(830)는 역다중화부(810)로부터 제공되는 BWE 파라미터들을 복호화할 수 있다. 이때, 코딩밴드 선택정보인 f_flag(b)가 BWE 파라미터들, 예를 들어 all_noise와 상관관계가 있는 경우에는 BWE 파라미터 복호화부(830)에서 BWE 파라미터들과 함께 복호화가 수행될 수 있다. 일실시예에 따르면, all_noise, f_flag, all_lf, lf_att_flag 정보가 표 1에서와 같은 상관관계가 있는 경우 순차적으로 복호화를 수행할 수 있다. 이와 같은 상관관계는 다른 방식으로 변경될 수도 있으며, 변경시에는 그에 적합한 방식으로 순차적으로 복호화를 수행할 수 있다. 표 1을 예로 들면, all_noise를 먼저 파싱해서 1인지 0인지를 확인한다. 만일 all_noise이 1인 경우에는 f_flag 정보, all_lf 정보, lf_att_flag 정보는 모두 0으로 설정한다. 한편, all_noise가 0인 경우에는 f_flag 정보를 BWE 영역(R1)에 속한 밴드의 개수만큼 파싱하고, 다음 all_lf 정보를 파싱하게 된다. 만일 all_lf 정보가 0인 경우에는 lf_att_flag를 0으로 설정하고, 1인 경우에는 lf_att_flag 정보를 파싱한다.
한편, 코딩밴드 선택정보인 f_flag(b)가 BWE 파라미터들과 상관관계가 없는 경우에는 역다중화부(810)에서 비트스트림으로 파싱되어 저주파수 코딩영역(R0)과 BWE 영역(R1) 중 R2 밴드의 주파수 도메인 코딩 결과와 함께 스펙트럼 복호화부(840)로 제공될 수 있다.
스펙트럼 복호화부(840)는 저주파수 코딩영역(R0)의 주파수 도메인 코딩결과를 복호화하는 한편, 코딩밴드 선택정보에 대응하여 BWE 영역(R1) 중 R2 밴드의 주파수 도메인 코딩 결과를 복호화할 수 있다. 이를 위하여, 에너지 복호화부(820)로부터 제공되는 밴드별 역양자화된 에너지를 이용하여, 전체 허용 비트에서 파싱된 BWE 파라미터들과 코딩밴드 선택정보를 위하여 사용된 비트를 제외하고 남은 잔여 비트를 이용하여 밴드별 비트 할당을 수행할 수 있다. 스펙트럼 복호화를 위하여 무손실 복호화 및 역양자화가 수행되며, 일실시예에 따르면 FPC가 사용될 수 있다. 즉, 스펙트럼 복호화는 부호화단에서의 스펙트럼 부호화에 사용된 것과 동일하 방식을 사용하여 수행될 수 있다.
한편, BWE 영역(R1) 중 f_flag(b)가 1로 설정되어 비트가 할당되어 실제 펄스가 할당된 밴드는 R2 밴드로 분류가 되고, f_flag(b)가 0으로 설정되어 비트 할당이 안된 밴드는 R3 밴드로 분류된다. 그런데, BWE 영역(R1) 중 f_flag(b)가 1로 설정되어 있어서 스펙트럼 복호화를 수행해야 하는 밴드임에도 불구하고, 비트 할당을 하지 못하여 FPC로 코딩된 펄스 개수가 0인 밴드가 존재할 수 있다. 이와 같이 주파수 도메인 코딩을 수행하는 것으로 설정된 R2 밴드임에도 불구하고, 코딩을 수행하지 못한 밴드는 R2 밴드가 아닌 R3 밴드로 분류되어 f_flag(b)가 0으로 설정된 경우와 동일한 방식으로 처리될 수 있다.
제1 역정규화부(850)는 에너지 복호화부(820)로부터 제공되는 밴드별 역양자화된 에너지를 이용하여, 스펙트럼 복호화부(840)로부터 제공되는 주파수 도메인 디코딩 결과에 대하여 역정규화를 수행할 수 있다. 이와 같은 역정규화 처리는 복호화된 스펙트럼의 에너지를 각 밴드별 에너지에 매칭시키는 과정에 해당한다. 일실시예에 따르면, 역정규화 처리는 저주파수 코딩영역(R0)과 BWE 영역(R1) 중 R2 밴드에 대하여 수행될 수 있다.
노이즈 부가부(860)는 저주파수 코딩영역(R0)의 복호화된 스펙트럼의 각 밴드를 체크하여 R4와 R5 밴드 중 하나로 분리할 수 있다. 이때 R5로 분리되는 밴드에 대해서는 노이즈를 부가하지 않고, R4로 분리되는 밴드에 대해서 노이즈를 부가할 수 있다. 일실시예에 따르면, 노이즈를 부가할 때 사용되는 노이즈 레벨은 밴드 내에 존재하는 펄스의 밀도를 기반으로 결정될 수 있다. 즉, 노이즈 레벨은 코딩된 펄스의 에너지를 기반으로 결정되며, 노이즈 레벨을 이용하여 랜덤 에너지를 생성할 수 있다. 다른 실시예에 따르면, 노이즈 레벨은 부호화단으로부터 전송될 수 있다. 한편, 노이즈 레벨은 lf_att_flag 정보를 바탕으로 조정될 수 있다. 일실시예에 따르면, 하기와 같이 소정 조건이 만족되면 노이즈 레벨(Nl)을 Att_factor 만큼 수정할 수 있다.
if (all_noise==0 && all_lf==1 && lf_att_flag==1)
{
ni_gain = ni_coef * Nl * Att_factor;
}
else
{
ni_gain = ni_coef * Ni;
}
여기서, ni_gain은 최종 노이즈에 적용할 게인이고, ni_coef는 랜덤 시드(random seed)이고, Att_factor는 조절 상수이다.
여기신호 생성부(870)는 BWE 영역(R1)에 속한 각 밴드에 대하여 코딩밴드 선택정보에 대응하여, 노이즈 부가부(880)로부터 제공되는 복호화된 저주파수 스펙트럼을 이용하여 고주파수 여기신호를 생성할 수 있다.
제2 역정규화부(880)는 에너지 복호화부(820)로부터 제공되는 밴드별 역양자화된 에너지를 이용하여, 여기신호 생성부(870)로부터 제공되는 고주파수 여기신호에 대하여 역정규화를 수행하여 고주파수 스펙트럼을 생성할 수 있다. 이와 같은 역정규화 처리는 BWE 영역(R1)의 에너지를 각 밴드별 에너지에 매칭시키는 과정에 해당한다.
역변환부(890)는 제2 역정규화부(880)로부터 제공되는 고주파수 스펙트럼에 대하여 역변환을 수행하여 시간 도메인의 복호화된 신호를 생성할 수 있다.
도 9는 일실시예에 따른 여기신호 생성부의 세부적인 구성을 보여주는 블럭도로서, BWE 영역(R1)의 R3 밴드 즉, 비트할당이 되지 않은 밴드에 대한 여기신호 생성을 담당할 수 있다.
도 9에 도시된 여기신호 생성부는 가중치 할당부(910), 노이즈신호 생성부(930) 및 연산부(950)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 9를 참조하면, 가중치 할당부(910)는 밴드별로 가중치를 추정하여 할당할 수 있다. 여기서, 가중치는 복호화된 저주파수 신호와 랜덤노이즈를 기반으로 생성된 고주파수 노이즈신호와 랜덤노이즈를 혼합해 주는 비율을 의미한다. 구체적으로, HF 여기신호(He(f,k))는 다음 수학식 3에서와 같이 나타낼 수 있다.
Figure 112013024770064-pat00004
여기서, Ws(f,k)는 가중치를 나타내며, f는 주파수 인덱스, k는 밴드 인덱스를 나타낸다. Hn은 고주파수 노이즈신호를, Rn은 랜덤 노이즈를 각각 나타낸다.
한편, 가중치(Ws(f,k))는 하나의 밴드내에서는 동일한 값을 갖지만, 밴드 경계에서는 인접 밴드의 가중치에 따라서 스무딩되도록 처리될 수 있다.
가중치 할당부(910)에서는 BWE 파라미터와 코딩밴드 선택정보, 예를 들면 all_noise, all_lf, lf_att_flag, f_flag 정보를 이용하여 밴드별 가중치를 할당할 수 있다. 구체적으로, all_noise 가 1이면 Ws(k) = w0 (모든 k에 대해서) 로 할당된다. 한편, all_noise 가 0이면 R2 밴드에 대해서는 Ws(k)=w4로 할당한다. all_noise 가 0이면, R3 밴드에 대해서는, all_lf=1 이고, lf_att_flag=1 이면, Ws(k)=w3로 할당하고, all_lf=1 이고, lf_att_flag=0 이면, Ws(k)=w2로 할당하고, 그 이외의 경우에는 Ws(k)= w1으로 결정한다. 일실시예에 따르면, w0=1, w1=0.65, w2=0.55, w3=0.4, w4=0로 할당할 수 있다. 바람직하게로는 w0부터 w4로 갈수록 작은 값을 갖도록 설정할 수 있다.
가중치 할당부(910)는 추정된 밴드별 가중치(Ws(k))에 대하여 인접 밴드의 가중치(Ws(k-1), Ws(k+1))을 고려하여 스무딩을 수행할 수 있다. 스무딩 결과, 밴드 k에 대하여 주파수 f에 따라서 서로 다른 값을 갖는 가중치 Ws(f,k) 가 결정될 수 있다.
도 12는 밴드 경계에서 가중치에 대한 스무딩 처리를 설명하기 위한 도면이다. 도 12를 참조하면, K+2 밴드의 가중치와 K+1 밴드의 가중치가 서로 다르기 때문에, 밴드 경계에서 스무딩을 수행할 필요가 있다. 도 10의 예에서는 K+1 밴드는 스무딩을 수행하지 않고, K+2 밴드에서만 스무딩을 수행하게 된다. 그 이유는 K+1 밴드에서의 가중치(Ws(K+1))가 0이기 때문에 K+1 밴드에서 스무딩을 수행하게 되면 K+1 밴드에서의 가중치(Ws(K+1))가 0이 아닌 값을 갖게 되어 K+1 밴드에서 랜덤 노이즈까지 고려해야 하기 때문이다. 즉, 가중치가 0이라는 것은 해당 밴드에서는 고주파수 여기신호 생성시 랜덤 노이즈를 고려하지 않는다는 것을 나타낸다. 이는 극단적인 톤신호일 경우에 해당되며, 랜덤 노이즈로 인하여 하모닉 신호의 밸리 구간에 노이즈가 삽입되어 잡음이 발생되는 것을 막기 위한 것이다.
가중치 할당부(910)에서 결정된 가중치 Ws(f,k)는 고주파수 노이즈신호 Hn과 랜덤 노이즈 Rn에 적용시키기 위하여 연산부(950)로 제공될 수 있다.
노이즈신호 생성부(930)는 고주파수 노이즈신호를 생성하기 위한 것으로서, 화이트닝부(931)와 HF 노이즈 생성부(933)를 포함할 수 있다.
화이트닝부(931)는 역양자화된 저주파수 스펙트럼에 대하여 화이트닝을 수행할 수 있다. 화이트닝 처리는 공지된 다양한 방식을 적용할 수 있으며, 일예를 들면 역양자화된 저주파수 스펙트럼을 균일한 복수의 블록으로 나누고, 블록별로 스펙트럼 계수의 절대값의 평균을 구하고, 블록에 속한 스펙트럼 계수를 평균으로 나누는 방식이 적용될 수 있다.
HF 노이즈 생성부(933)는 화이트닝부(931)로부터 제공되는 저주파수 스펙트럼을 고주파수 즉, BWE 영역(R1)으로 복사하고, 랜덤 노이즈와 레벨을 매칭시켜 고주파수 노이즈신호를 생성할 수 있다. 고주파수로의 복사 처리는 부호화단과 복호화단의 미리 설정된 규칙, 패칭, 폴딩 혹은 카핑에 의해 수행되며, 비트율에 따라 선택적으로 적용할 수 있다. 레벨 매칭 처리는 BWE 영역(R1)의 전체 밴드에 대하여 랜덤 노이즈의 평균과 화이트닝 처리된 신호를 고주파수로 복사한 신호의 평균을 매칭시키는 것을 의미한다. 일실시예에 따르면, 화이트닝 처리된 신호를 고주파수로 복사한 신호의 평균이 랜덤 노이즈의 평균보다 약간 크도록 설정해줄 수도 있다. 그 이유는 랜덤 노이즈는 랜덤한 신호이기 때문에 flat한 특성을 지녔다고 볼 수 있고, LF 신호는 상대적으로 다이나믹 레인지가 커질 수 있으므로 크기의 평균을 매칭시켰지만, 에너지가 작게 발생할 수도 있기 때문이다.
연산부(950)는 랜덤 노이즈와 고주파수 노이즈신호에 대하여 가중치를 적용하여 밴드별 고주파수 여기신호를 생성하기 위한 것으로서, 제1 및 2 승산기(951, 953)와 가산기(955)를 포함할 수 있다. 여기서, 랜덤 노이즈(Rn)는 공지된 다양한 방식으로 생성될 수 있으며, 일예를 들면 랜덤 씨드(Random seed)를 이용하여 생성될 수 있다.
제1 승산기(951)는 랜덤 노이즈에 제1 가중치(Ws(k))를 승산하고, 제2 승산기(953)는 고주파수 노이즈 신호에 제2 가중치(1-Ws(k))를 승산하고, 가산기(955)는 제1 승산기(951)의 승산결과와 제2 승산기(953)의 승산결과를 가산하여 밴드별 고주파수 여기신호를 생성한다.
도 10은 다른 실시예에 따른 여기신호 생성부의 세부적인 구성을 보여주는 블럭도로서, BWE 영역(R1)의 R2 밴드 즉, 비트할당이 되어 있는 밴드에 대한 여기신호 생성 처리를 담당할 수 있다.
도 10에 도시된 여기신호 생성부는 조정 파라미터 산출부(1010), 노이즈신호 생성부(1030), 레벨 조정부(1050) 및 연산부(1060)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
도 10을 참조하면, R2 밴드는 FPC로 코딩된 펄스가 존재하기 때문에, 가중치를 이용하여 고주파수 여기신호를 생성하는 처리에 레벨 조정 처리를 더 필요로 할 수 있다. 주파수 도메인 부호화가 수행된 R2 밴드의 경우에는 랜덤 노이즈는 부가하지 않는다. 도 10에서는 가중치(Ws(k))가 0인 경우를 예로 든 것으로서, 가중치(Ws(k))가 0이 아닌 경우에는 도 9에서와 노이즈신호 생성부(930)에서와 동일한 방식으로 고주파수 노이즈 신호를 생성하게 되고, 생성된 고주파수 노이즈 신호는 도 10의 노이즈신호 생성부(1030)의 출력으로 맵핑된다. 즉, 도 10의 노이즈신호 생성부(1030)의 출력은 도 9의 노이즈신호 생성부(1030)의 출력과 같아지게 된다.
조정 파라미터 산출부(1010)는 레벨 조정에 사용되는 파라미터를 산출하기 위한 것이다. 먼저 R2 밴드에 대하여 역양자화된 FPC 신호를 C(k)로 정의하는 경우, C(k)에서 절대값의 최대값을 선택하고, 선택된 값을 Ap로 정의하고, FPC 코딩 결과 0이 아닌 값의 위치는 CPs로 정의한다. CPs를 제외한 다른 위치에서 N(k)(노이즈신호 생성부(830)의 출력) 신호의 에너지를 구하여 이 에너지를 En으로 정의한다. En 값과 Ap 값과, 부호화시에 f_flag(b) 값을 설정하기 위해 사용한 Tth0를 기반으로 조정 파라미터(γ)를 다음 수학식 4에서와 같이 구할 수 있다.
Figure 112013024770064-pat00005
여기서, Att_factor는 조정상수이다.
연산부(1060)는 조정 파라미터(γ)를 노이즈신호 생성부(1030)로부터 제공되는 노이즈 신호 N(k)에 승산하여 고주파수 여기신호를 생성할 수 있다.
도 11은 일실시예에 따른 여기신호 생성부의 세부적인 구성을 보여주는 블럭도로서, BWE 영역(R1)의 전체 밴드에 대한 여기신호 생성을 담당할 수 있다.
도 11에 도시된 여기신호 생성부는 가중치 할당부(1110), 노이즈신호 생성부(1130) 및 연산부(1150)를 포함할 수 있다. 각 구성요소는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 노이즈신호 생성부(1130) 및 연산부(1150)는 도 9의 노이즈신호 생성부(930) 및 연산부(950)과 동일하므로 그 설명을 생략하기로 한다.
도 11을 참조하면, 가중치 할당부(1110)는 프레임별로 가중치를 추정하여 할당할 수 있다. 여기서, 가중치는 복호화된 저주파수 신호와 랜덤노이즈를 기반으로 생성된 고주파수 노이즈신호와 랜덤노이즈를 혼합해 주는 비율을 의미한다.
가중치 할당부(1110)는 비트스트림으로부터 파싱된 BWE 여기 타입 정보를 수신하한다. 가중치 할당부(1110)에는 BWE 여기 타입이 0이면 Ws(k) = w00(모든 k에 대해서)로 설정하고, BWE 여기 타입이 1이면 Ws(k) = w01 (모든 k에 대해서)로 설정하고, BWE 여기 타입이 2이면 Ws(k) = w02 (모든 k에 대해서)로 설정하고, BWE 여기 타입이 3이면 Ws(k) = w03 (모든 k에 대해서)로 설정한다. 일실시예에 따르면, w00=0.8, w01=0.5, w02=0.25, w03=0.05 로 할당할 수 있다. w00부터 w03으로 갈수록 값이 작아지도록 설정할 수 있디.
한편, BWE 영역(R1) 중 특정 주파수 이후의 밴드에 대해서는 BWE 여기 타입 정보와 상관없이 동일한 가중치를 적용할 수도 있다. 일실시예에 따르면, BWE 영역(R1)에서 특정 주파수 이후 마지막 밴드를 포함하는 복수개의 밴드에 대해서는 항상 동일한 가중치를 사용하고, 특정 주파수 이하의 밴드에 대해서는 BWE 여기 타입 정보에 기반하여 가중치를 생성할 수 있다. 예를 들어, 12kHz 이상의 주파수가 속하는 밴드들인 경우에는 Ws(k) 값을 모두 w02로 할당할 수 있다. 그 결과, 부호화단에서 BWE 여기 타입을 결정하기 위하여 토널러티의 평균값을 구하는 밴드의 영역은 BWE 영역(R1) 내에서도 특정 주파수 이하 즉, 저주파수 부분으로 한정될 수 있기 때문에 연산의 복잡도를 감소시킬 수 있다. 일실시예에 따르면, BWE 영역(R1) 내에서 특정 주파수 이하 즉, 저주파수 부분에 대하여 토널러티의 평균을 구하여 여기 타입을 결정하고, 결정된 여기 타입을 그대로 BWE 영역(R1) 내에서 특정 주파수 이상 즉, 고주파수 부분에 적용할 수 있다. 즉, 프레임 단위로 여기 클래스 정보를 1개만 보내기 때문에, 여기 클래스 정보를 추정하는 영역을 좁게 가져가면, 그만큼 정확도는 더 높아질 수 있어 복원 음질의 향상을 도모할 수 있다. 한편, BWE 영역(R1) 중 고주파 부분에 대해서는 저주파수 부분에서와 동일한 여기 클래스를 적용하더라도 음질 열화가 일어날 가능성은 적을 수 있다. 또한, BWE 여기 타입 정보를 밴드별로 전송하는 경우에는 BWE 여기 타입정보를 표시하기 위하여 사용되는 비트를 절감할 수 있다.
다음, 고주파수의 에너지를 저주파수의 에너지 전송 방식과는 다른 방식으로 예를 들어 VQ와 같은 방식을 적용하게 되면, 저주파수의 에너지는 스칼라 양자화후 무손실 부호화를 사용해서 전송하게 되고, 고주파수의 에너지는 다른 방식으로 양자화를 수행하여 전송될 수 있다. 이와 같이 처리하는 경우, 저주파수 코딩 영역(R0)의 마지막 밴드와 BWE 영역(R1)의 시작 밴드를 오버래핑하는 방식으로 구성할 수 있다. 또한 BWE 영역(R1)의 밴드 구성은 다른 방식으로 구성하여 좀더 조밀한 밴드 할당 구조를 가질 수 있다.
예를 들어, 저주파수 코딩 영역(R0)의 마지막 밴드는 8.2kHz까지 구성되고, BWE 영역(R1)의 시작 밴드는 8kHz부터 시작하도록 구성할 수 있다. 이 경우 저주파수 코딩 영역(R0)과 BWE 영역(R1)간에 오버랩핑 영역이 발생된다. 그 결과 오버랩핑 영역에는 두개의 복호화된 스펙트럼을 생성할 수 있다. 하나는 저주파수의 복호화 방식을 적용하여 생성한 스펙트럼이고, 다른 하나는 고주파수의 복호화 방식으로 생성한 스펙트럼이다. 두가지 스펙트럼 즉, 저주파의 복호화 스펙트럼과 고주파의 복호화 스펙트럼간의 천이(transition)가 보다 스무딩되도록 오버랩 애드(overlap add) 방식을 적용할 수 있다. 즉, 두가지 스펙트럼을 동시에 활용하면서, 오버래핑된 영역 중 저주파수쪽에 가까운 스펙트럼은 저주파 방식으로 생성된 스펙트럼의 기여분을 높이고, 고주파수쪽에 가까운 스펙트럼은 고주파 방식으로 생성된 스펙트럼의 기여분을 높여서 오버래핑된 영역을 재구성할 수 있다.
예를 들어, 저주파수 코딩 영역(R0)의 마지막 밴드는 8.2kHz까지, BWE 영역(R1)의 시작 밴드는 8kHz부터 시작하는 경우, 32 kHz 샘플링 레이트로 640 샘플의 스펙트럼을 구성하게 되면 320~327까지 8개의 스펙트럼이 오버랩되며, 8개의 스펙트럼에 대해서는 다음 수학식 5에서와 같이 생성할 수 있다.
Figure 112013024770064-pat00006
여기서,
Figure 112013024770064-pat00007
는 저주파 방식으로 복호화된 스펙트럼,
Figure 112013024770064-pat00008
는 고주파 방식으로 복호화된 스펙트럼, L0는 고주파의 시작 스펙트럼 위치, L0~L1은 오버래핑된 영역, w0는 기여분을 각각 나타낸다.
도 13은 일실시예에 따라 복호화단에서 BWE 처리후 오버래핑 영역에 존재하는 스펙트럼을 재구성하기 위하여 사용되는 기여분을 설명하는 도면이다.
도 13을 참조하면, wO(k)는 wO0(k)및 wO1(k)를 선택적으로 적용할 수 있는데, wO0(k)는 저주파수와 고주파수의 복호화 방식에 동일한 가중치를 적용하는 것이고, wO1(k)는 고주파수의 복호화 방식에 더 큰 가중치를 가하는 방식이다. 두가지 wO(k)에 대한 선택 기준은 저주파수의 오버랩핑 밴드에서 FPC를 사용한 펄스가 존재하였는지에 대한 유무이다. 저주파수의 오버랩핑 밴드에서 펄스가 선택되어 코딩된 경우에는 wO0(k)를 활용하여, 저주파수에서 생성한 스펙트럼에 대한 기여분을 L1 근처까지 유효하게 하고, 고주파수의 기여분을 감소시키게 된다. 기본적으로 BWE를 통해서 생성된 신호의 스펙트럼보다는 실제 코딩 방식에 의해 생성된 스펙트럼이 원신호와의 근접성 측면에서 더 높을 수 있다. 이를 활용하여 오버랩핑 밴드에서 원신호에 좀더 근접한 스펙트럼의 기여분을 높여주는 방식을 적용할 수 있으며, 따라서 스무딩 효과 및 음질 향상을 도모할 수 있다.
도 14는 일실시예에 다른 스위칭 구조의 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 14에 도시된 부호화 장치는 신호 분류부(1410), TD(Time Domain) 부호화부(1420), TD 확장 부호화부(1430), FD(Frequency Domain) 부호화부(1440) 및 FD 확장 부호화부(1450)를 포함할 수 있다.
신호 분류부(1415)는 입력신호의 특성을 참조하여, 입력 신호의 부호화 모드를 결정한다. 신호 분류부(1415)는 입력신호의 시간 도메인 특성과 주파수 도메인 특성을 고려하여, 입력 신호의 부호화 모드를 결정할 수 있다. 또한, 신호 분류부(1410)는 입력신호의 특성이 음성신호에 해당할 경우 입력 신호에 대하여 TD 부호화가 수행되도록 결정하고, 입력 신호의 특성이 음성신호가 아닌 오디오신호에 해당할 경우 입력 신호에 대하여 FD 부호화가 수행되도록 결정할 수 있다.
신호 분류부(1410)로 입력되는 입력 신호는 다운 샘플링부(미도시)에 의하여 다운 샘플링된 신호가 될 수 있다. 실시예에 따르면, 입력 신호는 32kHz 또는 48kHz의 샘플링 레이트를 가지는 신호를 리-샘플링(re-sampling)함에 따라 12.8kHz 또는 16kHz의 샘플링 레이트를 가지는 신호가 될 수 있다. 이때, 리-샘플링은 다운-샘플링이 될 수 있다. 여기서, 32kHz의 샘플링 레이트를 가지는 신호는 SWB(Super Wide Band) 신호가 될 수 있고, 이때, SWB 신호는 Fullband(FB) 신호가 될 수 있다. 또한, 16kHz의 샘플링 레이트를 가지는 신호는 WB(Wide Band) 신호가 될 수 있다.
이에 따라, 신호 분류부(1410)는 입력신호의 저주파수 영역에 존재하는 저주파수 신호의 특성을 참조하여, 저주파수 신호의 부호화 모드를 TD 모드 또는 FD 모드 중 어느 하나로 결정할 수 있다.
TD 부호화부(1420)는 입력 신호의 부호화 모드가 TD 모드로 결정되면, 입력 신호에 대하여 CELP(Code Excited Linear Prediction) 부호화를 수행한다. TD 부호화부(1420)는 입력 신호로부터 여기신호(excitation signal)를 추출하고, 추출된 여기신호를 피치(pitch)정보에 해당하는 adaptive codebook contribution 및 fixed codebook contribution 각각을 고려하여 양자화할 수 있다.
다른 실시예에 따르면, TD 부호화부(1420)는 입력 신호로부터 선형예측계수(Linear Prediction Coefficient, LPC)를 추출하고, 추출된 선형예측계수를 양자화하고, 양자화된 선형예측계수를 이용하여 여기신호를 추출하는 과정을 더 포함할 수도 있다.
또한, TD 부호화부(1420)는 입력 신호의 특성에 따른 다양한 부호화 모드에 따라 CELP 부호화를 수행할 수 있다. 예를 들면, CELP 부호화부(1420)는 유성음 부호화 모드(voiced coding mode), 무성음 부호화 모드(unvoiced coding mode), 트랜지션 부호화 모드(transition coding mode) 또는 일반적인 부호화 모드(generic coding mode) 중 어느 하나의 부호화 모드로 입력 신호에 대하여 CELP 부호화를 수행할 수 있다.
TD 확장 부호화부(1430)는 입력 신호의 저주파 신호에 대하여 CELP 부호화가 수행되면, 입력 신호의 고주파 신호에 대하여 확장 부호화를 수행한다. 예를 들면, TD 확장 부호화부(1430)는 입력 신호의 고주파 영역에 대응하는 고주파 신호의 선형예측계수를 양자화한다. 이때, TD 확장 부호화부(1430)는 입력 신호의 고주파 신호의 선형예측계수를 추출하고, 추출된 선형예측계수를 양자화할 수도 있다. 실시예에 따르면 TD 확장 부호화부(1430)는 입력 신호의 저주파 신호의 여기신호를 사용하여, 입력 신호의 고주파 신호의 선형예측계수를 생성할 수도 있다.
FD 부호화부(1440)는 입력 신호의 부호화 모드가 FD 모드로 결정되면, 입력 신호에 대하여 FD 부호화를 수행한다. 이를 위하여, 입력 신호에 대하여 MDCT(Modified Discrete Cosine Transform) 등을 이용하여 주파수 도메인으로 변환하고, 변환된 주파수 스펙트럼에 대하여 양자화 및 무손실 부호화를 수행할 수 있다. 실시예에 따르면 FPC 를 적용할 수 있다.
FD 확장 부호화부(1450)는 입력 신호의 고주파수 신호에 대하여 확장 부호화를 수행한다. 실시예에 따르면 FD 확장 부호화부(1450)는 저주파수 스펙트럼을 이용하여 고주파수 확장을 수행할 수 있다.
도 15는 다른 실시예에 다른 스위칭 구조의 오디오 부호화장치의 구성을 나타낸 블럭도이다.
도 15에 도시된 부호화 장치는 신호 분류부(1510), LPC 부호화부(1520), TD 부호화부(1530), TD 확장 부호화부(1540), 오디오 부호화부(1550) 및 오디오 확장 부호화부(1560)를 포함할 수 있다.
도 15를 참조하면, 신호 분류부(1510)는 입력 신호의 특성을 참조하여, 입력 신호의 부호화 모드를 결정한다. 신호 분류부(1510)는 입력 신호의 시간 도메인 특성과 주파수 도메인 특성을 고려하여, 입력 신호의 부호화 모드를 결정할 수 있다. 신호 분류부(1510)는 입력 신호의 특성이 음성신호에 해당할 경우 입력 신호에 대하여 TD 부호화가 수행되도록 결정하고, 입력 신호의 특성이 음성신호가 아닌 오디오신호에 해당할 경우 입력 신호에 대하여 오디오 부호화가 수행되도록 결정할 수 있다.
LPC 부호화부(1520)는 입력 신호의 저주파 신호로부터 선형예측계수(Linear Prediction Coefficient, LPC)를 추출하고, 추출된 선형예측계수를 양자화한다. 실시예에 따르면, LPC 부호화부(1520)는 TCQ(Trellis Coded Quantization) 방식, MSVQ(Multi-stage Vector Quantization) 방식, LVQ(Lattice Vector Quantization) 방식 등을 사용하여, 선형예측계수를 양자화할 수 있으나, 이에 한정되지 않는다.
구체적으로, LPC 부호화부(1520)는 32kHz 또는 48kHz의 샘플링 레이트를 가지는 입력 신호를 리-샘플링(re-sampling)함에 따라 12.8kHz 또는 16kHz의 샘플링 레이트를 가지는 입력 신호의 저주파 신호로부터 선형예측계수를 추출할 수 있다. LPC 부호화부(1520)는 양자화된 선형예측계수를 이용하여 LPC 여기신호를 추출하는 과정을 더 포함할 수 있다.
TD 부호화부(1530)는 입력 신호의 부호화 모드가 TD 모드로 결정되면, 선형예측계수를 이용하여 추출된 LPC 여기신호에 대하여 CELP 부호화를 수행한다. 예를 들면, TD 부호화부(1530)는 LPC 여기신호에 대하여 피치 정보에 해당하는 adaptive codebook contribution 및 fixed codebook contribution 각각을 고려하여 양자화할 수 있다. 이때, LPC 여기신호는 LPC 부호화부(1520) 및 TD 부호화부(1530) 및 중 적어도 어느 하나에서 생성될 수 있다.
TD 확장 부호화부(1540)는 입력 신호의 저주파 신호의 LPC 여기신호에 대하여 CELP 부호화가 수행되면, 입력 신호의 고주파 신호에 대하여 확장 부호화를 수행한다. 예를 들면, TD 확장 부호화부(1540)는 입력 신호의 고주파 신호의 선형예측계수를 양자화한다. 실시예에 따르면 TD 확장 부호화부(1540)는 입력 신호의 저주파 신호의 LPC 여기신호를 사용하여, 입력 신호의 고주파 신호의 선형예측계수를 추출할 수도 있다.
오디오 부호화부(1550)는 입력 신호의 부호화 모드가 오디오 모드로 결정되면, 선형예측계수를 이용하여 추출된 LPC 여기신호에 대하여 오디오 부호화를 수행한다. 예를 들면, 오디오 부호화부(1550)는 선형예측계수를 이용하여 추출된 LPC 여기신호를 주파수 도메인으로 변환하고, 변환된 LPC 여기신호를 양자화한다. 오디오 부호화부(1550)는 주파수 도메인으로 변환된 여기 스펙트럼에 대하여 FPC 방식, 또는 Lattice VQ(LVQ) 방식에 따른 양자화를 수행할 수도 있다.
추가적으로, 오디오 부호화부(1550)는 LPC 여기신호에 대하여 양자화를 수행함에 있어서 비트의 여유가 있는 경우, adaptive codebook contribution 및 fixed codebook contribution의 TD 코딩 정보를 더 고려하여 양자화할 수도 있다.
FD 확장 부호화부(1560)는 입력 신호의 저주파 신호의 LPC 여기신호에 대하여 오디오 부호화가 수행되면, 입력 신호의 고주파 신호에 대하여 확장 부호화를 수행한다. 즉, FD 확장 부호화부(1560)는 저주파수 스펙트럼을 이용하여 고주파수 확장을 수행한다.
도 14 및 15에 도시된 FD 확장 부호화부(1450, 1560)은 도 3 및 도 6의 부호화장치로 구현될 수 있다.
도 16은 일실시예에 다른 스위칭 구조의 오디오 복호화장치의 구성을 나타낸 블럭도이다.
도 16을 참조하면, 복호화 장치는 모드 정보 검사부(1610), TD 복호화부(1620), TD 확장 복호화부(1630), FD 복호화부(1640) 및 FD 확장 복호화부(1650)을 포함할 수 있다.
모드 정보 검사부(161)는 비트스트림에 포함된 프레임들 각각에 대한 모드 정보를 검사한다. 모드 정보 검사부(1610)는 비트스트림으로부터 모드 정보를 파싱하고, 파싱결과에 따른 현재 프레임의 부호화 모드에 따라 TD 복호화 모드 또는 FD 복호화 모드 중 어느 하나의 복호화 모드로 스위칭 작업을 수행한다.
구체적으로, 모드 정보 검사부(1610)는 비트스트림에 포함된 프레임들 각각에 대하여, TD 모드로 부호화된 프레임은 CELP 복호화가 수행되도록 스위칭하고, FD 모드로 부호화된 프레임은 FD 복호화가 수행되도록 스위칭할 수 있다.
TD 복호화부(1620)는 검사결과에 따라 CELP 부호화된 프레임에 대하여 CELP 복호화를 수행한다. 예를 들면, TD 복호화부(1620)는 비트스트림에 포함된 선형예측계수를 복호화하고, adaptive codebook contribution 및 fixed codebook contribution에 대한 복호화를 수행하고, 복호화 수행결과를 합성하여 저주파수에 대한 복호화 신호인 저주파 신호를 생성한다.
TD 확장 복호화부(1630)는 CELP 복호화가 수행된 결과 및 저주파 신호의 여기신호 중 적어도 하나를 이용하여, 고주파수에 대한 복호화 신호를 생성한다. 이때, 저주파 신호의 여기신호는 비트스트림에 포함될 수 있다. 또한, TD 확장 복호화부(1630)는 고주파수에 대한 복호화 신호인 고주파 신호를 생성하기 위하여, 비트스트림에 포함된 고주파 신호에 대한 선형예측계수 정보를 활용할 수 있다.
실시예에 따르면, TD 확장 복호화부(1630)는 생성된 고주파 신호를 TD 복호화부(1620)에서 생성된 저주파 신호와 합성하여, 복호화된 신호를 생성할 수 있다. 이때, TD 확장 복호화부(1620)는 복호화된 신호를 생성하기 위하여 저주파 신호와 고주파 신호의 샘플링 레이트를 동일하도록 변환하는 작업을 더 수행할 수 있다.
FD 복호화부(1640)는 검사결과에 따라 FD 부호화된 프레임에 대하여 FD 복호화를 수행한다. 실시예에 따른 FD 복호화부(1640)는 비트스트림에 포함된 이전 프레임의 모드 정보를 참조하여 무손실 복호화 및 역양자화를 수행할 수도 있다. 이때, FPC 복호화가 적용될 수 있으며, FPC 복호화가 수행된 결과, 소정 주파수 밴드에 노이즈를 부가할 수 있다.
FD 확장 복호화부(1650)는 FD 복호화부(1640)에서 FPC 복호화 및/또는 노이즈 필링이 수행된 결과를 이용하여, 고주파수 확장 복호화를 수행한다. FD 확장 복호화부(1650)는 저주파 대역에 대하여 복호화된 주파수 스펙트럼의 에너지를 역양자화하고, 고주파 대역폭 확장의 다양한 모드에 따라 저주파 신호를 이용하여 고주파 신호의 여기신호를 생성하고, 생성된 여기신호의 에너지가 역양자화된 에너지에 대칭되도록 게인을 적용함에 따라, 복호화된 고주파 신호를 생성할 수 있다. 예를 들면, 고주파 대역폭 확장의 다양한 모드는 노말(normal) 모드, 하모닉(harmonic) 모드, 또는 노이즈(noise) 모드 중 어느 하나의 모드가 될 수 있다.
도 17은 다른 실시예에 다른 스위칭 구조의 오디오 복호화장치의 구성을 나타낸 블럭도이다.
도 17을 참조하면, 복호화 장치는 모드 정보 검사부(1710), LPC 복호화부(1720), TD 복호화부(1730), TD 확장 복호화부(1740), 오디오 복호화부(1750) 및 FD 확장 복호화부(1760)을 포함할 수 있다.
모드 정보 검사부(1710)는 비트스트림에 포함된 프레임들 각각에 대한 모드 정보를 검사한다. 예를 들면, 모드 정보 검사부(1710)는 부호화된 비트스트림으로부터 모드 정보를 파싱하고, 파싱결과에 따른 현재 프레임의 부호화 모드에 따라 TD 복호화 모드 또는 오디오 복호화 모드 중 어느 하나의 복호화 모드로 스위칭 작업을 수행한다.
구체적으로, 모드 정보 검사부(1710)는 비트스트림에 포함된 프레임들 각각에 대하여, TD 모드로 부호화된 프레임은 CELP 복호화가 수행되도록 스위칭하고, 오디오 부호화 모드로 부호화된 프레임은 오디오 복호화가 수행되도록 스위칭할 수 있다.
LPC 복호화부(1720)는 비트스트림에 포함된 프레임들에 대하여 LPC 복호화를 수행한다.
TD 복호화부(1730)는 검사결과에 따라 CELP 부호화된 프레임에 대하여 CELP 복호화를 수행한다. 예를 들어 설명하면, TD 복호화부(1730)는 adaptive codebook contribution 및 fixed codebook contribution에 대한 복호화를 수행하고, 복호화 수행결과를 합성하여 저주파수에 대한 복호화 신호인 저주파 신호를 생성한다.
TD 확장 복호화부(1740)는 CELP 복호화가 수행된 결과 및 저주파 신호의 여기신호 중 적어도 하나를 이용하여, 고주파수에 대한 복호화 신호를 생성한다. 이때, 저주파 신호의 여기신호는 비트스트림에 포함될 수 있다. 또한, TD 확장 복호화부(1740)는 고주파수에 대한 복호화 신호인 고주파 신호를 생성하기 위하여, LPC 복호화부(1720)에서 복호화된 선형예측계수 정보를 이용할 수 있다.
또한, 실시예에 따르면 TD 확장 복호화부(1740)는 생성된 고주파 신호를 TD 복호화부(1730)에서 생성된 저주파 신호와 합성하여, 복호화된 신호를 생성할 수 있다. 이때, TD 확장 복호화부(1740)는 복호화된 신호를 생성하기 위하여 저주파 신호와 고주파 신호의 샘플링 레이트를 동일하도록 변환하는 작업을 더 수행할 수 있다.
오디오 복호화부(1750)는 검사결과에 따라 오디오 부호화된 프레임에 대하여 오디오 복호화를 수행한다. 예를 들면, 오디오 복호화부(1750)는 비트스트림을 참조하여, 시간 도메인 기여분(contribution)이 존재하는 경우 시간 도메인 기여분 및 주파수 도메인 기여분을 고려하여 복호화를 수행하고, 시간 도메인 기여분이 존재하지 않는 경우 주파수 도메인 기여분을 고려하여 복호화를 수행할 수 있다.
또한, 오디오 복호화부(1750)는 FPC 또는 LVQ로 양자화된 신호에 대하여 IDCT 등을 이용하여 시간 도메인으로 변환하여 복호화된 저주파수 여기신호를 생성하고, 생성된 여기신호를 역양자화된 LPC 계수와 합성하여, 복호화된 저주파수 신호를 생성할 수 있다.
FD 확장 복호화부(1760)는 오디오 복호화가 수행된 결과를 이용하여 확장 복호화를 수행한다. 예를 들면, FD 확장 복호화부(1760)는 복호화된 저주파수 신호를 고주파수 확장 복호화에 적합한 샘플링 레이트로 변환하고, 변환된 신호에 MDCT와 같은 주파수 변환을 수행한다. FD 확장 복호화부(1760)는 변환된 저주파수 스펙트럼의 에너지를 역양자화하고, 고주파 대역폭 확장의 다양한 모드에 따라 저주파 신호를 이용하여 고주파 신호의 여기신호를 생성하고, 생성된 여기신호의 에너지가 역양자화된 에너지에 대칭되도록 게인을 적용함에 따라, 복호화된 고주파 신호를 생성할 수 있다. 예를 들어, 고주파 대역폭 확장의 다양한 모드는 노말(normal) 모드, 전이(transient) 모드, 하모닉(harmonic) 모드, 또는 노이즈(noise) 모드 중 어느 하나의 모드가 될 수 있다.
또한, FD 확장 복호화부(1760)는 복호화된 고주파 신호에 대하여 Inverse MDCT를 이용하여 시간 도메인으로 변환하고, 시간 도메인으로 변환된 신호에 대하여 오디오 복호화부(1750)에서 생성된 저주파 신호와 샘플링 레이트를 맞추기 위한 변환작업을 수행한 후, 저주파 신호와 변환작업이 수행된 신호를 합성할 수 있다.
도 16 및 17에 도시된 FD 확장 복호화부(1650, 1760)은 도 8의 복호화장치로 구현될 수 있다.
도 18은 본 발명의 일실시예에 따른 부호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 18에 도시된 멀티미디어 기기(1800)는 통신부(1810)와 부호화모듈(1830)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림의 용도에 따라서, 오디오 비트스트림을 저장하는 저장부(1850)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1800)는 마이크로폰(1870)을 더 포함할 수 있다. 즉, 저장부(1850)와 마이크로폰(1870)은 옵션으로 구비될 수 있다. 한편, 도 18에 도시된 멀티미디어 기기(1800)는 임의의 복호화모듈(미도시), 예를 들면 일반적인 복호화 기능을 수행하는 복호화모듈 혹은 본 발명의 일실시예에 따른 복호화모듈을 더 포함할 수 있다. 여기서, 부호화모듈(1830)은 멀티미디어 기기(1800)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 18을 참조하면, 통신부(1810)는 외부로부터 제공되는 오디오와 부호화된비트스트림 중 적어도 하나를 수신하거나, 복원된 오디오와 부호화모듈(1830)의 부호화결과 얻어지는 오디오 비트스트림 중 적어도 하나를 송신할 수 있다.
통신부(1810)는 무선 인터넷, 무선 인트라넷, 무선 전화망, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee), NFC(Near Field Communication)와 같은 무선 네트워크 또는 유선 전화망, 유선 인터넷과 같은 유선 네트워크를 통해 외부의 멀티미디어 기기와 데이터를 송수신할 수 있도록 구성된다.
부호화모듈(1830)은 일실시예에 따르면, 통신부(1810) 혹은 마이크로폰(1870)을 통하여 제공되는 시간 도메인의 오디오 신호에 대하여 도 14 혹은 도 15의 부호화장치를 이용한 부호화를 수행할 수 있다. 또한, FD 확장 부호화는 도 3 혹은 도 6의 부호화장치를 이용할 수 있다.
저장부(1850)는 부호화 모듈(1830)에서 생성되는 부호화된 비트스트림을 저장할 수 있다. 한편, 저장부(1850)는 멀티미디어 기기(1800)의 운용에 필요한 다양한 프로그램을 저장할 수 있다.
마이크로폰(1870)은 사용자 혹은 외부의 오디오신호를 부호화모듈(1830)로 제공할 수 있다.
도 19는 본 발명의 일실시예에 따른 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 19에 도시된 멀티미디어 기기(1800)는 통신부(1910)와 복호화모듈(1930)을 포함할 수 있다. 또한, 복호화 결과 얻어지는 복원된 오디오신호의 용도에 따라서, 복원된 오디오신호를 저장하는 저장부(1950)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1900)는 스피커(1970)를 더 포함할 수 있다. 즉, 저장부(1950)와 스피커(1970)는 옵션으로 구비될 수 있다. 한편, 도 19에 도시된 멀티미디어 기기(1900)는 임의의 부호화모듈(미도시), 예를 들면 일반적인 부호화 기능을 수행하는 부호화모듈 혹은 본 발명의 일실시예에 따른 부호화모듈을 더 포함할 수 있다. 여기서, 복호화모듈(1930)은 멀티미디어 기기(1900)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나의 이상의 프로세서(미도시)로 구현될 수 있다.
도 19를 참조하면, 통신부(1910)는 외부로부터 제공되는 부호화된 비트스트림과 오디오 신호 중 적어도 하나를 수신하거나 복호화 모듈(1930)의 복호화결과 얻어지는 복원된 오디오 신호와 부호화결과 얻어지는 오디오 비트스트림 중 적어도 하나를 송신할 수 있다. 한편, 통신부(1910)는 도 18의 통신부(1810)와 실질적으로 유사하게 구현될 수 있다.
복호화 모듈(1930)은 일실시예에 따르면, 통신부(1910)를 통하여 제공되는 비트스트림을 수신하고, 비트스트림에 포함된 오디오 스펙트럼에 대하여 도 16 혹은 도 17의 복호화장치를 이용한 복호화를 수행할 수 있다. 또한, FD 확장 복호화는 도 8의 복호화장치를 이용할 수 있으며, 구체적으로는 도 9 내지 도 11에 도시된 고주파수 여기신호 생성부를 이용할 수 있다.
저장부(1950)는 복호화 모듈(1930)에서 생성되는 복원된 오디오신호를 저장할 수 있다. 한편, 저장부(1950)는 멀티미디어 기기(1900)의 운용에 필요한 다양한 프로그램을 저장할 수 있다.
스피커(1970)는 복호화 모듈(1930)에서 생성되는 복원된 오디오신호를 외부로 출력할 수 있다.
도 20은 본 발명의 일실시예에 따른 부호화모듈과 복호화모듈을 포함하는 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 20에 도시된 멀티미디어 기기(2000)는 통신부(2010), 부호화모듈(2020)과 복호화모듈(2030)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림 혹은 복호화 결과 얻어지는 복원된 오디오신호의 용도에 따라서, 오디오 비트스트림 혹은 복원된 오디오신호를 저장하는 저장부(2040)을 더 포함할 수 있다. 또한, 멀티미디어 기기(2000)는 마이크로폰(2050) 혹은 스피커(2060)를 더 포함할 수 있다. 여기서, 부호화모듈(2020)과 복호화모듈(2030)은 멀티미디어 기기(2000)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 20에 도시된 각 구성요소는 도 18에 도시된 멀티미디어 기기(1800)의 구성요소 혹은 도 19에 도시된 멀티미디어 기기(1900)의 구성요소와 중복되므로, 그 상세한 설명은 생각하기로 한다.
도 18 내지 도 20에 도시된 멀티미디어 기기(1800, 1900, 2000)에는, 전화, 모바일 폰 등을 포함하는 음성통신 전용단말, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용장치, 혹은 음성통신 전용단말과 방송 혹은 음악 전용장치의 융합 단말장치가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 멀티미디어 기기(1800, 1900, 2000)는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
한편, 멀티미디어 기기(1800, 1900, 2000)가 예를 들어 모바일 폰인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 유저 인터페이스 혹은 모바일 폰에서 처리되는 정보를 디스플레이하는 디스플레이부, 모바일 폰의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, 모바일 폰은 촬상 기능을 갖는 카메라부와 모바일 폰에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
한편, 멀티미디어 기기(1800, 1900, 2000)가 예를 들어 TV인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 수신된 방송정보를 디스플레이하는 디스플레이부, TV의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, TV는 TV에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 스코프는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.
610 ... 트랜지언트 검출부 620 ... 변환부
630 ... 에너지 추출부 640 ... 에너지 부호화부
650 ... 스펙트럼 부호화부 660 ... 토널러티 산출부
670 ... BWE 파라미터 부호화부 680 ... 다중화부

Claims (5)

  1. 오디오 신호의 현재 프레임이 음성 신호에 해당하는지 여부를 결정하는 단계;
    상기 현재 프레임이 음성신호에 해당하는 경우, 상기 현재 프레임의 고주파 대역 확장 여기 클래스가 음성 클래스임을 나타내는 제1 여기 클래스 정보를 생성하는 단계;
    상기 현재 프레임이 음성신호에 해당하지 않는 경우, 상기 현재 프레임의 토널 특성을 획득하는 단계;
    상기 토널 특성을 임계치와 비교하여 상기 현재 프레임의 고주파 대역 확장 여기 클래스가 제1 비음성 클래스 혹은 제2 비음성 클래스임을 나타내는 제2 여기 클래스 정보를 생성하는 단계; 및
    상기 제1 여기 클래스 정보 혹은 상기 제2 여기 클래스 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는, 고주파 대역 확장 여기 클래스 생성방법.
  2. 삭제
  3. 제1 항에 있어서, 상기 제1 비음성 클래스는 상기 현재 프레임이 토널 신호인 경우, 상기 제2 비음성 클래스는 상기 현재 프레임이 노이지 신호인 경우 각각 할당되는 , 고주파 대역 확장 여기 클래스 생성방법.
  4. 제1 항 또는 제3 항 중 어느 한 항에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  5. 삭제
KR1020130030587A 2012-03-21 2013-03-21 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치 KR102070432B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261613610P 2012-03-21 2012-03-21
US61/613,610 2012-03-21
US201261719799P 2012-10-29 2012-10-29
US61/719,799 2012-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200007392A Division KR102194559B1 (ko) 2012-03-21 2020-01-20 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130107257A KR20130107257A (ko) 2013-10-01
KR102070432B1 true KR102070432B1 (ko) 2020-03-02

Family

ID=49223006

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020130030587A KR102070432B1 (ko) 2012-03-21 2013-03-21 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
KR1020200007392A KR102194559B1 (ko) 2012-03-21 2020-01-20 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
KR1020200177443A KR102248252B1 (ko) 2012-03-21 2020-12-17 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020200007392A KR102194559B1 (ko) 2012-03-21 2020-01-20 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
KR1020200177443A KR102248252B1 (ko) 2012-03-21 2020-12-17 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치

Country Status (8)

Country Link
US (3) US9378746B2 (ko)
EP (2) EP2830062B1 (ko)
JP (2) JP6306565B2 (ko)
KR (3) KR102070432B1 (ko)
CN (2) CN108831501B (ko)
ES (1) ES2762325T3 (ko)
TW (2) TWI626645B (ko)
WO (1) WO2013141638A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102150496B1 (ko) * 2013-04-05 2020-09-01 돌비 인터네셔널 에이비 오디오 인코더 및 디코더
US8982976B2 (en) * 2013-07-22 2015-03-17 Futurewei Technologies, Inc. Systems and methods for trellis coded quantization based channel feedback
KR102315920B1 (ko) * 2013-09-16 2021-10-21 삼성전자주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
CN105745703B (zh) 2013-09-16 2019-12-10 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
EP3040987B1 (en) 2013-12-02 2019-05-29 Huawei Technologies Co., Ltd. Encoding method and apparatus
FR3017484A1 (fr) 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
CN106233112B (zh) * 2014-02-17 2019-06-28 三星电子株式会社 信号编码方法和设备以及信号解码方法和设备
WO2015122752A1 (ko) 2014-02-17 2015-08-20 삼성전자 주식회사 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
MX361028B (es) * 2014-02-28 2018-11-26 Fraunhofer Ges Forschung Dispositivo de decodificación, dispositivo de codificación, método de decodificación, método de codificación, dispositivo de terminal y dispositivo de estación de base.
WO2015133795A1 (ko) * 2014-03-03 2015-09-11 삼성전자 주식회사 대역폭 확장을 위한 고주파 복호화 방법 및 장치
CN111312277B (zh) * 2014-03-03 2023-08-15 三星电子株式会社 用于带宽扩展的高频解码的方法及设备
EP3117432B1 (en) * 2014-03-14 2019-05-08 Telefonaktiebolaget LM Ericsson (publ) Audio coding method and apparatus
CN106409300B (zh) * 2014-03-19 2019-12-24 华为技术有限公司 用于信号处理的方法和装置
EP3913628A1 (en) * 2014-03-24 2021-11-24 Samsung Electronics Co., Ltd. High-band encoding method
EP2980792A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
CN107077855B (zh) 2014-07-28 2020-09-22 三星电子株式会社 信号编码方法和装置以及信号解码方法和装置
FR3024581A1 (fr) * 2014-07-29 2016-02-05 Orange Determination d'un budget de codage d'une trame de transition lpd/fd
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2016024853A1 (ko) * 2014-08-15 2016-02-18 삼성전자 주식회사 음질 향상 방법 및 장치, 음성 복호화방법 및 장치와 이를 채용한 멀티미디어 기기
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US9837089B2 (en) * 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US9978392B2 (en) * 2016-09-09 2018-05-22 Tata Consultancy Services Limited Noisy signal identification from non-stationary audio signals
CN108630212B (zh) * 2018-04-03 2021-05-07 湖南商学院 非盲带宽扩展中高频激励信号的感知重建方法与装置
US11133891B2 (en) 2018-06-29 2021-09-28 Khalifa University of Science and Technology Systems and methods for self-synchronized communications
US10951596B2 (en) * 2018-07-27 2021-03-16 Khalifa University of Science and Technology Method for secure device-to-device communication using multilayered cyphers
WO2020157888A1 (ja) * 2019-01-31 2020-08-06 三菱電機株式会社 周波数帯域拡張装置、周波数帯域拡張方法、及び周波数帯域拡張プログラム
EP3751567B1 (en) * 2019-06-10 2022-01-26 Axis AB A method, a computer program, an encoder and a monitoring device
CN113539281A (zh) * 2020-04-21 2021-10-22 华为技术有限公司 音频信号编码方法和装置
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808597A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113963703A (zh) * 2020-07-03 2022-01-21 华为技术有限公司 一种音频编码的方法和编解码设备
CN113270105B (zh) * 2021-05-20 2022-05-10 东南大学 一种基于混合调制的类语音数据传输方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US524323A (en) * 1894-08-14 Benfabriken
GB1218015A (en) * 1967-03-13 1971-01-06 Nat Res Dev Improvements in or relating to systems for transmitting television signals
US4890328A (en) * 1985-08-28 1989-12-26 American Telephone And Telegraph Company Voice synthesis utilizing multi-level filter excitation
US4771465A (en) * 1986-09-11 1988-09-13 American Telephone And Telegraph Company, At&T Bell Laboratories Digital speech sinusoidal vocoder with transmission of only subset of harmonics
KR940004026Y1 (ko) 1991-05-13 1994-06-17 금성일렉트론 주식회사 바이어스의 스타트업회로
DE69233502T2 (de) * 1991-06-11 2006-02-23 Qualcomm, Inc., San Diego Vocoder mit veränderlicher Bitrate
US5721788A (en) 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
US6983051B1 (en) * 1993-11-18 2006-01-03 Digimarc Corporation Methods for audio watermarking and decoding
US6614914B1 (en) * 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US5602961A (en) * 1994-05-31 1997-02-11 Alaris, Inc. Method and apparatus for speech compression using multi-mode code excited linear predictive coding
US5732389A (en) * 1995-06-07 1998-03-24 Lucent Technologies Inc. Voiced/unvoiced classification of speech for excitation codebook selection in celp speech decoding during frame erasures
US5664055A (en) * 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
US5781881A (en) * 1995-10-19 1998-07-14 Deutsche Telekom Ag Variable-subframe-length speech-coding classes derived from wavelet-transform parameters
US6570991B1 (en) * 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
US7024355B2 (en) * 1997-01-27 2006-04-04 Nec Corporation Speech coder/decoder
US6819863B2 (en) 1998-01-13 2004-11-16 Koninklijke Philips Electronics N.V. System and method for locating program boundaries and commercial boundaries using audio categories
ATE302991T1 (de) * 1998-01-22 2005-09-15 Deutsche Telekom Ag Verfahren zur signalgesteuerten schaltung zwischen verschiedenen audiokodierungssystemen
US6104992A (en) * 1998-08-24 2000-08-15 Conexant Systems, Inc. Adaptive gain reduction to produce fixed codebook target signal
US6456964B2 (en) * 1998-12-21 2002-09-24 Qualcomm, Incorporated Encoding of periodic speech using prototype waveforms
US6311154B1 (en) * 1998-12-30 2001-10-30 Nokia Mobile Phones Limited Adaptive windows for analysis-by-synthesis CELP-type speech coding
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6298322B1 (en) * 1999-05-06 2001-10-02 Eric Lindemann Encoding and synthesis of tonal audio signals using dominant sinusoids and a vector-quantized residual tonal signal
JP4438127B2 (ja) * 1999-06-18 2010-03-24 ソニー株式会社 音声符号化装置及び方法、音声復号装置及び方法、並びに記録媒体
JP4792613B2 (ja) * 1999-09-29 2011-10-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体
FR2813722B1 (fr) * 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US20020128839A1 (en) * 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
US6694293B2 (en) * 2001-02-13 2004-02-17 Mindspeed Technologies, Inc. Speech coding system with a music classifier
DE10134471C2 (de) * 2001-02-28 2003-05-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Charakterisieren eines Signals und Verfahren und Vorrichtung zum Erzeugen eines indexierten Signals
SE522553C2 (sv) * 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
US6658383B2 (en) * 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US7092877B2 (en) * 2001-07-31 2006-08-15 Turk & Turk Electric Gmbh Method for suppressing noise as well as a method for recognizing voice signals
US7158931B2 (en) * 2002-01-28 2007-01-02 Phonak Ag Method for identifying a momentary acoustic scene, use of the method and hearing device
JP3900000B2 (ja) * 2002-05-07 2007-03-28 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
KR100503415B1 (ko) 2002-12-09 2005-07-22 한국전자통신연구원 대역폭 확장을 이용한 ｃｅｌｐ 방식 코덱간의 상호부호화 장치 및 그 방법
US8243093B2 (en) 2003-08-22 2012-08-14 Sharp Laboratories Of America, Inc. Systems and methods for dither structure creation and application for reducing the visibility of contouring artifacts in still and video images
KR100571831B1 (ko) 2004-02-10 2006-04-17 삼성전자주식회사 음성 식별 장치 및 방법
FI118834B (fi) 2004-02-23 2008-03-31 Nokia Corp Audiosignaalien luokittelu
FI119533B (fi) * 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
GB0408856D0 (en) * 2004-04-21 2004-05-26 Nokia Corp Signal encoding
KR20070009644A (ko) * 2004-04-27 2007-01-18 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 부호화 장치, 스케일러블 복호화 장치 및 그방법
US7457747B2 (en) * 2004-08-23 2008-11-25 Nokia Corporation Noise detection for audio encoding by mean and variance energy ratio
WO2006028009A1 (ja) * 2004-09-06 2006-03-16 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および信号消失補償方法
WO2006062202A1 (ja) * 2004-12-10 2006-06-15 Matsushita Electric Industrial Co., Ltd. 広帯域符号化装置、広帯域ｌｓｐ予測装置、帯域スケーラブル符号化装置及び広帯域符号化方法
JP4793539B2 (ja) * 2005-03-29 2011-10-12 日本電気株式会社 符号変換方法及び装置とプログラム並びにその記憶媒体
KR100956877B1 (ko) * 2005-04-01 2010-05-11 콸콤 인코포레이티드 스펙트럼 엔벨로프 표현의 벡터 양자화를 위한 방법 및장치
US7734462B2 (en) * 2005-09-02 2010-06-08 Nortel Networks Limited Method and apparatus for extending the bandwidth of a speech signal
EP1989703A4 (en) * 2006-01-18 2012-03-14 Lg Electronics Inc DEVICE AND METHOD FOR CODING AND DECODING A SIGNAL
WO2007087824A1 (de) * 2006-01-31 2007-08-09 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren und anordnungen zur audiosignalkodierung
DE102006008298B4 (de) * 2006-02-22 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
US8532984B2 (en) * 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
CN101145345B (zh) * 2006-09-13 2011-02-09 华为技术有限公司 音频分类方法
KR101375582B1 (ko) * 2006-11-17 2014-03-20 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8639500B2 (en) 2006-11-17 2014-01-28 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding
CA2690433C (en) * 2007-06-22 2016-01-19 Voiceage Corporation Method and device for sound activity detection and sound signal classification
CN101393741A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种宽带音频编解码器中的音频信号分类装置及分类方法
KR101441896B1 (ko) 2008-01-29 2014-09-23 삼성전자주식회사 적응적 ｌｐｃ 계수 보간을 이용한 오디오 신호의 부호화,복호화 방법 및 장치
CN101515454B (zh) * 2008-02-22 2011-05-25 杨夙 用于语音、音乐、噪音自动分类的信号特征提取方法
AU2009220321B2 (en) 2008-03-03 2011-09-22 Intellectual Discovery Co., Ltd. Method and apparatus for processing audio signal
CN101751926B (zh) * 2008-12-10 2012-07-04 华为技术有限公司 信号编码、解码方法及装置、编解码系统
CN101751920A (zh) * 2008-12-19 2010-06-23 数维科技（北京）有限公司 基于再次分类的音频分类装置及其实现方法
EP2211339B1 (en) * 2009-01-23 2017-05-31 Oticon A/s Listening system
CN101847412B (zh) * 2009-03-27 2012-02-15 华为技术有限公司 音频信号的分类方法及装置
ES2400661T3 (es) * 2009-06-29 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de extensión de ancho de banda
EP2328363B1 (en) * 2009-09-11 2016-05-18 Starkey Laboratories, Inc. Sound classification system for hearing aids
US8447617B2 (en) * 2009-12-21 2013-05-21 Mindspeed Technologies, Inc. Method and system for speech bandwidth extension
CN102237085B (zh) * 2010-04-26 2013-08-14 华为技术有限公司 音频信号的分类方法及装置
EP2593937B1 (en) * 2010-07-16 2015-11-11 Telefonaktiebolaget LM Ericsson (publ) Audio encoder and decoder and methods for encoding and decoding an audio signal
US9117459B2 (en) * 2010-07-19 2015-08-25 Dolby International Ab Processing of audio signals during high frequency reconstruction
JP5749462B2 (ja) * 2010-08-13 2015-07-15 株式会社Ｎｔｔドコモ オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
US8729374B2 (en) * 2011-07-22 2014-05-20 Howling Technology Method and apparatus for converting a spoken voice to a singing voice sung in the manner of a target singer
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
US9015039B2 (en) * 2011-12-21 2015-04-21 Huawei Technologies Co., Ltd. Adaptive encoding pitch lag for voiced speech
US9082398B2 (en) * 2012-02-28 2015-07-14 Huawei Technologies Co., Ltd. System and method for post excitation enhancement for low bit rate speech coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.*
Minjie Xie, et al. ITU-T G. 719: A new low-complexity full-band (20 kHz) audio coding standard for high-quality conversational applications. IEEE Workshop on Applications of Signal Processing to Audio

Also Published As

Publication number Publication date
CN104321815A (zh) 2015-01-28
JP6673957B2 (ja) 2020-04-01
WO2013141638A1 (ko) 2013-09-26
KR20200010540A (ko) 2020-01-30
EP3611728A1 (en) 2020-02-19
TW201729181A (zh) 2017-08-16
EP2830062B1 (en) 2019-11-20
US20160240207A1 (en) 2016-08-18
TWI626645B (zh) 2018-06-11
JP2015512528A (ja) 2015-04-27
KR102194559B1 (ko) 2020-12-23
US20130290003A1 (en) 2013-10-31
CN104321815B (zh) 2018-10-16
EP2830062A1 (en) 2015-01-28
TW201401267A (zh) 2014-01-01
CN108831501A (zh) 2018-11-16
KR102248252B1 (ko) 2021-05-04
US9761238B2 (en) 2017-09-12
JP2018116297A (ja) 2018-07-26
KR20200144086A (ko) 2020-12-28
US20170372718A1 (en) 2017-12-28
KR20130107257A (ko) 2013-10-01
TWI591620B (zh) 2017-07-11
CN108831501B (zh) 2023-01-10
US10339948B2 (en) 2019-07-02
EP2830062A4 (en) 2015-10-14
JP6306565B2 (ja) 2018-04-04
US9378746B2 (en) 2016-06-28
ES2762325T3 (es) 2020-05-22

Similar Documents

Publication Publication Date Title
KR102248252B1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
JP6980871B2 (ja) 信号符号化方法及びその装置、並びに信号復号方法及びその装置
JP6243540B2 (ja) スペクトル符号化方法及びスペクトル復号化方法
KR102625143B1 (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
JP6715893B2 (ja) 帯域幅拡張のための高周波復号方法及びその装置
KR20150032220A (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
KR102491177B1 (ko) 대역폭 확장을 위한 고주파 복호화 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant