KR20130028718A - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20130028718A
KR20130028718A KR1020127026235A KR20127026235A KR20130028718A KR 20130028718 A KR20130028718 A KR 20130028718A KR 1020127026235 A KR1020127026235 A KR 1020127026235A KR 20127026235 A KR20127026235 A KR 20127026235A KR 20130028718 A KR20130028718 A KR 20130028718A
Authority
KR
South Korea
Prior art keywords
order
linear
prediction
information
coefficient
Prior art date
Application number
KR1020127026235A
Other languages
English (en)
Other versions
KR101804922B1 (ko
Inventor
정규혁
김대환
이창헌
김락용
전혜정
이병석
강인규
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20130028718A publication Critical patent/KR20130028718A/ko
Application granted granted Critical
Publication of KR101804922B1 publication Critical patent/KR101804922B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 신호의 현재 프레임에 대해서 스펙트럼 분석을 수행함으로써, 상기 현재 프레임이 제 1 대역 및 제 2 대역을 복수의 대역들 중 어디에 해당하는지를 나타내는 대역폭 정보를 결정하는 단계; 상기 대역폭 정보를 근거로, 현재 프레임에 대응하는 차수 정보를 결정하는 단계; 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 제 1 차수의 제 1 셋 선형-예측 변환 계수를 생성하는 단계; 상기 제 1 셋 선형-예측 변환 계수를 벡터-양자화함으로써, 제 1 셋 인덱스를 생성하는 단계; 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 2 차수의 제 2 셋 선형-예측 변환 계수를 생성하는 단계; 및, 상기 제 2 셋 선형-예측 변환 계수가 생성된 경우, 상기 제 1 셋 인덱스 및 상기 제 2 셋 선형-예측 변환 계수를 이용하여 제 2 셋 차분에 대해 벡터-양자화를 수행하는 단계를 포함하는 오디오 신호 처리 방법을 개시한다.

Description

오디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AN AUDIO SIGNAL}
본 발명은 오디오 신호를 인코딩하거나 디코딩할 수 있는 오디오 신호 처리 방법 및 장치에 관한 것이다.
일반적으로, 오디오 신호 중 특히 음성 신호의 특성이 강한 경우에는, 오디오 신호에 대해서 선형 예측 코딩(LPC: linear predictive coding)을 수행한다. 선형 예측 코딩에 의해 생성된 선형-예측 계수를 디코더에 전송하고, 디코더는 이 계수에 대해 선형 예측 합성을 통해서 오디오 신호를 복원한다.
일반적으로, 오디오 신호의 대역에 따라서 다른 샘플링 레이트를 적용하는데, 예를 들어, 협대역에 해당하는 오디오 신호를 인코딩하기 위해, 낮은 샘플링 레이트를 갖는 코어를 구비하고, 광대역에 해당하는 오디오 신호를 인코딩하기 위해, 높은 샘플링 레이트를 갖는 코어를 별도로 구비해야 하는 문제점이 있다. 이렇게 서로 다른 코어는 서로 다른 프레임당 비트 수, 및 서로 다른 비트 레이트를 갖는다.
한편, 협대역 신호이든 광대역 신호이든 하나의 샘플링 레이트가 적용되는 경우에는, 선형-예측 계수의 차수(또는 개수)가 고정되어있기 때문에, 상대적 협대역 신호의 경우에는 불필요하게 비트가 낭비되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 오디오 신호의 대역폭에 상관없이 동일한 샘플링 레이트를 적용하기 위한 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 입력 오디오 신호의 대역폭에 따라서 선형-예측 계수의 차수를 적응적으로 변화시키기 위한 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 입력 오디오 신호의 코딩 모드에 따라서, 선형-예측 계수의 차수를 적응적으로 변화시키기 위한 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 서로 다른 차수의 선형-예측 계수들(제 1 차수의 제 1 셋의 계수, 제 2 차수의 제 2 셋의 계수)을 양자화하는데 있어서, 선형-예측 계수들의 회귀적 특성을 이용하여, 제 1 차수의 제 1 셋의 양자화를 위해 제 2 차수의 제 2 셋(또는 제 2 차수의 양자화를 위해 제 1 차수의 제 1 셋)을 이용하기 위한 오디오 신호 처리 방법 및 장치를 제공하는데 있다.
본 발명은 다음과 같은 효과와 이점을 제공한다.
첫째, 입력되는 오디오 신호의 대역폭에 상관없이 동일한 샘플링 레이트를 적용하기 때문에, 보다 간결하게 인코더 및 디코더를 구현할 수 있다.
둘째, 대역폭에 상관없이 동일한 샘플링 레이트를 적용하면서도, 협대역 신호에 대해서는 상대적으로 적은 차수의 선형-예측 계수를 추출함으로써, 상대적으로 효율성이 낮은 비트를 절감할 수 있다.
셋째, 선형-예측시 절감된 비트를 선형예측 레지듀얼 신호의 코딩에 추가적으로 할당함으로써, 비트효율성을 극대화시킬 수 있다.
도 1 은 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인코더의 구성도.
도 2 는 도 1 의 차수결정부(120)의 일 실시예에 따른 세부 구성도.
도 3 은 도 1 의 선형예측 분석부(130)의 제 1 실시예(130A)에 따른 세부 구성도.
도 4 는 도 3 의 선형-예측 계수 생성부(132A)의 실시예에 따른 세부 구성도.
도 5 는 도 3 의 차수 조정부(136A)의 일 실시예에 따른 세부 구성도.
도 6 는 도 3 의 차수 조정부(136A)의 다른 실시예에 따른 세부 구성도.
도 7 은 도 1 의 선형예측 분석부(130)의 제 2 실시예(130A')에 따른 세부 구성도.
도 8 은 도 1 의 선형예측 분석부(130)의 제 3 실시예(130B)에 따른 세부 구성도.
도 9 는 도 8 의 선형-예측 계수 생성부(132B)의 실시예에 따른 세부 구성도.
도 10 은 도 9 의 차수 조정부(136B)의 일 실시예에 따른 세부 구성도.
도 11 은 도 9 의 차수 조정부(136B)의 다른 실시예에 따른 세부 구성도.
도 12 는 도 1 의 선형예측 분석부(130)의 제 4 실시예(130C)에 따른 세부 구성도.
도 13 은 도 1 의 선형예측 합성부(140)의 실시예에 따른 세부 구성도.
도 14 는 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 디코더의 구성도.
도 15 는 본 발명의 실시예에 따른 오디오 신호 처리 장치가 구현된 제품의 개략적인 구성도.
도 16 은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도.
도 17 은 본 발명의 실시예에 따른 오디오 신호 처리 장치가 구현된 이동 단말기의 개략적인 구성도.
발명의 실시를 위한 최선의 형태
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 오디오 신호 처리 방법은, 오디오 신호의 현재 프레임에 대해서 스펙트럼 분석을 수행함으로써, 상기 현재 프레임이 제 1 대역 및 제 2 대역을 복수의 대역들 중 어디에 해당하는지를 나타내는 대역폭 정보를 결정하는 단계; 상기 대역폭 정보를 근거로, 현재 프레임에 대응하는 차수 정보를 결정하는 단계; 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 제 1 차수의 제 1 셋 선형-예측 변환 계수를 생성하는 단계; 상기 제 1 셋 선형-예측 변환 계수를 벡터-양자화함으로써, 제 1 셋 인덱스를 생성하는 단계; 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 2 차수의 제 2 셋 선형-예측 변환 계수를 생성하는 단계; 및, 상기 제 2 셋 선형-예측 변환 계수가 생성된 경우, 상기 제 1 셋 인덱스 및 상기 제 2 셋 선형-예측 변환 계수를 이용하여 제 2 셋 차분에 대해 벡터-양자화를 수행하는 단계를 포함한다.
본 발명에 따르면, 상기 복수의 대역들은, 제 3 대역을 더 포함하고, 상기 오디오 신호 처리 방법은, 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 3 차수의 제 3 셋 선형-예측 변환 계수를 생성하는 단계; 및 차수조정된 제 2 셋 선형-예측 변환 계수 및, 상기 제 3 셋 선형-예측 변환 계수간의 차분인 제 3 셋 차분에 대해서 양자화를 수행하는 단계를 더 포함한다.
본 발명에 따르면, 상기 대역폭 정보가 상기 제 1 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 1 차수로 결정되고, 상기 대역폭 정보가 상기 제 2 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 2 차수로 결정될 수 있다.
본 발명에 따르면, 상기 제 1 차수가 상기 제 2 차수보다 작은 것일 수 있다.
본 발명에 따르면, 상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 단계를 더 포함하고, 상기 차수 정보는 상기 코딩 모드 정보를 더 근거로 결정되는 것일 수 있다.
본 발명에 따르면, 상기 차수 정보를 결정하는 단계는, 상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 단계; 상기 대역폭 정보를 근거로 임시 차수를 결정하는 단계; 상기 코딩 모드 정보에 따라서 보정 차수를 결정하는 단계; 및, 상기 임시 차수 및 상기 보정 차수를 근거로 상기 차수 정보를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 측면에 따르면, 오디오 신호의 현재 프레임에 대해서 스펙트럼 분석을 수행함으로써, 상기 현재 프레임이 제 1 대역 및 제 2 대역을 복수의 대역들 중 어디에 해당하는지를 나타내는 대역폭 정보를 결정하는 대역폭 검출부; 상기 대역폭 정보를 근거로, 현재 프레임에 대응하는 차수 정보를 결정하는 차수결정부; 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 제 1 차수의 제 1 셋 선형-예측 변환 계수를 생성하고, 상기 차수 정보에 따라서, 제 2 차수의 제 2 셋 선형-예측 변환 계수를 생성하는 선형-예측 계수 생성/변환부; 상기 제 1 셋 선형-예측 변환 계수를 벡터-양자화함으로써, 제 1 셋 인덱스를 생성하는 제 1 양자화부; 및, 상기 제 2 셋 선형-예측 변환 계수가 생성된 경우, 상기 제 1 셋 인덱스 및 상기 제 2 셋 선형-예측 변환 계수를 이용하여 제 2 셋 차분에 대해 벡터-양자화를 수행하는 제 2 양자화부를 포함하는 오디오 신호 처리 장치가 제공된다.
본 발명에 따르면, 상기 복수의 대역들은, 제 3 대역을 더 포함하고, 선형-예측 계수 생성/변환부는, 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 3 차수의 제 3 셋 선형-예측 변환 계수를 더 생성하고, 차수조정된 제 2 셋 선형-예측 변환 계수 및, 상기 제 3 셋 선형-예측 변환 계수간의 차분인 제 3 셋 차분에 대해서 양자화를 수행하는 제 3 양자화부를 더 포함한다.
본 발명에 따르면, 상기 대역폭 정보가 상기 제 1 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 1 차수로 결정되고, 상기 대역폭 정보가 상기 제 2 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 2 차수로 결정될 수 있다.
본 발명에 따르면, 상기 제 1 차수가 상기 제 2 차수보다 작은 것일 수 있다.
본 발명에 따르면, 상기 차수결정부는, 상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 모드 결정부를 더 포함하고, 상기 차수 정보는 상기 코딩 모드 정보를 더 근거로 결정되는 것일 수 있다.
본 발명에 따르면, 상기 차수결정부는, 상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 모드 결정부; 및, 상기 대역폭 정보를 근거로 임시 차수를 결정하고, 상기 코딩 모드 정보에 따라서 보정 차수를 결정하고, 상기 임시 차수 및 상기 보정 차수를 근거로 상기 차수 정보를 결정하는 차수생성부를 포함할 수 있다.
발명의 실시를 위한 형태
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.
여기서 오디오 신호(audio signal)란, 광의로는, 비디오 신호와 구분되는 개념으로서, 재생 시 청각으로 식별할 수 있는 신호를 지칭하고, 협의로는, 음성(speech) 신호와 구분되는 개념으로서, 음성 특성이 없거나 적은 신호를 의미한다. 본 발명에서의 오디오 신호는 광의로 해석되어야 하며 음성 신호와 구분되어 사용될 때 협의의 오디오 신호로 이해될 수 있다.
또한 코딩이란, 인코딩만을 지칭할 수도 있지만, 인코딩 및 디코딩을 모두 포함하는 개념으로 사용될 수도 있다.
도 1 은 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인코더의 구성을 보여주는 도면이다. 도 1 을 참조하면, 인코더(100)는 차수결정부(120), 및 선형예측 분석부(130)를 포함하고, 샘플링부(110), 선형예측 합성부(140), 합산기(150), 비트할당부(160), 레지듀얼 코딩부(170) 및 멀티플렉서(180)를 더 포함할 수 있다.
개략적으로 인코더(100)의 동작을 설명하면, 차수결정부(120)에 의해 결정된 현재 프레임에 대한 차수 정보에 따라서, 선형예측 분석부(130)는, 결정된 차수의 선형-예측 계수를 생성한다. 이후 각 구성요소에 대해서 설명하고자 한다.
샘플링부(110)는 입력된 오디오 신호에 대해서 미리 정해진 샘플링 레이트를 적용함으로써 샘플링함으로써 디지털 신호를 생성한다. 여기서 미리 정해진 샘플링 레이트는 12.8kHz 가 될 수 있으나 본 발명은 이에 한정되지 한다.
차수결정부(120)는 오디오 신호 (및 샘플링된 디지털 신호)를 이용하여, 현재 프레임의 차수 정보를 결정된다. 여기서 차수 정보란, 선형-예측 계수의 개수 또는 차수를 지시한다. 차수 정보는 1) 대역폭 정보, 2) 코딩 모드, 3) 대역폭 정보 및 코딩 모드에 따라서 결정될 수 있는데, 이에 대해서는 추후 도 2 를 참조하면서, 구체적으로 설명하고자 한다.
선형예측 분석부(130)는 오디오 신호의 현재 프레임에 대해서, 선형-예측 분석(LPC(Linear Prediction Coding) analysis)을 수행함으로써, 차수결정부(120)에 의해 생성된 차수 정보를 근거로 선형-예측 계수들을 생성하고, 이 계수들에 대해서 변환 및 양자화를 수행함으로써, 양자화된 선형-예측 변환 계수(인덱스)를 생성한다. 본원에서는 선형예측 분석부(130)에 대해서 총 4 개의 실시예가 존재하는 바, 제 1 실시예(130A)는 도 3, 제 2 실시예(130A')는 도 7, 제 3 실시예(130B)는 도 8, 제 4 실시예(130C)는 도 12 와 함께 설명하고자 한다.
선형예측 합성부(140)는 양자화된 선형-예측 변환 계수를 이용하여 선형예측 합성신호를 생성한다. 여기서 인터폴레이션하는 과정에 있어서 차수 정보가 이용될 수 있는데, 선형예측 합성부(140)의 세부구성은 추후 도 13 과 함께 설명하고자 한다.
합산기(150)는 오디오 신호에서 선형예측 합성신호를 차감함으로써, 선형예측 레지듀얼 신호를 생성한다. 합산기는 필터로 구현될 수 있으나, 본 발명은 이에 한정되지 아니한다.
비트할당부(160)는 차수 정보를 근거로 하여, 선형예측 레지듀얼의 코딩을 위한 비트할당을 제어하기 위한 제어정보를 레지듀얼 코딩부(170)에 전달한다. 예를 들어 차수가 상대적으로 낮은 편인 경우, 선형예측 레지듀얼을 코딩을 위한 비트수를 증가시키는 제어정보를 생성하고, 반대로 차수가 상대적으로 높은 경우, 선형예측 레지듀얼 코딩을 위한 비트수를 감소시키는 제어정보를 생성한다.
레지듀얼 코딩부(170)는 비트할당부(160)에 의해 생성된 제어정보를 근거로 선형예측 레지듀얼을 코딩한다. 레지듀얼 코딩부(170)는 피치 서치를 통해 피치 게인 및 피치 지연을 획득하는 롱텀 예측부(LTP: long-term predicition)(미도시), 및 롱텀 예측의 레지듀얼인 피치 잔여성분에 대해서 코드북 서치를 수행함으로써 코드북 인덱스 및 코드북 게인을 획득하는 코드북서치부(미도시)를 포함할 수 있다. 예컨대, 비트수 증가에 대한 제어정보가 수신된 경우, 피치 게인, 피치 지연, 코드북 인덱스, 코드북 게인 등 중 하나 이상에 대해서 비트 할당을 높이고, 비트수 감소에 대한 제어정보가 수신된 경우, 상기 파라미터 중 하나 이상에 대해서 비트 할당을 낮출 수 있다.
한편, 레지듀얼 코딩부(170)는 롱텀 예측부 및 코드북서치부 대신에, 정현파 모델링부(미도시) 또는 주파수변환부(미도시)를 포함할 수 있다. 정현파 모델링부(미도시)는 비트수 증가에 대한 제어정보가 수신된 경우, 진폭 위상 주파수 파라미터에 대한 비트수 할당을 높일 수 있다. 주파수변환부(미도시)는 TCX 또는 MDCT 방식에 의해 수행될 수 있는데, 비트수 증가에 대한 제어정보가 수신된 경우, 주파수 계수 또는 정규화 게인에 대한 비트수 할당을 증가시킬 수 있다.
멀티플렉서(180)는 양자화된 선형-예측 변환 계수, 레지듀얼 코딩부의 출력인 파라미터들(피치 지연 등) 등을 멀티플렉싱함으로써, 하나 이상의 비트스트림을 생성한다. 한편, 차수 결정부(120)에 의해 결정된 대역폭 정보 및/또는 코딩 모드 정보 또한, 상기 비트스트림에 포함될 수 있다. 특히, 대역폭 정보는 상기 선형-예측 변환 계수가 포함된 비트스트림 대신에, 별도의 비트스트림(코덱 종류 및 비트레이트가 포함된 비트스트림)에 포함될 수 있다.
도 2 를 참조하면서, 차수결정부(120)의 세부 구성을, 도 3, 도 7, 도 8 및 도 12 를 참조하면서, 선형예측 분석부(130)의 각 실시예를, 도 13 을 참조하면서, 선형예측 합성부(140)의 세부구성을 설명하도록 한다.
도 2 는 도 1 의 차수결정부(120)의 일 실시예에 따른 세부 구성을 보여주는 도면이다. 도 2 를 참조하면, 차수결정부(120)는 대역폭 검출부(122), 모드 결정부(124) 및 차수 생성부(126) 중 하나 이상을 포함한다.
대역폭 검출부(1220)는 입력된 오디오 신호(및 샘플링된 신호)에 대해서, 스펙트럼 분석을 수행함으로써, 제 1 대역, 제 2 대역(및, 제 3 대역)을 포함하는 복수의 대역 중 어느 대역에 해당하는지를 검출하고 이를 나타내는 대역폭 정보를 생성한다. 스펙트럼 분석을 위해 FFT(fast Fourier transform) 방식이 사용될 수 있지만, 본 발명은 이에 한정되지 아니한다.
여기서 제 1 대역은 협대역(NB: Narrow Band), 제 2 대역은 광대역(WB: Wide Band), 제 3 대역은 초광대역(SWB: Super Wide Band)에 해당할 수 있다. 여기서 협대역은 0~4kHz, 광대역은 0~8kHz, 초광대역은 0~8kHz 이상에 해당할 수 있다.
제 1 대역이 0~4kHz 인 경우, 대역폭 정보가 밴드제한(bandlimited)되어 있기 때문에, 샘플링된 오디오 신호에 대해서, 4~6.4kHz 까지의 대역의 스펙트럼을 조사함으로써 제 1 대역인지 제 2 대역이상 인지를 결정할 수 있다. 제 2 대역이상 인지가 결정된 경우, 코덱의 입력신호의 스펙트럼을 조사함으로써, 제 2 대역인지 제 3 대역인지를 결정할 수 있다.
대역폭 검출부(122)에 의해 결정된 대역폭 정보는 차수 생성부(126)로 전달되기도 하지만, 도 1 에서의 멀티플렉서(180)에도 전달됨으로써, 비트스트림에 포함될 수 있다.
모드결정부(124)는 제 1 모드 및 제 2 모드를 포함하는 복수의 코딩 모드들 중에서 현재 프레임의 특성에 적합한 하나를 결정하고, 이 코딩 모드를 지시하는 코딩 모드 정보를 생성함으로써, 차수 생성부(126)에 전달한다. 상기 복수의 코딩 모드들은 총 4 개일 수 있는데, 음성특성이 강한 경우, 비-음성 특성이 강한 경우에 적합한 비-음성 모드(UC: Un-voice Coding mode), 유성음 및 무성음간의 전이가 존재할 때 적합한 전이 모드(TC: Transition Coding), 음성특성이 강한 경우에 적합한 음성 모드(VC: Voice Coding mode), 그 외 일반적인 경우에 적합한 일반 모드(GC: Generic Coding mode) 등이 포함될 수 있는바, 본 발명은 특정 코딩 모드의 개수 및 특성에 한정되지 아니한다.
모드결정부(124)에 의해 결정된 코딩 모드 정보는 차수 생성부(126)로 전달되기도 하지만, 도 1 에서의 멀티플렉서(180)에도 전달됨으로써, 비트스트림에 포함될 수 있다.
차수 생성부(126)는 1) 대역폭 정보, 또는 2) 코딩 모드 정보, 또는 3) 대역폭 정보 및 코딩 모드 정보를 이용하여 현재 프레임의 선형-예측 계수의 차수(개수)(제 1 차수, 제 2 차수, (및 제 3 차수)를 결정하고, 차수 정보를 생성한다.
1) 대역폭 정보를 이용하여 결정하는 경우, 제 1 대역 내지 제 2 대역(및 제 3 대역)이 존재하고, 제 1 대역이 제 2 대역(및 제 3 대역)보다 협대역이면, 제 1 대역의 경우 하위 차수(예: 제 1 차수)로 결정하고, 제 2 대역(및 제 3 대역)의 경우는 상위 차수(예: 제 2 차수)(또는 최상위 차수(예: 제 3 차수))로 결정할 수 있다. 예를 들어, 제 1 대역이 협대역, 제 2 대역, 광대역, 제 3 대역이 초광대역인 경우, 제 1 대역의 경우 차수를 10, 제 2 대역의 경우 차수를 16, 제 3 대역의 경우 차수를 20 으로 결정할 수 있으나, 본 발명의 차수는 특정 값에 한정되지 아니한다. 이는 대역폭이 넓을수록 차수도 증가해야 더 효율적으로 선형-예측 코딩을 수행할 수 있기 때문이다. 반대로, 협대역인 경우, 초광대역이나 광대역과 동일한 차수를 적용하지 않고, 더 적은 차수를 적용함으로써, 퀄리티의 대역간 차이가 적어지고, 비트할당의 효율을 높일 수 있다.
2) 만약, 코딩 모드 정보를 이용하여 차수 정보를 생성하는 경우, 비-음성 모드, 전이 모드, 일반 모드, 음성 모드 순서대로 차수를 증가시킨다. 이는 비-음성모드인 경우 음성 특성이 적기 때문에, 음성 모델 기반인 선형-예측 코딩 방식이 효율적이지 않으므로 상대적으로 낮은 하위 차수(예: 제 1 차수)로 결정하고, 음성 모드인 경우, 음성 특성이 크기 때문에, 선형-예측 코딩 방식이 효율적이므로 상대적으로 높은 상위 차수(예: 제 2 차수)로 결정하는 것이다.
한편, 코딩 모드 정보를 이용하여 차수 정보를 생성할 때, 동일한 대역에 대해서 다양한 차수를 결정하는 경우, 하위 차수를 제 N1 차수로, 상위 차수를 제 N2 차수로 지칭하고자 한다. 제 N1 차수 내지 제 N2 차수에 대해서는 선형-예측 분석부제 4 실시예(130C) 및 도 12 와 함께 설명하고자 한다.
3) 한편, 대역폭 정보 및 코딩 모드 정보 모두를 이용하여 차수 정보를 결정하는 경우, 앞서 대역폭 정보에 의해 결정된 차수를 임시 차수(Ntemp)(예: 제 1 임시 차수 내지 제 3 임시 차수)로 하고, 다음 수학식에 따라 결정할 수 있다.
[수학식 1]
Figure pct00001
예를 들어, Nm1 는-4, Nm2 는-2, Nm3 는 0, Nm4 +2 일 수 있으나, 본 발명은 특정 값에 한정되지 아니한다.
이와 같이 결정된 차수 정보는, 도 1 에 도시된 바와 같이, 선형예측 분석부(130)(및 선형예측 합성부(140)) 및 멀티플렉서(180)에 전달된다.
이하, 도 1 의 선형예측 분석부(130)의 제 1 실시예 내지 제 4 실시예를 설명하고자 한다. 도 3 에 도시된 제 1 실시예는, 제 2 셋 선형-예측 계수를 양자화하기 위해 제 1 셋 선형-예측 계수를 이용하는 것이고(제 1 셋 기준 실시예), 도 7 에 도시된 제 2 실시예는, 제 1 실시예가 제 3 셋까지 확대된 확장예(제 1 셋 기준 확장 실시예), 도 8 이 도시된 제 3 실시예는 제 1 실시예의 역으로, 제 1 셋 선형-예측 계수를 양자화하기 위해 제 2 셋 선형-예측 계수를 이용한다(제 2 셋 기준 실시예), 도 12 에 도시된 제 4 실시예는, 동일한 대역내에서 서로 다른 차수의 계수들(N1 셋, N2 셋)이 생성된 경우의 예(제 N1 셋 기준 실시예)이다.
이하, 도 3 내지 도 6 은 선형예측 분석부(130)의 제 1 실시예에 해당하는 도면들이다. 도 3 은 도 1 의 선형예측 분석부(130)의 제 1 실시예(130A)에 따른 세부 구성을 보여주는 도면이고, 도 4 는 도 3 의 선형-예측 계수 생성부(132A)의 실시예에 따른 세부 구성을 보여주는 도면이고, 도 5 및 도 6 는 도 3 의 차수 조정부(136A)의 일 실시예 및 다른 실시예에 해당하는 세부 구성도이다. 도 3 내지 도 6 을 참조하면서 제 1 실시예에 대해서 설명한 이후, 도 7 및 도 8 등을 참조하면서 제 2 내지 제 4 실시예에 대해서 설명하고자 한다.
도 3 을 참조하면, 제 1 실시예에 따른 선형예측 분석부(130A)는 선형-예측 계수 생성부(132A), 선형-예측 계수 변환부(134A), 제 1 양자화부(135), 차수 조정부(136A) 및 제 2 양자화부(138)를 포함한다.
제 1 차수(N1)에 해당하는 제 1 셋 선형-예측 계수(LPC1) 및 제 2 차수(N2)에 해당하는 제 2 셋 선형-예측 계수(LPC2)가 존재하고, 제 1 차수가 제 2 차수보다 작은 경우, 제 1 실시예는 앞에서 언급한 바와 같이, 제 1 셋이 기준인 실시예이다. 즉, 제 1 셋이 생성된 경우, 제 1 셋 계수들만 양자화하고, 제 2 셋까지 생성된 경우, 제 1 셋을 이용하여 제 2 셋을 양자화하는 실시예이다.
선형-예측 계수 생성부(132A)는 오디오 신호에 대해서 선형-예측 분석을 수행하여, 차수 정보에 해당하는 차수의 선형-예측 계수를 생성한다. 구체적으로, 차수 정보가 제 1 차수(N1)인 경우, 제 1 차수(N1)의 제 1 셋 선형-예측 계수(LPC1)만을 생성하고, 차수 정보가 제 2 차수(N2)인 경우, 제 1 차수(N1)의 제 1 셋 선형-예측 계수(LPC1) 및 제 2 차수(N2)의 제 2 셋 선형-예측 계수(LPC2)를 모두 생성한다. 제 1 차수 또는 제 1 개수는 제 2 차수 또는 제 2 개수보다 적은 수이다. 예를 들어, 제 1 차수가 10 이고, 제 2 차수가 16 인 경우, 10 개의 선형-예측 계수들이 제 1 셋(LPC1)이 되고, 16 개의 선형-예측 계수들이 제 2 셋(LPC2)이 되는데, 16 개의 선형-예측 계수들 중에 1 번째부터 10 번째까지 계수들의 값과 거의 유사한 특성이 있다. 이 특성을 기반으로 하여, 제 2 셋을 양자화하는데 제 1 셋을 이용할 수 있다.
선형-예측 계수 생성부(132A)의 세부 구성을 설명하기 위해 도 4 를 참조하고자 한다.
도 4 를 참조하면, 선형-예측 계수 생성부(132A)는 선형-예측 알고리즘(132A-6)을 포함하고, 윈도우 처리부(132A-2), 자기상관함수 계산부(132A-4)를 더 포함한다.
윈도우 처리부(132A-2)는 샘플링부(110)로부터 수신된 오디오 신호에 대해서, 프레임 처리를 위해 윈도우를 적용한다.
자기상관함수 계산부(132A-4)는 선형-예측 분석을 위해서, 윈도우처리된 신호에 대해서 자기상관함수를 계산한다.
한편, 선형 예측 코딩의 모델의 기본 아이디어는, 주어진 시점 n 에서 지나간 p 개의 음성신호의 선형 조합으로 근사할 수 있다는 것인데, 식으로 나타내면 다음과 같다.
[수학식 2]
Figure pct00002
여기서, α i 는 선형-예측 계수, n 은 프레임 인덱스, p 은 선형 예측 차수
선형-예측 코딩의 해(αp)를 구하기 위한 방법으로서, 자기상관(autocorrelation) 방법 및 공분산(covariance) 방법이 있을 수 있다. 자기상관(autocorrelation) 함수는 일반적으로 음성부호화 시스템에서 반복루프를 통해 찾아내는 방법으로서, 직접계산보다 효율적이다.
자기상관함수 계산부(132A-4)는 자기상관함수 R(k)를 계산한다.
선형-예측 알고리즘(132A-6)는 자기상관함수 R(k)를 이용하여 차수정보에 해당하는 차수의 선형-예측 계수를 생성한다. 이는 구체적으로, 다음 수학식의 해를 구하는 과정일 수 있는데, 이때 Levinson-Durbin 알고리즘이 적용될 수 있다.
[수학식 3]
Figure pct00003
여기서, αk 는 선형예측 계수, R[]는 자기상관함수
상기 p 개의 방정식을 풀기 위해, minimum mean-squared prediction error 방정식을 이용하여 다음과 같은 P+1 개의 방정식을 만든다.
[수학식 4]
Figure pct00004
여기서,
Figure pct00005
minimum mean-squared prediction error 방정식
상기 P+1 개의 방정식을 앞서 언급한 바와 같이, 회귀적 루프(recursive loop)를 통해 해를 찾는 방법은, Levinson-Durbin 알고리즘에 따르면, 다음과 같다.
[수학식 5]
Figure pct00006
선형-예측 알고리즘(132A-6)은 상기와 같은 과정을 통해서, 선형-예측 계수를 생성하는데, 앞서 언급한 바와 같이, 제 1 차수(N1)인 경우 제 1 셋 선형-예측 계수(LPC1)를 생성하고, 제 2 차수(N2)인 경우, 제 1 셋 선형-예측 계수(LPC1) 및 제 2 차수의 제 2 셋 선형-예측 계수(LPC2)를 생성한다. 즉, 제 1 셋(LPC1)은 차수와 상관없이 생성하고, 차수 정보(즉, 제 1 차수인지 제 2 차수인지에 따라서) 제 2 차수의 제 2 셋(LPC2)를 생성할지가 적응적으로 결정된다.
아니면, 제 2 셋의 생성여부에 대한 스위칭이 선형-예측 계수 생성부(132A)가 아닌 도 3 의 선형예측 계수 변환부(134A)에 의해 수행될 수 있다. 이 경우, 선형-예측 계수 생성부(132A)는 차수 정보와 무관하게 제 1 셋 및 제 2 셋을 모두 생성하고, 선형-예측 계수 변환부(134A)가 차수에 무관하게 제 1 셋을 변환하고, 차수 정보에 따라서 제 2 셋의 변환여부를 결정할 수도 있다.
이하, 편의상 스위칭이 선형-예측 계수 생성부(132A)에서 이뤄지는 것(즉, 전자)를 기준으로 설명하는 바, 스위칭이 선형-예측 계수 변환부(134A)에서도 이뤄질 수 있는 것은, 제 2 실시예 내지 제 4 실시예의 선형-예측 분석부에서도 마찬가지이므로, 이에 대해서는 추후에 반복하여 설명하지 않기로 한다.
도 4 를 참조하여, 선형-예측 계수 생성부(132A)의 세부구성을 설명한 바, 다시 도 3 을 참조하면서, 선형-예측 분석부(130A)의 나머지 구성요소에 대해서 설명하고자 한다.
선형-예측 계수 변환부(134A)는 선형-예측 계수 생성부(132A)에 의해 생성된 제 1 셋 선형-예측 계수(LPC1)을 변환함으로써 제 1 차수(N1)의 제 1 셋 선형-예측 변환 계수(ISP1)를 생성한다. 만약, 제 2 셋 선형-예측 계수(LPC2)이 생성되었으면, 제 2 셋도 변환하여 제 2 셋 선형-예측 변환 계수(ISP2)를 생성한다.
앞서 획득된 선형-예측 계수는 큰 다이나믹 레인지를 갖기 때문에, 보다 적은 비트 수로 양자화될 필요가 있고, 선형-예측 계수는 양자화 에러에 약하기 때문에, 양자화 에러에 강인한 선형-예측 변환 계수로 변환될 필요가 있다. 여기서 선형-예측 변환 계수란, LSP(Line Spectral Pairs), ISP(Immittance Spectral Pairs) 또는, LSF(Line Spectrum Frequency) 또는 ISF(Immittance Spectral Frequency) 중 하나일 수 있으나, 본 발명은 이에 한정되지 아니한다. 여기서 ISF 는 다음 수학식과 같이 나타낼 수 있다.
[수학식 6]
Figure pct00007
여기서 αi 는 선형-예측 계수, fi 는 ISF 의 [0,6400Hz]의 주파수 영역을 가르키고, fs=12800 는 샘플링 주파수이다.
제 1 양자화부(135)는 제 1 셋 선형-예측 변환 계수(ISP1)를 벡터-양자화함으로써, 제 1 셋 양자화된 선형-예측 변환 계수(약칭하여, 제 1 인덱스)(Q1)을 생성하여, 멀티플렉서(180)로 출력한다. 한편, 차수 정보가 제 2 차수인 경우에는 제 1 인덱스(Q1)를 차수조정부(136A)를 전달한다. 현재 프레임의 차수가 제 1 차수인 경우에는 제 1 차수인 제 1 셋을 양자화하는 것으로 종료할 수 있지만, 현재 프레임의 차수가 제 2 차수인 경우에는, 제 2 셋의 양자화에 제 1 셋을 이용하여야 하기 때문이다.
차수 조정부(136A)은 제 1 차수(N1)의 제 1 셋 인덱스(Q1)의 차수를 조정함으로써 제 2 차수(N2)의 제 1 셋 선형-예측 변환 계수(ISP1 _ mo)를 생성한다. 차수 조정부(136A)의 일 실시예(136A.1)의 세부 구성은 도 5 에, 다른 실시예(136A.2)의 세부 구성은 도 6 에 도시되어 있다.
우선 도 5 를 참조하면, 일 실시예에 따른 차수 조정부(136A.1)는 역양자화부(136A.1-1), 역변환부(136A.1-2), 차수 수정부(136A.1-3), 변환부(136A.1-4)를 포함한다.
역양자화부(136A.1-1)는 제 1 셋 인덱스(Q1)를 역양자화함으로써, 제 1 셋 선형-예측 변환 계수(IISP1)를 생성한다. 역변환부(136A.1-2)는 선형-예측 변환 계수(IISP1)에 대해서 역변환을 수행함으로써, 제 1 셋 선형-예측 계수(ILPC1)를 생성한다. 이와 같이 역양자화 및 역변환을 수행하는 이유는 선형-예측 계수 도메인(즉, 시간 도메인)상에서 차수를 수정하기 위함이다. 한편, 선형-예측 변환 계수 도메인(즉, 주파수 도메인)상에서 차수를 수정하기 위한 실시예도 있을 수 있는데, 이는 역변환부 및 변환부가 제외되고, 차수 수정부가 주파수 도메인상에서 동작하면 된다. 본 명세서에서는 시간 도메인을 기준으로 설명하지만, 주파수 도메인상에서도 동작할 수 있음은 물론이다.
차수 수정부(136A.1-3)는 제 1 차수(N1)의 제 1 셋 선형-예측 계수(ILPC1)를 제 2 차수(N2)의 제 1 셋 선형-예측 계수(ILPC1 _ mo)를 추정한다. 예를 들어 10 개의 선형-예측 계수들을 이용하여 16 개의 선형-예측 계수들을 추정한다. 이 때, 수정된 Levinson-Durbin 알고리즘 또는 lattice 구조의 recursive 방법이 이용될 수 있다.
변환부(136A.1-4)는 차수가 조정된 제 1 셋 선형-예측 계수(ILPC1_mo)을 변환함으로써, 차수 조정된 제 1 셋 선형-예측 변환계수(ISP1 _ mo)를 생성한다.
이와 같이 일 실시예에 따른 차수 조정부(136A.1)는 알고리즘을 이용한 추정 과정을 통해서 차수를 조정하는 방식인데 비해, 이하 설명될 다른 실시예에 따른 차수 조정부(136A.1)는 차수만 임의로 변경하는 방식이다.
도 6 을 참조하면, 다른 실시예에 따른 차수 조정부(136A.2)는 일 실시예와 마찬가지로 역양자화부(136A.2-1)를 포함한다. 한편 패딩부(136A.2-2)는 역양자화된 제 1 셋 선형-예측 변환 계수(IISP1)에 대해서 차수 차이(N2-N1)에 해당하는 자리에 0 을 패딩함으로써, 형식만 제 2 차수(N2)로 조정된 차수 조정된 제 1 셋 선형-예측 변환 계수(ISP1 _ mo)를 생성한다.
이와 같이 다시 도 3 을 참조하면, 합산기(137)는 제 2 셋 선형-예측 변환 계수(ISP2)에서 차수 조정부(136A)에 의해 출력된 차수 조정된 제 1 셋 선형-예측 변환 계수(ISP1 _ mo)를 차감함으로써, 제 2 셋 차분(d2)를 생성한다. 제 1 셋 선형-예측 변환 계수(ISP1 _ mo)는 제 2 셋 선형-예측 변환 계수(ISP2)의 예측에 해당하므로, 그 나머지 차분에 대해서만 제 2 양자화부(138)를 통해 양자화함으로써, 양자화된 제 2 셋 차분(제 2 셋 인덱스)(Qd2)를 멀티플렉서로 출력한다.
도 7 은 도 1 의 선형예측 분석부(130)의 제 2 실시예(130A')에 따른 세부 구성을 보여주는 도면이다. 도 7 에 도시된 제 2 실시예는 앞서 언급한 바와 같이, 제 1 실시예를 제 3 셋까지 확장한 확장예이다. 여기서 제 1 차수(N1), 제 2 차수(N2), 제 3 차수(N3)는 순서대로 차수가 커진다(N1＜N2＜N3). 이때, 선형-예측 계수 생성부(132A')는 차수와 무관하게 항상 제 1 셋 선형-예측 계수(LPC1)를 생성한다. 그리고 차수가 제 2 차수(N2)인 경우, 제 2 셋 선형-예측 계수(LPC2)를 더 생성하고, 제 3 차수(N3)인 경우, 제 2 셋 선형-예측 계수(LPC2) 및 제 3 선형-예측 계수(LPC3)를 더 생성한다.
그리고, 선형-예측 계수 변환부(134A')는 선형-예측 계수 생성부(132A')로부터 전달된 선형-예측 계수를 변환한다. 즉, 제 1 차수인 경우에는 제 1 셋 계수만 전달되므로, 제 1 셋 변환 계수(ISP1)를 생성하고, 제 2 차수인 경우에는 제 1 셋 변환 계수(ISP1) 및 제 2 셋 변환 계수(ISP2)를 생성하고, 제 3 차수인 경우에는 제 1 셋 변환 계수(ISP1), 제 2 셋 변환 계수(ISP2), 및 제 3 셋 변환 계수(ISP3)를 생성하는 것이다.
그런 다음 제 1 양자화부(135), 차수조정부(136A), 제 1 합산기(137) 제 2 양자화부(138')는 도 3 에서의 제 1 양자화부(135), 합산기(137) 및 차수조정부(136A)와 동일한 동작을 수행한다. 다만, 제 2 양자화부(138')는 차수 정보를 근거로 하여 차수가 제 3 차수인 경우, 제 2 셋 인덱스(Qd2)를 차수 조정부(136A')에도 전달한다.
차수 조정부(136A')는 앞서 설명한 차수 조정부(136A)와 거의 동일하지만, 다만, 제 1 차수를 제 2 차수로 변경하는 대신, 제 2 차수를 제 3 차수로 변경한다는 점에서 차이가 있다. 또한, 제 2 셋 차분값에 대해서 역양자화를 한 후, 이에 차수 조정된 제 1 셋 계수(ISP1mo)를 더한 후, 그 결과에 대해서 차수 조정을 수행한다는 점에서 차이가 있다.
제 2 합산기(137')는 차수 조정된 제 2 셋 선형-예측 변환 계수(ISP2 _ mo)를 제 3 셋 선형-예측 변환 계수(ISP3)에서 차감함으로써 제 3 셋 차분(d3)를 생성하고, 제 3 양자화부(138A')는 제 3 차분(d3)에 대해서 벡터-양자화를 수행함으로써, 양자화된 제 3 셋 차분(제 3 셋 인덱스)(Qd3)를 생성한다.
이하, 도 1 에서 선형-예측 분석부(130)의 제 3 실시예(130B)를 도 8 내지 도 11 과 함께 설명하고자 한다. 제 3 실시예는 앞서 언급한 바와 같이, 제 1 실시예가 제 1 셋이 기준인 반면, 제 3 실시예는 제 2 셋이 기준이 된다. 즉, 제 2 셋 선형-예측 계수는 차수 정보와 무관하게 생성하고, 제 1 셋 선형-예측 계수는 제 2 셋을 이용하여 양자화하는 실시예이다. 이하, 각 구성요소에 대해서 상세히 설명하고자 한다.
선형-예측 분석부(130)의 제 3 실시예(130B)는 선형-예측 계수 생성부(132B), 선형-예측 계수 변환부(134B), 제 1 양자화부(135), 차수 조정부(136B), 제 2 양자화부(137)를 포함한다.
선형-예측 계수 생성부(132B)는 오디오 신호에 대해서 선형-예측 분석을 수행하여, 차수 정보에 해당하는 차수의 선형-예측 계수를 생성한다. 제 1 실시예와 달리 제 1 차수가 기준이므로, 차수 정보가 제 2 차수(N2)인 경우, 제 2 차수(N2)의 제 2 셋 선형-예측 계수(LPC2)만을 생성하고, 차수 정보가 제 1 차수(N1)인 경우, 제 1 차수(N1)의 제 1 셋 선형-예측 계수(LPC1) 및 제 2 차수(N2)의 제 2 셋 선형-예측 계수(LPC2)를 모두 생성한다. 제 1 실시예(132A)와 마찬가지로, 제 1 차수 또는 제 1 개수는 제 2 차수 또는 제 2 개수보다 적은 수이다. 예를 들어, 제 1 차수가 10 이고, 제 2 차수가 16 인 경우, 10 개의 선형-예측 계수들이 제 1 셋(LPC1)이 되고, 16 개의 선형-예측 계수들이 제 2 셋(LPC2)이 되는데, 제 1 셋의 10 개의 계수들은 16 개의 선형-예측 계수들 중에 1 번째부터 10 번째까지 계수들 값과 거의 유사한 특성이 있다. 이 특성을 기반으로 하여, 제 1 셋을 양자화하는데 제 2 셋을 이용할 수 있다.
도 9 는 도 8 의 선형-예측 계수 생성부(132B)의 세부 구성도이다. 이는 도 4 에 도시된 제 1 실시예(132A)의 세부 구성과 대동소이하다. 즉, 윈도우 처리부(132B-2) 및 자기상관함수 계산부(132B-4)는 제 1 실시예의 동일한 이름을 구성요소(132A-2, 134A-4)와 동일한 기능을 수행하므로, 이에 대한 구체적인 설명은 생략하고자 한다. 선형-예측 알고리즘(132B-6) 또한 제 1 실시예의 선형-예측 알고리즘(132A-6)과 동일하나, 제 2 셋이 기준이라는 점에서 차이가 있다. 즉, 제 2 셋 계수(ISP2)는 차수 정보와 무관하게 생성하고, 제 1 셋 계수(LPC1)는 차수 정보가 제 1 차수일 경우에는 생성하고, 제 2 차수인 경우에는 생성하지 않는다는 데에 그 차이점이 있다.
다시 도 8 을 참조하면, 선형-예측 계수 변환부(134B)는 제 1 실시예의 선형-예측 계수 변환부(134B)와 거의 유사한 기능을 수행한다. 다만, 제 2 셋 선형-예측 계수(LPC2)를 변환하여 제 2 셋 선형-예측 변환 계수(ISP2)를 생성하고, 제 1 셋 계수(LPC1)가 수신된 경우에 한해, 제 1 셋 계수(LPC1)를 변환하여 제 1 셋 선형-예측 변환 계수(ISP1)를 생성한다는 데 차이점이 있다.
도면에는 도시되어 있지 않지만, 앞서 제 1 실시예에서 언급한 바와 같이, 선형-예측 계수 생성부(132B)는 차수 정보와 무관하게 제 1 셋 선형-예측 계수(LPC1) 및 제 2 셋 선형-예측 계수(LPC2)을 모두 생성하고, 선형-예측 계수 변환부(134B)가 차수 정보에 따라 계수를 선택적으로 변환시킬 수 있다. 즉, 선형-예측 계수 변환부(134B)가 제 2 차수인 경우, 제 2 셋 계수만 변환시키고, 제 1 차수인 경우, 제 1 셋 계수 및 제 2 셋 계수를 모두 변환시키는 것이다.
한편, 제 1 양자화부(135)는 제 2 셋 변환 계수(ISP2)를 벡터-양자화함으로써, 제 2 셋 양자화된 선형-예측 변환 계수(제 2 셋 인덱스)(Q2)를 생성한다.
차수 조정부(136B)는 제 2 차수의 제 2 셋 변환 계수의 차수를 제 1 차수로 조정함으로써, 차수 조정된 제 2 셋 변환 계수(ISP2 _ mo)를 생성한다. 제 1 실시예 및 제 2 실시예의 차수 조정부(136A)에서는 하위 차수(제 1 차수)를 상위 차수(제 2 차수)로 조정하는 것에 비해, 제 3 실시예의 차수 조정부(136B)는 상위 차수(제 2 차수)를 하위 차수(제 1 차수)로 조정한다는 점에 차이가 있다.
도 10 및 도 11 은 제 3 실시예의 차수 조정부(136B)의 실시예들(136B.1, 136B.2)이다. 일 실시예에 따른 차수 조정부(136B.1)은 도 5 의 일 실시예에 따른 차수 조정부(136A.1)의 세부 구성과 대동 소이하다. 차수 조정부(136A.1)은 제 1 셋 인덱스(Q1)를 역양자화/역변환한 후, 제 1 차수에서 제 2 차수로 조정한 후, 계수를 변환하는 것에 비해, 제 3 실시예의 차수 조정부(136B.1)은 제 2 셋 인덱스(Q2)을 역양자화/역변환한 후, 제 2 차수를 제 1 차수로 조정한 후, 계수를 변환한다는 점에 차이가 있다.
역양자화부(136B.1)는 제 2 셋 양자화된 선형-예측 변환 계수(제 2 셋 인덱스(Q2)를 역양자화함으로써, 역양자화된 제 2 셋 선형-예측 변환 계수(IISP2)를 생성한다. 역변환부(136B.1-2)는 제 2 셋 선형-예측 변환 계수(IISP2)를 역변환함으로써, 제 2 셋 선형-예측 계수(ILPC2)를 생성한다. 차수 수정부(136B.1-3)는 상위 차수인 제 2 차수의 제 2 셋 선형-예측 계수(ILPC2)의 차수를 이용하여, 하위 차수인 제 1 차수를 추정함으로써, 차수조정된 제 2 셋 선형-예측 계수(LPC2 _ mo)를 생성한다. 예를 들어 16 개의 선형-예측 계수들을 이용하여 10 개의 선형-예측 계수들을 추정한다. 이 때, 수정된 Levinson-Durbin 알고리즘 또는 lattice 구조의 recursive 방법이 이용될 수 있다. 변환부(136B.1-4)는 제 1 차수의 제 2 셋 선형-예측 계수(LPC2 _ mo)를 변환함으로써, 차수조정된 제 2 셋 선형-예측 변환 계수(ISP2 _ mo)를 생성한다.
한편, 도 11 을 참조하면, 다른 실시예에 따른 차수 조정부(136B.2)가 도시되어 있다. 도 6 에 도시된 다른 실시예(136A.2)와 다른 점은, 상위 차수(제 2 차수)를 하위 차수(제 1 차수)로 조정한다는 점에서 차이가 있고, 패딩 대신에 분할을 수행한다는 점에서 차이가 있다.
역양자화부(136B.1)는 제 2 셋 양자화된 선형-예측 변환 계수(제 2 셋 인덱스(Q2)를 역양자화함으로써, 역양자화된 제 2 셋 선형-예측 변환 계수(IISP2)를 생성한다. 분할부(136B.2-1)는 제 2 차수의 제 2 셋 선형-예측 변환 계수를 하위 차수인 제 1 차수 및 그 나머지로 분할하고, 제 1 차수만을 취함으로써, 제 1 차수로 차수조정된 제 2 셋 선형-예측 변환 계수(ISP2 _ mo)를 생성한다.
이와 같이, 제 2 차수를 제 1 차수로 조정하는 차수 조정부(136B)의 동작을 설명한 바, 다시 도 8 을 참조하면, 합산기(137)는 제 1 차수의 제 1 셋 선형-예측 변환 계수(ISP1)에서 제 1 차로 차수 조정된 제 2 셋 선형-예측 변환 계수(ISP2 _ mo)를 차감함으로써, 제 1 셋 차분(d1)을 생성하고, 제 2 양자화부(138)는 제 1 셋 차분(d1)에 대해 양자화를 수행함으로써, 양자화된 제 1 셋 차분(제 1 셋 인덱스)(Qd1)을 생성한다.
이와 같이 도 8 내지 도 11 에 개시된 제 3 실시예에 따르면, 상위 차수(제 2 차수)의 계수들을 기준으로, 하위 차수(제 1 차수)의 계수들을 양자화할 수 있다. 제 3 실시예도, 제 1 실시예의 확장예인 제 2 실시예(130A')와 마찬가지로, 제 3 셋 선형-예측 계수까지 확장시킬 수 있다. 즉, 제 3 셋(최상위 차수)을 기준으로 하여, 제 2 셋(상위 차수) 및 제 1 셋(상위 차수)의 양자화에 제 3 셋을 이용하는 것인데, 구체적으로, 차수 정보에 상관없이 제 3 셋 계수(LPC3)를 생성하고, 차수 정보에 따라서, 제 2 셋 계수(LPC2) 및 제 1 셋 계수(LPC1)의 생성여부를 결정한다. 즉, 제 3 차수인 경우, 제 1 셋 및 제 2 셋 계수는 생성하지 않고, 제 2 차수인 경우에는, 제 2 셋 계수만 생성하고, 제 1 차수인 경우에는 제 1 셋 및 제 2 셋 계수를 생성하는 것이다.
도 12 는 도 1 의 선형예측 분석부(130)의 제 4 실시예(130C)에 따른 세부 구성을 보여주는 도면이다. 제 4 실시예는 앞서 차수 생성부(126)의 설명에서 언급한 바와 같이, 다양한 대역에서 다양한 차수를 결정하는 것이 아니라, 동일한 대역에서 다양한 차수를 결정하는 경우의 실시예이다. 이때, 하위 차수를 제 N1 차수, 상위 차수를 제 N2 차수로 명명하고자 한다.
도 12 에 도시된 제 4 실시예는, 하위 차수를 기준한다는 점에서, 제 1 실시예와 거의 동일하고, 각 구성요소의 기능도, 제 1 차수가 제 N1 차수로, 제 2 차수가 제 N2 차수로 대체된다는 점에서만 차이가 있을 뿐, 대동소이하므로, 제 1 실시예에 대한 설명으로 각 구성요소에 대한 설명을 대체하고자 한다.
도 13 은 도 1 의 선형예측 합성부(140)의 실시예에 따른 세부 구성을 보여주는 도면이다. 도 13 을 참조하면, 선형예측 합성부(140)는 역양자화부(142), 차수변경부(143), 인터폴레이팅부(144), 역변환부(146), 및 합성부(148)를 포함한다.
역양자화부(142)는 선형예측 분석부(130)로부터 양자화된 선형-예측 변환 계수(인덱스)를 수신하여 역양자화를 수행함으로써, 선형-예측 변환 계수를 생성한다.
제 1 실시예에 따른 선형예측 분석부(130A)로부터는, 역양자화부(142)는 제 1 셋 인덱스를 수신하거나(제 1 차수인 경우), 제 1 셋 인덱스 및 제 2 셋 인덱스를 수신한다(제 2 차수인 경우). 제 1 차수인 경우에는 제 1 셋 인덱스에 대해서 역양자화를 수행하고, 제 2 차수인 경우에는, 제 1 셋 인덱스 및 제 2 셋 인덱스를 각각 역양자화하여 합산한다.
제 2 실시예에 따른 선형예측 분석부(130A')로부터는, 제 1 차수 및 제 2 차수인 경우는, 제 1 실시예인 경우와 동일하고, 제 3 차수인 경우네는 제 1 셋 인덱스, 제 2 셋 인덱스, 및 제 3 인덱스를 모두 수신하고, 각각을 모두 역양자화하여 모두 합산한다.
제 3 실시예에 따른 선형예측 분석부(130B)로부터는, 제 1 차수인 경우에는, 제 1 셋 인덱스 및 제 2 셋 인덱스를 모두 수신하고, 제 2 차수인 경우에는, 제 2 인덱스만을 수신한다. 제 1 차수인 경우, 제 1 셋 인덱스 및 제 2 셋 인덱스를 모두 역양자화하여 합산한다.
제 4 실시예에 따른 선형예측 분석부(130C)로부터는, 제 N1 차수인 경우, 제 N1 셋을 수신하고, 제 N2 차수인 경우에는 제 N1 셋 및 제 N2 셋을 모두 수신하고, 마찬가지로 각각 역양자화를 하여 합산한다.
한편, 차수 변경부(143)은 이전 및/또는 이후 프레임의 선형-예측 변환 계수들을 수신하여, 이 중에서 하나 이상의 프레임에 대해서 인터폴레이팅할 대상으로 선택한다. 그런 다음, 차수 정보를 기반으로, 대상에 해당하는 프레임의 계수들의 차수를 현재 프레임의 선형-예측 변환 계수의 차수(예: 제 1 차수, 제 2 차수, 제 3 차수 중 하나)로 추정한다. 이 과정에는 앞서 차수 조정부(136A, 136B) 등에서 하위 차수를 상위 차수로 조정(또는 상위 차수를 하위 차수로 조정)하기 위한 알고리즘(수정된 Levinson-Durbin 알고리즘 또는 lattice 구조의 recursive 방법) 등이 이용될 수 있다.
인터폴레이팅부(144)는 인터폴레이팅 대상이 되는 프레임이 이전 프레임에 해당하는 경우(현재 프레임 내의 서브 프레임이 아니라 차수가 상이한 이전 및/또는 이후 프레임인 경우), 차수 변경부(143)에 의해 차수 변경된 이전 및/또는 이후 프레임의 선형-예측 변환 계수를 이용하여, 역양자화부(142)의 출력인 현재 프레임의 선형-예측 변환 계수를 인터폴레이팅한다.
역변환부(146)는 인터폴레이팅된 현재 프레임의 선형-예측 변환 계수를 역변환함으로써, 현재 프레임의 선형-예측 계수를 생성한다. 예를 들어, 제 1 차수인 경우, 제 1 셋의 선형-예측 계수에 해당하고, 제 2 차수인 경우, 제 2 셋의 선형-예측 계수를, 제 3 차수인 경우, 제 3 셋의 선형-예측 계수를 생성하는 것이다.
합성부(148)는 선형-예측 계수를 기반으로 선형-예측 합성을 수행함으로써, 선형예측 합성신호를 생성한다. 이 합성부(148)는 앞서 도 1 에 도시된 합산기(150)와 함께 하나의 필터로 구현될 수 있음은 물론이다.
이와 같이 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인코더에 대한 설명을 도 1 과 함께 설명하였고, 각 구성요소(차수 결정부(120) 및 선형예측 분석부(130) 등)의 다양한 실시예를 도 2 내지 도 13 와 함께 설명하였는바, 이후, 도 14 를 참조하면서, 디코더에 대해서 설명하도록 한다.
도 14 는 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 디코더의 구성을 보여주는 도면이다. 디코더(200)는 디멀티플렉서(210), 차수 획득부(215), 선형예측 합성부(220), 및 레지듀얼 디코딩부(230)를 포함할 수 있다.
디멀티플렉서(210)는 하나 이상의 비트스트림으로부터 1) 대역폭 정보를 추출하거나, 2) 코딩 모드 정보를 추출하거나, 또는 3) 대역폭 정보 및 코딩 모드 정보를 추출하여, 차수 획득부(215)로 전달한다.
차수 획득부(215)는 1) 대역폭 정보를 추출하거나, 2) 코딩 모드 정보를 추출하거나, 또는 3) 대역폭 정보 및 코딩 모드 정보를 근거로, 테이블을 참조하여 차수 정보를 결정한다. 이 결정과정은 도 2 에서의 차수 생성부(126)와 동일할 수 있으므로 구체적인 설명은 생략하고자 한다. 즉, 상기 테이블은 인코더(의 차수 생성부(126)에와 디코더(의 차수 획득부(215)간에 서로 약속되어 있는 정보로서, 각 대역별, 각 코딩 모드별 차수 정보에 해당할 수 있다.
상기 테이블의 일 예는 다음과 같을 수 있지만 본 발명은 이에 한정되지 아니한다.
Figure pct00008
Figure pct00009
이와 같이 차수획득부(215)에 의해 획득된 차수 정보는 멀티플렉서(210) 및 선형예측 합성부(220)에 전달된다.
멀티플렉서(210)는 현재 프레임의 차수 정보를 이용하여 그 차수만큼의 양자화된 선형-예측 변환 계수를 비트스트림으로부터 파싱하여 선형예측 합성부(220)에 전달한다.
선형예측 합성부(220)는 차수 정보 및 양자화된 선형-예측 변환 계수를 근거로 선형예측 합성신호를 생성한다. 즉, 차수 정보를 근거로 양자화된 선형-예측 변환 계수를 역양자화/역변환함으로써, 역양자화된 선형-예측 계수를 생성한다. 그런 다음 선형-예측 합성을 수행함으로써 선형예측 합성신호를 생성한다. 이 과정은 앞서 수학식 2 에서 우변을 계산하는 과정에 해당할 수 있다.
한편 레지듀얼 디코딩부(230)는 선형예측 잔여신호에 대한 파라미터(예: 피치 게인/ 피치 지연/ 코드북 게인/ 코드북 인덱스) 등을 이용하여 선형예측 잔여신호를 예측한다. 구체적으로, 코드북 인덱스 및 코드북 게인을 이용하여 피치 잔여성분을 예측하고, 피치 게인 및 피치 지연을 이용하여 롱텀 합성을 함으로써, 롱텀 합성신호를 생성한다. 롱텀 합성신호 및 피치 잔여성분을 합성함으로써, 선형예측 잔여신호를 생성할 수 있다. 합산기(240)는 선형예측 합성신호 및 선형예측 잔여신호를 합산함으로써, 현재 프레임에 대한 오디오 신호를 생성한다.
본 발명에 따른 오디오 신호 처리 장치는 다양한 제품에 포함되어 이용될 수 있다. 이러한 제품은 크게 스탠드 얼론(stand alone) 군과 포터블(portable) 군으로 나뉠 수 있는데, 스탠드 얼론군은 티비, 모니터, 셋탑 박스 등을 포함할 수 있고, 포터블군은 PMP, 휴대폰, 네비게이션 등을 포함할 수 있다.
도 15 는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계를 보여주는 도면이다. 우선 도 15 를 참조하면, 유무선 통신부(510)는 유무선 통신 방식을 통해서 비트스트림을 수신한다. 구체적으로 유무선 통신부(510)는 유선통신부(510A), 적외선통신부(510B), 블루투스부(510C), 무선랜통신부(510D), 이동통신부(510E) 중 하나 이상을 포함할 수 있다.
사용자 인증부는(520)는 사용자 정보를 입력 받아서 사용자 인증을 수행하는 것으로서 지문인식부, 홍채인식부, 얼굴인식부, 및 음성인식부 중 하나 이상을 포함할 수 있는데, 각각 지문, 홍채정보, 얼굴 윤곽 정보, 음성 정보를 입력받아서, 사용자 정보로 변환하고, 사용자 정보 및 기존 등록되어 있는 사용자 데이터와의 일치여부를 판단하여 사용자 인증을 수행할 수 있다.
입력부(530)는 사용자가 여러 종류의 명령을 입력하기 위한 입력장치로서, 키패드부(530A), 터치패드부(530B), 리모컨부(530C), 마이크로폰부(530D) 중 하나 이상을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다. 여기서, 마이크로폰 부(530D)는 음성 또는 오디오 신호를 입력받기 위한 입력장치이다. 여기서 키패드부(530A), 터치패드부(530B), 리모컨부(530C)은 통화 발신을 위한 명령 또는 마이크로폰 부(530D)을 활성화시키기 위한 명령을 입력받을 수 있다. 제어부(550)는 키패드부(530B) 등을 통해 통화 발신을 위한 명령을 수신한 경우, 이동 통신부(510E)로 하여금 동통신망에 호를 요청하도록 할 수 있다.
신호 코딩 유닛(540)는 마이크로폰 부(530D) 또는 유무선 통신부(510)를 통해 수신된 오디오 신호 및/또는 비디오 신호에 대해서 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 출력한다. 오디오 신호 처리 장치(545)를 포함하는데, 이는 앞서 설명한 본 발명의 실시예(즉, 실시예에 따른 인코더(100) 및/또는 디코더(200))에 해당하는 것으로서, 이와 같이 오디오 처리 장치(545) 및 이를 포함한 신호 코딩 유닛은 하나 이상의 프로세서에 의해 구현될 수 있다.
제어부(550)는 입력장치들로부터 입력 신호를 수신하고, 신호 디코딩부(540)와 출력부(560)의 모든 프로세스를 제어한다. 출력부(560)는 신호 디코딩부(540)에 의해 생성된 출력 신호 등이 출력되는 구성요소로서, 스피커부(560A) 및 디스플레이부(560B)를 포함할 수 있다. 출력 신호가 오디오 신호일 때 출력 신호는 스피커로 출력되고, 비디오 신호일 때 출력 신호는 디스플레이를 통해 출력된다.
도 16 는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도이다. 도 16 는 도 15 에서 도시된 제품에 해당하는 단말 및 서버와의 관계를 도시한 것으로서, 도 16 의 (A)를 참조하면, 제 1 단말(500.1) 및 제 2 단말(500.2)이 각 단말들은 유무선 통신부를 통해서 데이터 내지 비트스트림을 양방향으로 통신할 수 있음을 알 수 있다. 도 16 의 (B)를 참조하면, 서버(600) 및 제 1 단말(500.1) 또한 서로 유무선 통신을 수행할 수 있음을 알 수 있다.
도 17 은 본 발명의 실시예에 따른 오디오 신호 처리 장치가 구현된 이동 단말기의 개략적인 구성을 보여주는 도면이다. 이동단말기(700)는 통화 발신 및 수신을 위한 이동 통신부(710), 데이터 통신을 위한 데이터 통신부(720), 통화 발신 또는 오디오 입력에 대한 명령을 입력하기 위한 입력부(730), 음성 또는 오디오 신호를 입력하기 위한 마이크로폰 부(740), 각 구성요소를 제어하기 위한 제어부(750), 신호 코딩부(760), 음성 또는 오디오 신호를 출력하기 위한 스피커(770), 및 화면을 출력하기 위한 디스플레이(780)를 포함할 수 있다.
신호 코딩부(760)는 이동 통신부(710), 데이터 통신부(720) 또는 마이크로폰 부(530D) 를 통해 수신된 오디오 신호 및/또는 비디오 신호에 대해서 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 이동 통신부(710), 데이터 통신부(720) 또는 스피커(770)를 통해 출력한다. 오디오 신호 처리 장치(765)를 포함하는데, 이는 앞서 설명한 본 발명의 실시예(즉, 실시예에 따른 인코더(100) 및/또는 디코더(200))에 해당하는 것으로서, 이와 같이 오디오 처리 장치(765) 및 이를 포함한 신호 코딩 유닛은 하나 이상의 프로세서에 의해 구현될 수 있다.
본 발명에 따른 오디오 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
산업상 이용가능성
본 발명은 오디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.

Claims (12)

  1. 오디오 신호의 현재 프레임에 대해서 스펙트럼 분석을 수행함으로써, 상기 현재 프레임이 제 1 대역 및 제 2 대역을 복수의 대역들 중 어디에 해당하는지를 나타내는 대역폭 정보를 결정하는 단계;
    상기 대역폭 정보를 근거로, 현재 프레임에 대응하는 차수 정보를 결정하는 단계;
    상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 제 1 차수의 제 1 셋 선형-예측 변환 계수를 생성하는 단계;
    상기 제 1 셋 선형-예측 변환 계수를 벡터-양자화함으로써, 제 1 셋 인덱스를 생성하는 단계;
    상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 2 차수의 제 2 셋 선형-예측 변환 계수를 생성하는 단계; 및,
    상기 제 2 셋 선형-예측 변환 계수가 생성된 경우, 상기 제 1 셋 인덱스 및 상기 제 2 셋 선형-예측 변환 계수를 이용하여 제 2 셋 차분에 대해 벡터-양자화를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 복수의 대역들은, 제 3 대역을 더 포함하고,
    상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 3 차수의 제 3 셋 선형-예측 변환 계수를 생성하는 단계; 및
    차수조정된 제 2 셋 선형-예측 변환 계수 및, 상기 제 3 셋 선형-예측 변환 계수간의 차분인 제 3 셋 차분에 대해서 양자화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제 1 항에 있어서,
    상기 대역폭 정보가 상기 제 1 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 1 차수로 결정되고,
    상기 대역폭 정보가 상기 제 2 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 2 차수로 결정되는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제 1 항에 있어서,
    상기 제 1 차수가 상기 제 2 차수보다 작은 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제 1 항에 있어서,
    상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 단계를 더 포함하고,
    상기 차수 정보는 상기 코딩 모드 정보를 더 근거로 결정되는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제 1 항에 있어서,
    상기 차수 정보를 결정하는 단계는,
    상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 단계;
    상기 대역폭 정보를 근거로 임시 차수를 결정하는 단계;
    상기 코딩 모드 정보에 따라서 보정 차수를 결정하는 단계; 및,
    상기 임시 차수 및 상기 보정 차수를 근거로 상기 차수 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 오디오 신호의 현재 프레임에 대해서 스펙트럼 분석을 수행함으로써, 상기 현재 프레임이 제 1 대역 및 제 2 대역을 복수의 대역들 중 어디에 해당하는지를 나타내는 대역폭 정보를 결정하는 대역폭 검출부;
    상기 대역폭 정보를 근거로, 현재 프레임에 대응하는 차수 정보를 결정하는 차수결정부;
    상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 제 1 차수의 제 1 셋 선형-예측 변환 계수를 생성하고, 상기 차수 정보에 따라서, 제 2 차수의 제 2 셋 선형-예측 변환 계수를 생성하는 선형-예측 계수 생성/변환부;
    상기 제 1 셋 선형-예측 변환 계수를 벡터-양자화함으로써, 제 1 셋 인덱스를 생성하는 제 1 양자화부; 및,
    상기 제 2 셋 선형-예측 변환 계수가 생성된 경우, 상기 제 1 셋 인덱스 및 상기 제 2 셋 선형-예측 변환 계수를 이용하여 제 2 셋 차분에 대해 벡터-양자화를 수행하는 제 2 양자화부를 포함하는 것을 특징으로 하는 포함하는 오디오 신호 처리 장치.
  8. 제 7 항에 있어서,
    상기 복수의 대역들은, 제 3 대역을 더 포함하고,
    선형-예측 계수 생성/변환부는, 상기 현재 프레임에 대해 선형-예측 분석을 수행함으로써, 상기 차수 정보에 따라서, 제 3 차수의 제 3 셋 선형-예측 변환 계수를 더 생성하고,
    차수조정된 제 2 셋 선형-예측 변환 계수 및, 상기 제 3 셋 선형-예측 변환 계수간의 차분인 제 3 셋 차분에 대해서 양자화를 수행하는 제 3 양자화부를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제 7 항에 있어서,
    상기 대역폭 정보가 상기 제 1 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 1 차수로 결정되고,
    상기 대역폭 정보가 상기 제 2 대역을 지시하는 경우, 상기 차수 정보는 미리 결정된 제 2 차수로 결정되는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제 7 항에 있어서,
    상기 제 1 차수가 상기 제 2 차수보다 작은 것을 특징으로 하는 오디오 신호 처리 장치.
  11. 제 7 항에 있어서,
    상기 차수결정부는, 상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 모드 결정부를 더 포함하고,
    상기 차수 정보는 상기 코딩 모드 정보를 더 근거로 결정되는 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제 7 항에 있어서,
    상기 차수결정부는,
    상기 현재 프레임에 대해서, 제 1 모드 및 제 2 모드를 포함하는 복수의 모드들 중에 하나를 지시하는 코딩 모드 정보를 생성하는 모드 결정부; 및,
    상기 대역폭 정보를 근거로 임시 차수를 결정하고, 상기 코딩 모드 정보에 따라서 보정 차수를 결정하고, 상기 임시 차수 및 상기 보정 차수를 근거로 상기 차수 정보를 결정하는 차수생성부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
KR1020127026235A 2010-03-23 2011-03-23 오디오 신호 처리 방법 및 장치 KR101804922B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US31639010P 2010-03-23 2010-03-23
US61/316,390 2010-03-23
US201161451564P 2011-03-10 2011-03-10
US61/451,564 2011-03-10
PCT/KR2011/001989 WO2011118977A2 (ko) 2010-03-23 2011-03-23 오디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130028718A true KR20130028718A (ko) 2013-03-19
KR101804922B1 KR101804922B1 (ko) 2017-12-05

Family

ID=44673756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127026235A KR101804922B1 (ko) 2010-03-23 2011-03-23 오디오 신호 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US9093068B2 (ko)
EP (1) EP2551848A4 (ko)
KR (1) KR101804922B1 (ko)
CN (2) CN102812512B (ko)
WO (1) WO2011118977A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812512B (zh) * 2010-03-23 2014-06-25 Lg电子株式会社 处理音频信号的方法和装置
CN102982807B (zh) * 2012-07-17 2016-02-03 深圳广晟信源技术有限公司 用于对语音信号lpc系数进行多级矢量量化的方法和系统
ES2901749T3 (es) * 2014-04-24 2022-03-23 Nippon Telegraph & Telephone Método de descodificación, aparato de descodificación, programa y soporte de registro correspondientes
CN112689109B (zh) * 2019-10-17 2023-05-09 成都鼎桥通信技术有限公司 一种记录仪的音频处理方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4379949A (en) * 1981-08-10 1983-04-12 Motorola, Inc. Method of and means for variable-rate coding of LPC parameters
CA1250368A (en) * 1985-05-28 1989-02-21 Tetsu Taguchi Formant extractor
JPH01238229A (ja) 1988-03-17 1989-09-22 Sony Corp デイジタル信号処理装置
JP2625998B2 (ja) * 1988-12-09 1997-07-02 沖電気工業株式会社 特徴抽出方式
FR2720850B1 (fr) * 1994-06-03 1996-08-14 Matra Communication Procédé de codage de parole à prédiction linéaire.
ES2143673T3 (es) * 1994-12-20 2000-05-16 Dolby Lab Licensing Corp Metodo y aparato para aplicar una prediccion de formas de onda a subbandas de un sistema codificador perceptual.
FR2742568B1 (fr) * 1995-12-15 1998-02-13 Catherine Quinquis Procede d'analyse par prediction lineaire d'un signal audiofrequence, et procedes de codage et de decodage d'un signal audiofrequence en comportant application
KR100348137B1 (ko) 1995-12-15 2002-11-30 삼성전자 주식회사 표본화율변환에의한음성부호화및복호화방법
FI964975A (fi) * 1996-12-12 1998-06-13 Nokia Mobile Phones Ltd Menetelmä ja laite puheen koodaamiseksi
FI973873A (fi) * 1997-10-02 1999-04-03 Nokia Mobile Phones Ltd Puhekoodaus
EP1052622B1 (en) * 1999-05-11 2007-07-11 Nippon Telegraph and Telephone Corporation Selection of a synthesis filter for CELP type wideband audio coding
US6574593B1 (en) * 1999-09-22 2003-06-03 Conexant Systems, Inc. Codebook tables for encoding and decoding
JP2001306098A (ja) 2000-04-25 2001-11-02 Victor Co Of Japan Ltd 線形予測符号化装置及びその方法
US6850884B2 (en) * 2000-09-15 2005-02-01 Mindspeed Technologies, Inc. Selection of coding parameters based on spectral content of a speech signal
US7272555B2 (en) * 2001-09-13 2007-09-18 Industrial Technology Research Institute Fine granularity scalability speech coding for multi-pulses CELP-based algorithm
FI20021936A (fi) 2002-10-31 2004-05-01 Nokia Corp Vaihtuvanopeuksinen puhekoodekki
US7613606B2 (en) * 2003-10-02 2009-11-03 Nokia Corporation Speech codecs
KR100707174B1 (ko) * 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
CN101180677B (zh) 2005-04-01 2011-02-09 高通股份有限公司 用于宽频带语音编码的系统、方法和设备
US20070005351A1 (en) * 2005-06-30 2007-01-04 Sathyendra Harsha M Method and system for bandwidth expansion for voice communications
US8532984B2 (en) * 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
WO2008072736A1 (ja) 2006-12-15 2008-06-19 Panasonic Corporation 適応音源ベクトル量子化装置および適応音源ベクトル量子化方法
KR100921867B1 (ko) * 2007-10-17 2009-10-13 광주과학기술원 광대역 오디오 신호 부호화 복호화 장치 및 그 방법
CN101615395B (zh) 2008-12-31 2011-01-12 华为技术有限公司 信号编码、解码方法及装置、系统
CN102812512B (zh) * 2010-03-23 2014-06-25 Lg电子株式会社 处理音频信号的方法和装置

Also Published As

Publication number Publication date
US9093068B2 (en) 2015-07-28
CN102812512B (zh) 2014-06-25
CN102812512A (zh) 2012-12-05
KR101804922B1 (ko) 2017-12-05
EP2551848A2 (en) 2013-01-30
WO2011118977A3 (ko) 2011-12-22
WO2011118977A2 (ko) 2011-09-29
CN104021793B (zh) 2017-05-17
EP2551848A4 (en) 2016-07-27
US20130096928A1 (en) 2013-04-18
CN104021793A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
JP7244609B2 (ja) ビットバジェットに応じて２サブフレームモデルと４サブフレームモデルとの間で選択を行うステレオ音声信号の左チャンネルおよび右チャンネルを符号化するための方法およびシステム
KR101530295B1 (ko) 음성 복호 장치, 음성 복호 방법, 및 음성 복호 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체
KR20130133846A (ko) 정렬된 예견 부를 사용하여 오디오 신호를 인코딩하고 디코딩하기 위한 장치 및 방법
TWI785753B (zh) 多聲道信號產生器、多聲道信號產生方法及電腦程式
KR101804922B1 (ko) 오디오 신호 처리 방법 및 장치
CN112309422A (zh) 对音频信号中的噪声进行估计的方法和装置以及传输音频信号的装置和系统
TWI793666B (zh) 對多頻道音頻信號的頻道使用比例參數的聯合編碼的音頻解碼器、音頻編碼器和相關方法以及電腦程式
WO2009142464A2 (ko) 오디오 신호 처리 방법 및 장치
TWI841856B (zh) 音頻量化器和音頻去量化器及相關方法以及電腦程式

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right