KR20130012972A - 오디오/스피치 신호 부호화방법 - Google Patents

오디오/스피치 신호 부호화방법 Download PDF

Info

Publication number
KR20130012972A
KR20130012972A KR1020130006694A KR20130006694A KR20130012972A KR 20130012972 A KR20130012972 A KR 20130012972A KR 1020130006694 A KR1020130006694 A KR 1020130006694A KR 20130006694 A KR20130006694 A KR 20130006694A KR 20130012972 A KR20130012972 A KR 20130012972A
Authority
KR
South Korea
Prior art keywords
signal
domain
time domain
frequency domain
subband
Prior art date
Application number
KR1020130006694A
Other languages
English (en)
Other versions
KR101434207B1 (ko
Inventor
오은미
손창용
주기현
김중회
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130006694A priority Critical patent/KR101434207B1/ko
Publication of KR20130012972A publication Critical patent/KR20130012972A/ko
Application granted granted Critical
Publication of KR101434207B1 publication Critical patent/KR101434207B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 스피치 신호와 오디오 신호를 부호화하는 방법 및 장치에 관한 것으로서, 스피치 신호, 오디오 신호 및 스피치 신호와 오디오 신호가 혼합된 신호 모두를 효율적으로 부호화/복호화하며, 적은 비트를 사용하고도 음질을 보다 향상시킨다.

Description

오디오/스피치 신호 부호화방법{Method of encoding audio/speech signal}
본 발명은 코덱(codec)에 관한 것으로, 보다 상세하게는 스피치 신호(speech signal)와 오디오 신호(audio signal)를 부호화하는 방법 및 장치에 관한 것이다.
종래의 코덱은 스피치 코덱(speech)과 오디오 코덱(audio)으로 분류된다. 스피치 코덱은 음성 발성 모델을 이용하여 주로 50Hz에서 7kHz에 이르는 주파수 대역에 해당하는 신호를 부호화거나 복호화한다. 이러한 스피치 코덱은 일반적으로 성대와 성도를 모델링함으로써 음성 신호를 대표하는 파라미터를 추출하여 부호화 및 복호화를 수행한다. 오디오 코덱은 HE-AAC와 같이 심리 음향 모델을 적용하여 주로 0Hz에서 24Hz에 이르는 주파수 대역에 해당하는 신호를 부호화하거나 복호화한다. 이러한 오디오 코덱은 인간의 청각 특성을 이용하여 감도가 낮은 신호를 생략함으로써 부호화 및 복호화를 수행한다.
그러나 이와 같은 스피치 코덱과 오디오 코덱은 스피치 신호와 오디오 신호를 모두 효율적으로 수행하기 어려운 문제점을 갖는다. 스피치 코덱은 스피치 신호를 부호화하거나 복호화하는 데 적합하지만 오디오 신호를 부호화하거나 복호화하는 데 있어서 음질이 저하된다. 오디오 코덱은 오디오 신호를 부호화하거나 복호화할 경우 압축 효과가 뛰어나지만 음성 신호를 부호화/복호화함에 있어서 신호를 압축하는 효율이 떨어진다. 그러므로 스피치 신호, 오디오 신호, 스피치와 오디오가 혼합된 신호를 각각 부호화/복호화함에 있어서 적은 비트를 이용함에도 불구하고 음질을 향상시킬 수 있는 방법 및 장치가 요구된다.
본 발명이 이루고자 하는 기술적 과제는, 스피치 신호 및 오디오 신호 모두를 효율적으로 부호화하고 복호화하는 방법 및 장치를 제공하는 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 MDCT(Modified Discrete Cosine Transform) 및 MDST(Modified Discrete Sine Transform)에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부, 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, FV-MLT(Frequency Varying Modulated Lapped Transform)에 의해 신호의 도메인을 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)하는 스테레오 부호화부, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 하는 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 중요주파수성분 부호화부, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 잔여스펙트럼 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 하는 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 도메인 역변환부, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 시간도메인 부호화부, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 도메인 역변환부, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 장치는, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 스테레오 부호화부, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 도메인 변환부, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 모드 결정부, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 시간도메인 부호화부, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 주파수도메인 부호화부 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부 및 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부 및 FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱(upmixing)하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부를 포함하는 것을 특징으로 하는 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 스피치 툴 복호화부, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 중요주파수성분 복호화부, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 잔여스펙트럼 복호화부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, FV-MLT에 의해 신호의 도메인을 변환하는 도메인 변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 장치는, 서브 밴드 별로 부호화된 도메인을 판단하는 도메인 판단부, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 시간도메인 복호화부, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 도메인 변환부, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 주파수도메인 복호화부, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 도메인 역변환부, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 고주파수 밴드 복호화부, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 밴드 합성부 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 스테레오 복호화부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 MDCT에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계 및 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계 및 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계 및 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계, 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 시간 도메인에서 주파수 도메인으로 변환하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 상기 MDCT에 의해 변환된 신호에서 중요 주파수 성분을 선택하여 부호화하는 단계, 상기 MDCT에 의해 변환된 신호에서 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하여 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 시간 도메인으로 역변환하는 단계, 상기 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)의 신호를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 상기 분할된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 시간 도메인에서 부호화하는 단계, 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 제1 역변환 방식에 의해 시간 도메인으로 역변환하는 단계, 상겨 역변환된 서브 밴드(들)의 신호를 시간 도메인에서 부호화하는 단계, 상기 제2 변환 방식에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 부호화 방법은, 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱하는 단계, 상기 다운믹싱된 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 단계, 상기 분할된 저주파수 밴드 신호를 MDCT 및 MDST에 의해 주파수 도메인으로 변환하여 서브 밴드 별로 분할하는 단계, 상기 분할된 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정하는 단계, 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 IMDCT에 의해 시간 도메인으로 역변환하여 시간 도메인에서 부호화하는 단계, 상기 MDST에 의해 변환된 신호를 이용하여 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드(들)를 주파수 도메인에서 부호화하는 단계 및 저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계 및 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계 를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 FV-MLT에 의해 신호의 도메인을 변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계 및 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 시간 도메인으로 역변환된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계 및 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 부호화단에서 스피치 툴에 의해 부호화된 결과를 복호화하는 단계, 상기 복호화된 결과를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드에서 중요 주파수 성분을 복호화하는 단계, 상기 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 복호화하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, FV-MLT에 의해 신호의 도메인을 변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 FV-MLT에 의해 시간 도메인으로 변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 오디오/스피치 신호 복호화 방법은, 서브 밴드 별로 부호화된 도메인을 판단하는 단계, 시간 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 시간 도메인에서 복호화하는 단계, 상기 시간 도메인에서 복호화된 신호를 IMDCT에 의해 주파수 도메인으로 변환하는 단계, 주파수 도메인에서 부호화되었다고 판단된 서브 밴드의 신호를 주파수 도메인에서 복호화하는 단계, 상기 주파수 도메인으로 변환된 신호와 상기 주파수 도메인에서 복호화된 신호를 합성하여 MDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하는 단계, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화하는 단계, 상기 시간 도메인으로 역변환된 신호와 상기 고주파수 밴드 신호가 복호화된 신호를 합성하는 단계 및 부호화단으로부터 전송된 스테레오로 업믹싱하는 파라미터를 이용하여 상기 합성된 신호를 스테레오 신호로 업믹싱하는 단계를 포함하는 것을 특징으로 한다.
전술된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
본 발명에 의한 오디오/스피치 신호 부호화 및 복호화 방법 및 장치에 의하면, 스피치 신호, 오디오 신호 및 스피치 신호와 오디오 신호가 혼합된 신호 모두를 효율적으로 부호화하고 복호화할 수 있다. 또한, 부호화 및 복호화를 수행함에 있어서 적은 비트를 사용하고도 음질을 보다 향상시킬 수 있는 효과를 거둘 수 있다.
도 1은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제1 실시예를 블록도로 도시한 것이다.
도 2는 본 발명에 의한 오디오/스피치 신호 부호화 장치에서 주파수도메인 부호화부(110)의 일 실시예를 블록도로 도시한 것이다.
도 3은 본 발명에 의한 오디오/스피치 신호 부호화 장치에서 주파수도메인 부호화부(110)의 다른 일 실시예를 블록도로 도시한 것이다.
도 4은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제2 실시예를 블록도로 도시한 것이다.
도 5는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제3 실시예를 블록도로 도시한 것이다.
도 6은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제4 실시예를 블록도로 도시한 것이다.
도 7은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제5 실시예를 블록도로 도시한 것이다.
도 8은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제6 실시예를 블록도로 도시한 것이다.
도 9는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제7 실시예를 블록도로 도시한 것이다.
도 10은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제8 실시예를 블록도로 도시한 것이다.
도 11은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제1 일 실시예를 블록도로 도시한 것이다.
도 12는 본 발명에 의한 오디오/스피치 신호 복호화 장치에서 주파수도메인 복호화부(1110)의 일 실시예를 블록도로 도시한 것이다.
도 13은 본 발명에 의한 오디오/스피치 신호 복호화 장치에서 주파수도메인 복호화부(1110)의 다른 일 실시예를 블록도로 도시한 것이다.
도 14는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제2 일 실시예를 블록도로 도시한 것이다.
도 15는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제3 일 실시예를 블록도로 도시한 것이다.
도 16은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제4 일 실시예를 블록도로 도시한 것이다.
도 17은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제5 일 실시예를 블록도로 도시한 것이다.
도 18은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제6 일 실시예를 블록도로 도시한 것이다.
도 19는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제7 일 실시예를 블록도로 도시한 것이다.
도 20은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 제8 일 실시예를 블록도로 도시한 것이다.
도 21은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
도 22는 본 발명에 의한 오디오/스피치 신호 부호화 방법에서 제2110단계의 일 실시예를 흐름도로 도시한 것이다.
도 23은 본 발명에 의한 오디오/스피치 신호 부호화 방법에서 제2110단계의 다른 일 실시예를 흐름도로 도시한 것이다.
도 24는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
도 25는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
도 26은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.
도 27은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.
도 28은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.
도 29는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.
도 30은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.
도 31은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
도 32는 본 발명에 의한 오디오/스피치 신호 복호화 방법에서 제3110단계의 일 실시예를 흐름도로 도시한 것이다.
도 33은 본 발명에 의한 오디오/스피치 신호 복호화 방법에서 제3110단계의 다른 일 실시예를 흐름도로 도시한 것이다.
도 34는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
도 35는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
도 36은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.
도 37은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.
도 38은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.
도 39는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.
도 40은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 오디오/스피치 신호 부호화 및 복호화 방법 및 장치에 대해 상세히 설명한다.
도 1은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 제1 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 제1 도메인 변환부(100), 주파수도메인 부호화부(110) 및 다중화부(120)를 포함하여 이루어진다.
제1 도메인 변환부(100)는 입력 단자 IN을 통해 입력된 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(100)는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제1 도메인 변환부(100)는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 실수부와 함께 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수도메인 부호화부(110)는 제1 도메인 변환부(100)에서 제1 변환 방식에 의해 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(110)는 도 2 및 3에 도시된 예와 같이 실시할 수 있다.
첫째, 도 2는 주파수도메인 부호화부(110)의 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 부호화부(110)는 심리음향모델 적용부(200), 중요주파수성분 선택부(210), 양자화부(220), 노이즈 처리부(230)를 포함하여 이루어진다.
심리음향모델 적용부(200)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 입력 신호에 대해 심리음향모델을 적용한다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
심리음향모델 적용부(200)는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 할당한다. 심리음향모델 적용부(200)는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.
중요주파수성분 선택부(210)는 입력 단자 IN 1을 통하여 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다. 중요주파수성분 선택부(210)에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.
양자화부(220)는 심리음향모델 적용부(200)에서 할당된 SMR 값으로 중요주파수성분 선택부(210)에서 선택된 중요 주파수 성분을 양자화하여 출력 단자 OUT 1을 통해 출력한다.
노이즈 처리부(230)는 입력 단자 IN 1을 통하여 입력되는 주파수 도메인으로 표현된 신호에서 중요주파수성분 선택부(210)에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 여기서, 노이즈 처리부(230)는 양자화된 결과를 출력 단자 OUT 2를 통해 출력한다.
둘째, 도 3은 주파수도메인 부호화부(110)의 다른 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 부호화부(110)는 음성 툴 부호화부(300), 심리음향모델 적용부(310), 중요주파수성분 선택부(320), 양자화부(330) 및 노이즈 처리부(340)를 포함하여 이루어진다.
음성 툴 부호화부(300)는 어택(attack)이 강한 신호로 판별되는 신호에 대하여 짧은 트랜스폼(transform)의 길이로 좀 더 세밀하게 부호화한다.
심리음향모델 적용부(310)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 입력 신호에 대해 심리음향모델을 적용한다. 또한, 심리음향모델 적용부(310)는 입력 단자 IN 2를 통하여 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에 대하여 할당되는 비트를 계산한다.
심리음향모델 적용부(310)는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 달리하여 할당한다. 심리음향모델 적용부(200)는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.
중요주파수성분 선택부(320)는 입력 단자 IN 2를 통하여 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다. 중요주파수성분 선택부(320)에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.
양자화부(330)는 심리음향모델 적용부(310)에서 할당된 SMR 값으로 중요주파수성분 선택부(320)에서 선택된 중요 주파수 성분을 양자화하여 출력 단자 OUT 4를 통해 출력한다.
노이즈 처리부(340)는 입력 단자 IN 2를 통하여 입력되는 주파수 도메인으로 표현된 신호에서 중요주파수성분 선택부(320)에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 서브 밴드 별로 계산하여 양자화한다. 여기서, 노이즈 처리부(340)는 양자화된 결과를 출력 단자 OUT 5를 통해 출력한다.
여기서, 노이즈 레벨은 선형 예측(linear prediction) 분석을 수행하여 계산할 수 있다. 이러한 선형 예측 분석은 자기 상관법(autocorrelation method)을 이용하여 수행하며, 공분산법(covariance method), 더빈의 방법(Durbin's method)등을 이용할 수 있다. 선형 예측을 통해 부호화기에서 현재 프레임에서 노이즈 성분이 얼마나 많은지를 예측한다. 만일 노이즈 성분이 강한 경우 노이즈 레벨을 그대로 전송하고, 만일 노이즈 성분이 적고 톤 성분이 강한 경우에는 상대적으로 노이즈 레벨을 줄여 전송한다. 또한 작은 윈도우일 경우에는 노이즈가 급격하게 변하는 경우이므로 추가적으로 노이즈 레벨을 줄여 전송한다.
다중화부(120)는 주파수도메인 부호화부(110)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(110)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 4는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 도메인 변환부(400), 모드 결정부(410), 시간도메인 부호화부(420), 주파수도메인 부호화부(430) 및 다중화부(440)를 포함하여 이루어진다.
도메인 변환부(400)는 입력 단자 IN을 통해 입력된 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다.
여기서, 도메인 변환부(400)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
이러한 도메인 변환부(400)는 제1 도메인 변환부(403) 및 제2 도메인 변환부(406)를 포함하여 이루어진다.
제1 도메인 변환부(403)는 입력 단자 IN을 통해 입력된 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(403)는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제1 도메인 변환부(403)는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제2 도메인 역변환부(406)는 제1 도메인 변환부(403)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(406)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
모드 결정부(410)는 제1 도메인 변환부(403)에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(410)는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(410)는 각 서브 밴드에 대하여 모드 결정부(410)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(440)로 출력한다.
여기서, 모드 결정부(410)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(403)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 입력 단자 IN을 통하여 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(403)로부터 입력되는 주파수 도메인에 해당하는 신호와 입력 단자 IN을 통하여 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.
모드 결정부(410)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제2 도메인 역변환부(406)는 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.
시간도메인 부호화부(420)는 제2 도메인 역변환부(406)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다.
소정의 경우 모드 결정부(410)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(420)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(430)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(440)로 출력한다.
주파수도메인 부호화부(430)는 모드 결정부(410)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(430)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.
다중화부(440)는 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(420)에서 부호화한 결과 및 주파수도메인 부호화부(430)에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(430)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 5는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(500), 제1 도메인 변환부(510), 주파수도메인 부호화부(520) 및 다중화부(530)를 포함하여 이루어진다.
스테레오 부호화부(500)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(500)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 부호화부(500)는 추출한 파라미터를 양자화하여 다중화부(530)로 출력한다.
제1 도메인 변환부(510)는 스테레오 부호화부(500)에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(510)는 스테레오 부호화부(500)에서 다운믹싱된 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 도메인 변환부(510)는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수도메인 부호화부(520)는 제1 도메인 변환부(510)로부터 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(520)는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.
다중화부(530)는 스테레오 부호화부(500)에서 양자화된 파라미터 및 주파수도메인 부호화부(520)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(520)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 6은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(600), 도메인 변환부(610), 모드 결정부(620), 시간도메인 부호화부(630), 주파수도메인 부호화부(640) 및 다중화부(650)를 포함하여 이루어진다.
스테레오 부호화부(600)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(600)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 부호화부(600)는 추출한 파라미터를 양자화하여 다중화부(530)로 출력한다.
도메인 변환부(610)는 스테레오 부호화부(600)에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다.
여기서, 도메인 변환부(610)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
이러한 도메인 변환부(610)는 제1 도메인 변환부(613) 및 제2 도메인 역변환부(616)를 포함하여 이루어진다.
제1 도메인 변환부(613)는 스테레오 부호화부(600)에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(613)는 스테레오 부호화부(600)에서 다운믹싱된 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 다운믹싱된 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 다운믹싱된 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제1 도메인 변환부(613)는 다운믹싱된 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 다운믹싱된 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 다운믹싱된 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2 도메인 역변환부(616)는 제1 도메인 변환부(613)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(616)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
모드 결정부(620)는 제1 도메인 변환부(613)에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(620)는 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(620)는 각 서브 밴드에 대하여 모드 결정부(620)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(650)로 출력한다.
여기서, 모드 결정부(620)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(613)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 스테레오 부호화부(600)로부터 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(613)로부터 입력되는 주파수 도메인에 해당하는 신호 및 스테레오 부호화부(600)로부터 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.
제2 도메인 역변환부(616)는 모드 결정부(620)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(616)는 IMDCT를 적용하여 소정의 서브 밴드를 시간 도메인으로 역변환한다.
시간도메인 부호화부(630)는 제2 도메인 역변환부(616)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다.
소정의 경우 모드 결정부(620)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(630)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(640)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(650)로 출력한다.
주파수도메인 부호화부(640)는 모드 결정부(620)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(640)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.
다중화부(650)는 스테레오 부호화부(600)에서 양자화된 파라미터 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(630)에서 부호화한 결과 및 주파수도메인 부호화부(640)에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(630)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 7은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 밴드 분할부(700), 제1 도메인 변환부(710), 주파수도메인 부호화부(720), 고주파수밴드 부호화부(730) 및 다중화부(740)를 포함하여 이루어진다.
밴드 분할부(700)는 입력 단자 IN을 통해 입력된 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.
제1 도메인 변환부(710)는 밴드 분할부(700)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(710)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 도메인 변환부(710)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수도메인 부호화부(720)는 제1 도메인 변환부(710)로부터 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(720)는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.
고주파수밴드 부호화부(730)는 저주파수 밴드 신호를 이용하여 밴드 분할부(700)에서 분할된 고주파수 밴드 신호를 부호화한다.
다중화부(740)는 주파수도메인 부호화부(720)에서 부호화한 결과 및 고주파수밴드 부호화부(730)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(720)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 8은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 밴드 분할부(800), 도메인 변환부(810), 모드 결정부(820), 시간도메인 부호화부(830), 주파수도메인 부호화부(840), 고주파수밴드 부호화부(850) 및 다중화부(860)를 포함하여 이루어진다.
밴드 분할부(800)는 입력 단자 IN을 통해 입력된 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.
도메인 변환부(810)는 밴드 분할부(800)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다.
여기서, 도메인 변환부(810)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
이러한 도메인 변환부(810)는 제1 도메인 변환부(813) 및 제2 도메인 역변환부(816)를 포함하여 이루어진다.
제1 도메인 변환부(813)는 밴드 분할부(800)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(813)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제1 도메인 변환부(813)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2 도메인 역변환부(816)는 제1 도메인 변환부(813)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(816)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.
모드 결정부(820)는 제1 도메인 변환부(813)에서 주파수 도메인으로 변환된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(820)는 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(820)는 각 서브 밴드에 대하여 모드 결정부(820)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(860)로 출력한다.
여기서, 모드 결정부(820)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(813)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 밴드 분할부(800)로부터 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(813)로부터 입력되는 주파수 도메인에 해당하는 신호 및 밴드 분할부(800)로부터 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.
제2 도메인 역변환부(816)는 모드 결정부(820)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(816)는 IMDCT를 적용하여 소정의 서브 밴드를 주파수 도메인에서 시간 도메인으로 역변환한다.
시간도메인 부호화부(830)는 제2 도메인 역변환부(816)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다.
소정의 경우 모드 결정부(820)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(830)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(840)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(860)로 출력한다.
주파수도메인 부호화부(840)는 모드 결정부(820)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(840)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.
고주파수밴드 부호화부(850)는 저주파수 밴드 신호를 이용하여 밴드 분할부(800)에서 분할된 고주파수 밴드 신호를 부호화한다.
다중화부(860)는 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(830)에서 부호화한 결과, 주파수도메인 부호화부(840)에서 부호화한 결과 및 고주파수밴드 부호화부(850)에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(840)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 9는 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(900), 밴드 분할부(910), 제1 도메인 변환부(920), 주파수도메인 부호화부(930), 고주파수밴드 부호화부(940) 및 다중화부(950)를 포함하여 이루어진다.
스테레오 부호화부(900)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(900)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 스테레오 부호화부(900)는 추출한 파라미터를 양자화하여 다중화부(950)로 출력한다.
밴드 분할부(910)는 스테레오 부호화부(900)에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.
제1 도메인 변환부(920)는 밴드 분할부(910)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(920)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 도메인 변환부(920)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
주파수도메인 부호화부(930)는 제1 도메인 변환부(920)로부터 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다. 이러한 주파수도메인 부호화부(930)는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.
고주파수밴드 부호화부(940)는 저주파수 밴드 신호를 이용하여 밴드 분할부(910)에서 분할된 고주파수 밴드 신호를 부호화한다.
다중화부(950)는 스테레오 부호화부(900)에서 양자화된 파라미터, 주파수도메인 부호화부(930)에서 부호화한 결과 및 고주파수밴드 부호화부(940)에서 부호화한 결과를 다중화하여 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(990)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 10은 본 발명에 의한 오디오/스피치 신호 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 부호화 장치는 스테레오 부호화부(1000), 밴드 분할부(1010), 도메인 변환부(1020), 모드 결정부(1030), 시간도메인 부호화부(1040), 주파수도메인 부호화부(1050), 고주파수밴드 부호화부(1060) 및 다중화부(1070)를 포함하여 이루어진다.
스테레오 부호화부(1000)는 입력 단자 IN을 통해 입력된 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다. 스테레오 부호화부(1000)에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 스테레오 부호화부(1000)는 추출한 파라미터를 양자화하여 다중화부(1070)로 출력한다.
밴드 분할부(1010)는 스테레오 부호화부(1000)에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다.
도메인 변환부(1020)는 밴드 분할부(1010)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고 서브 밴드 별로 분할하며, 소정의 서브 밴드들에 대하여 시간 도메인으로 역변환한다.
여기서, 도메인 변환부(1020)는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
이러한 도메인 변환부(1020)는 제1 도메인 변환부(1023) 및 제2 도메인 역변환부(1026)를 포함하여 이루어진다.
제1 도메인 변환부(1023)는 밴드 분할부(1010)에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다. 여기서, 제1 도메인 변환부(1023)는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리 음향 모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제1 도메인 변환부(1023)는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2 도메인 역변환부(1026)는 제1 도메인 변환부(1023)에서 주파수 도메인으로 변환된 소정의 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(1026)는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
모드 결정부(1030)는 제1 도메인 변환부(1023)에서 주파수 도메인으로 변환된 저주파수 밴드 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다. 다시 말하면, 모드 결정부(1030)는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 모드 결정부(1030)는 각 서브 밴드에 대하여 모드 결정부(1030)에서 결정된 도메인을 나타내는 식별자를 양자화하여 다중화부(1070)로 출력한다.
여기서, 모드 결정부(1030)가 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제1 도메인 변환부(1023)로부터 입력되는 주파수 도메인에 해당하는 신호만 이용하는 방법, 밴드 분할부(1010)로부터 입력되는 시간 도메인에 해당하는 신호만 이용하는 방법, 제1 도메인 변환부(1023)로부터 입력되는 주파수 도메인에 해당하는 신호와 밴드 분할부(1010)로부터 입력되는 시간 도메인에 해당하는 신호를 모두 이용하는 방법이 있다.
제2 도메인 역변환부(1026)는 모드 결정부(1030)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드를 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 예를 들어, 제2 도메인 역변환부(1026)는 IMDCT를 적용하여 소정의 서브 밴드를 역변환한다.
시간도메인 부호화부(1040)는 제2 도메인 역변환부(1026)에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다.
소정의 경우 모드 결정부(1030)에서 주파수 도메인에서 부호화하는 것이 적합하지 않다고 판단된 서브 밴드도 시간도메인 부호화부(1040)에서 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 주파수도메인 부호화부(1050)에서도 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인 뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화하여 다중화부(1070)로 출력한다.
주파수도메인 부호화부(1050)는 모드 결정부(1030)에서 주파수 도메인으로 부호화하는 것이 적합하다고 판단된 서브 밴드를 주파수 도메인에서 부호화한다. 여기서, 주파수도메인 부호화부(1050)는 전술한 도 2 및 3에 도시된 예에 의하여 실시할 수 있다.
고주파수밴드 부호화부(1060)는 저주파수 밴드 신호를 이용하여 밴드 분할부(1010)에서 분할된 고주파수 밴드 신호를 부호화한다.
다중화부(1070)는 스테레오 부호화부(1000)에서 양자화된 파라미터, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 시간도메인 부호화부(1040)에서 부호화한 결과, 주파수도메인 부호화부(1050)에서 부호화한 결과 및 고주파수밴드 부호화부(1060)에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성하고 출력 단자 OUT을 통해 출력한다. 여기서, 주파수도메인 부호화부(1050)에서 부호화한 결과는 도 2의 실시예에서 기술된 양자화부(220)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(230)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 음성 툴 부호화부(300)에서 부호화된 결과, 양자화부(330)에서 중요 주파수 성분을 양자화한 결과 및 노이즈 처리부(340)에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 11은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1100), 주파수도메인 복호화부(1110) 및 제2 도메인 역변환부(1120)를 포함하여 이루어진다.
역다중화부(1100)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1100)가 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과로서 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.
주파수도메인 복호화부(1110)는 역다중화부(1100)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1110)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1110)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
첫째, 도 12는 주파수도메인 복호화부(1110)의 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 복호화부(1110)는 역양자화부(1200) 및 노이즈 복호화부(1210)를 포함하여 이루어진다.
역양자화부(1200)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분을 입력 단자 IN 1을 통하여 역다중화된 결과를 입력받아 역양자화한다. 여기서, 심리 음향 모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
노이즈 복호화부(1210)는 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 입력 단자 IN 2를 통하여 역다중화된 결과를 입력받아 복호화한다. 또한, 노이즈 복호화부(1210)는 복호화된 노이즈 레벨을 역양자화부(1200)에서 복호화된 중요 주파수 성분에 합성한다. 여기서, 노이즈 복호화부(1210)는 합성된 결과를 출력 단자 OUT 1을 통해 출력한다.
둘째, 도 13은 주파수도메인 복호화부(1110)의 일 실시예를 블록도로 도시한 것으로서, 주파수도메인 복호화부(1110)는 역양자화부(1300), 노이즈 복호화부(1310) 및 음성 툴 복호화부(1320)를 포함하여 이루어진다.
역양자화부(1300)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리음향모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분을 입력 단자 IN 3을 통하여 역다중화된 결과를 입력받아 역양자화한다.
노이즈 복호화부(1310)는 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 입력 단자 IN 4를 통하여 역다중화된 결과를 입력받아 복호화한다. 또한, 노이즈 복호화부(1310)는 복호화된 노이즈 레벨을 역양자화부(1200)에서 복호화된 중요 주파수 성분에 합성한다.
음성 툴 복호화부(1320)는 부호화단에서 음성 툴에 의해 부호화된 결과를 입력 단자 IN 5를 통하여 역다중화된 결과를 입력받아 복호화한다. 또한, 음성 툴 복호화부(1320)는 음성 툴 복호화부(1320)에서 복호화된 결과를 노이즈 복호화부(1310)에서 합성된 결과에 합성한다. 여기서, 음성 툴 복호화부(1320)는 합성된 결과를 출력 단자 OUT 2를 통해 출력한다.
제2 도메인 역변환부(1120)는 주파수도메인 복호화부(1110)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. 또한, 제2 도메인 역변환부(1120)는 역변환된 결과를 출력 단자 OUT을 통하여 출력한다. 예를 들어, 제2 도메인 역변환부(1120)는 도 12에서 노이즈 복호화부(1210)에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하며, 도 13에서 음성 툴 복호화부(1320)에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.
도 14는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1400), 모드 판단부(1410), 주파수도메인 복호화부(1420), 시간도메인 복호화부(1430) 및 도메인 변환부(1440)를 포함하여 이루어진다.
역다중화부(1400)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1400)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
모드 판단부(1410)는 역다중화부(1400)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.
주파수도메인 복호화부(1420)는 모드 판단부(1410)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)을 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1420)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1420)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
시간도메인 복호화부(1430)는 모드 판단부(1410)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다.
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(1420)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(1430)에서는 시간 도메인에서 부호화된 결과를 복호화한다.
도메인 변환부(1440)는 시간도메인 복호화부(1430)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(1420)에서 복호화된 신호 및 시간도메인 복호화부(1430)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다.
여기서, 도메인 변환부(1440)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
도메인 변환부(1440)는 제2 도메인 변환부(1443) 및 제2 도메인 역변환부(1446)을 포함하여 이루어진다.
제2 도메인 변환부(1443)는 시간도메인 복호화부(1430)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제2 도메인 역변환부(1446)는 주파수도메인 복호화부(1420)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(1443)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. 여기서, 제2 도메인 역변환부(1446)는 역변환된 결과를 출력 단자 OUT을 통해 출력한다.
도 15는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1500), 주파수도메인 복호화부(1510), 제2 도메인 역변환부(1520) 및 스테레오 복호화부(1530)를 포함하여 이루어진다.
역다중화부(1500)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1500)가 역다중화하여 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 스테레오 신호로 업믹싱하기 위한 파라미터를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.
주파수도메인 복호화부(1510)는 역다중화부(1100)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1510)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1510)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
제2 도메인 역변환부(1520)는 주파수도메인 복호화부(1510)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
스테레오 복호화부(1530)는 제2 도메인 역변환부(1520)에서 역변환된 모노 신호를 스테레오 신호로 업믹하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 복호화부(1530)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.
도 16은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1600), 모드 판단부(1610), 주파수도메인 복호화부(1620), 시간도메인 복호화부(1630), 도메인 변환부(1640) 및 스테레오 복호화부(1650)를 포함하여 이루어진다.
역다중화부(1600)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1600)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과, 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 및 스테레오 신호로 업믹싱하기 위한 파라미터 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함될 수도 있다.
모드 판단부(1610)는 역다중화부(1600)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.
주파수도메인 복호화부(1620)는 모드 판단부(1610)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1620)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1620)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
시간도메인 복호화부(1630)는 모드 판단부(1610)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 시간 도메인에서 복호화한다.
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(1620)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(1630)에서는 시간 도메인에서 부호화된 결과를 복호화한다.
도메인 변환부(1640)는 시간도메인 복호화부(1630)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(1420)에서 복호화된 신호 및 시간도메인 복호화부(1430)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다.
여기서, 도메인 변환부(1640)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
도메인 변환부(1640)는 제2 도메인 변환부(1643) 및 제2 도메인 역변환부(1646)를 포함하여 이루어진다.
제2 도메인 변환부(1643)는 시간도메인 복호화부(1630)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제2 도메인 역변환부(1646)는 주파수도메인 복호화부(1620)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(1643)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
스테레오 복호화부(1650)는 제2 도메인 역변환부(1646)에서 역변환된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 또한, 스테레오 복호화부(1650)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.
도 17은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1700), 주파수도메인 복호화부(1710), 고주파수밴드 복호화부(1720), 제2 도메인 역변환부(1730) 및 밴드 합성부(1740)를 포함하여 이루어진다.
역다중화부(1700)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1700)가 역다중화하여 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
주파수도메인 복호화부(1710)는 역다중화부(1700)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1710)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1710)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
제2 도메인 역변환부(1730)는 주파수도메인 복호화부(1710)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
고주파수밴드 복호화부(1720)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(1700)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.
밴드 합성부(1740)는 제2 도메인 역변환부(1730)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(1720)에서 생성된 고주파수 밴드 신호를 합성한다. 여기서, 밴드 합성부(1740)는 합성된 신호를 출력 단자 OUT을 통해 출력한다.
도 18은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1800), 모드 판단부(1810), 주파수도메인 복호화부(1820), 시간도메인 복호화부(1830), 도메인 변환부(1840), 고주파수밴드 복호화부(1950) 및 밴드 합성부(1860)를 포함하여 이루어진다.
역다중화부(1800)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1800)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과, 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
모드 판단부(1810)는 역다중화부(1800)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.
주파수도메인 복호화부(1820)는 모드 판단부(1810)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1820)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1820)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
시간도메인 복호화부(1830)는 모드 판단부(1810)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 시간 도메인에서 복호화한다.
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(1820)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(1830)에서는 시간 도메인에서 부호화된 결과를 복호화한다.
도메인 역변환부(1840)는 시간도메인 복호화부(1830)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(1820)에서 복호화된 신호 및 시간도메인 복호화부(1830)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다.
여기서, 도메인 변환부(1440)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
도메인 변환부(1840)는 제2 도메인 변환부(1843) 및 제2 도메인 역변환부(1846)를 포함하여 이루어진다.
제2 도메인 변환부(1843)는 시간도메인 복호화부(1830)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제2 도메인 역변환부(1846)는 주파수도메인 복호화부(1620)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(1843)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
고주파수밴드 복호화부(1850)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(1800)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.
밴드 합성부(1860)는 제2 도메인 역변환부(1846)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(1850)에서 생성된 고주파수 밴드 신호를 합성한다. 여기서, 밴드 합성부(1860)는 합성된 신호를 출력 단자 OUT을 통해 출력한다.
도 19는 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(1900), 주파수도메인 복호화부(1910), 제2 도메인 역변환부(1920), 고주파수밴드 복호화부(1930), 밴드 합성부(1940) 및 스테레오 복호화부(1950)를 포함하여 이루어진다.
역다중화부(1900)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(1900)가 역다중화하여 출력하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보, 스테레오로 업믹싱할 수 있는 파라미터 등이 있다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
주파수도메인 복호화부(1910)는 역다중화부(1900)로부터 출력되는 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(1910)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1910)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
제2 도메인 역변환부(1920)는 주파수도메인 복호화부(1910)에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
고주파수밴드 복호화부(1930)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(1900)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.
밴드 합성부(1940)는 제2 도메인 역변환부(1920)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(1930)에서 생성된 고주파수 밴드 신호를 합성한다.
스테레오 복호화부(1950)는 밴드 합성부(1940)에서 합성된 모노 신호를 역다중화부(1900)에서 출력된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 복호화부(1950)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.
도 20은 본 발명에 의한 오디오/스피치 신호 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 오디오/스피치 신호 복호화 장치는 역다중화부(2000), 모드 판단부(2010), 주파수도메인 복호화부(2020), 시간도메인 복호화부(2030), 도메인 역변환부(2040), 고주파수밴드 복호화부(2050), 밴드 합성부(2060) 및 스테레오 복호화부(2070)를 포함하여 이루어진다.
역다중화부(2000)는 입력 단자 IN을 통하여 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다. 여기서, 역다중화부(2000)가 역다중화하여 출력하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과, 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
모드 판단부(2010)는 역다중화부(2000)에서 출력된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다.
주파수도메인 복호화부(2020)는 모드 판단부(2010)에서 주파수 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 주파수 도메인에서 복호화한다. 보다 상세하게 설명하면, 주파수도메인 복호화부(2020)는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 주파수도메인 복호화부(1820)는 도 12 및 13에 도시된 예와 같이 실시할 수 있다.
시간도메인 복호화부(2030)는 모드 판단부(2010)에서 시간 도메인에서 부호화된 것으로 판단된 서브 밴드(들)를 시간 도메인에서 복호화한다.
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 해당하는 서브 밴드를 주파수도메인 복호화부(2020)에서는 주파수 도메인에서 부호화된 결과를 복호화하며, 시간도메인 복호화부(2030)에서는 시간 도메인에서 부호화된 결과를 복호화한다.
도메인 역변환부(2040)는 시간도메인 복호화부(2030)에서 복호화된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 주파수도메인 복호화부(2020)에서 복호화된 신호 및 시간도메인 복호화부(2030)에서 출력된 신호를 주파수 도메인으로 변환된 신호를 합성하여 주파수 도메인에서 시간 도메인으로 변환한다.
여기서, 도메인 변환부(2040)는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
이러한 도메인 변환부(2040)는 제2 도메인 변환부(2043) 및 제2 도메인 역변환부(2046)를 포함하여 이루어진다.
제2 도메인 변환부(2043)는 시간도메인 복호화부(2030)에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제2 도메인 역변환부(2046)는 주파수도메인 복호화부(2020)에서 복호화된 서브 밴드들의 신호와 제2 도메인 변환부(2043)에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다. 여기서, 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
고주파수밴드 복호화부(2050)는 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 역다중화부(2000)로부터 입력받아 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 생성한다.
밴드 합성부(2060)는 제2 도메인 역변환부(2046)에서 역변환된 저주파수 밴드 신호와 고주파수밴드 복호화부(2050)에서 생성된 고주파수 밴드 신호를 합성한다.
스테레오 복호화부(2070)는 밴드 합성부(2060)에서 합성된 모노 신호를 역다중화부(2000)에서 출력된 모노 신호를 스테레오 신호로 업믹하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 스테레오 복호화부(2070)는 업믹싱된 스테레오 신호를 출력 단자 OUT을 통해 출력한다.
도 21은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2100단계). 제2100단계에서는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제2100단계는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2100단계에서 제1 변환 방식에 의해 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2110단계). 이러한 제2110단계는 도 22 및 23에 도시된 예와 같이 실시할 수 있다.
첫째, 도 22는 제2110단계의 일 실시예를 흐름도로 도시한 것이다.
먼저, 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 심리음향모델을 적용한다(제2200단계). 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제2200단계에서는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 할당한다. 제2200단계에서는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.
제2200단계 후에, 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다(제2205단계). 제2205단계에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.
제2200단계에서 할당된 SMR 값로 제2205단계에서 선택된 중요 주파수 성분을 양자화한다(제2210단계).
제2210단계 후에, 주파수 도메인으로 표현된 신호에서 제2205단계에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2220단계).
도 23은 제2110단계의 다른 일 실시예를 흐름도로 도시한 것이다.
먼저, 어택(attack)이 강한 신호로 판별되는 신호에 대하여 짧은 트랜스폼(transform)의 길이로 좀 더 세밀하게 부호화한다(제2300단계).
제2300단계 후에, 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해서 심리음향모델을 적용한다(제2305단계).
제2305단계에서는 인간의 청각 특성을 이용한 심리음향모델을 적용하여 감도가 낮은 세부 정보를 생략하고, 주파수 별로 감도의 정도를 뜻하는 SMR 값을 달리하여 할당한다. 제2305단계에서는 제2 변환 방식으로 변환된 신호를 이용하여 심리음향모델을 적용하며, 제2 변환 방식의 예로 MDST가 있다.
제2305단계 후에, 입력되는 주파수 도메인으로 표현된 신호의 각 서브 밴드에서 중요 주파수 성분을 선택한다(제2310단계). 제2310단계에서 중요 주파수 성분을 선택하는 방법으로 다음과 같은 방법들이 있다. 첫째, SMR 값을 계산하여 마스킹 역치 보다 큰 신호를 중요 주파수 성분으로 선택한다. 둘째, 소정의 가중치를 고려하여 스펙트럼 피크를 추출하여 중요 주파수 성분을 선택한다. 셋째, 각 서브 밴드 별로 SNR 값을 계산하여 SNR 값이 낮은 서브 밴드 중에서 소정 크기 이상의 피크 값을 갖는 주파수 성분을 중요 주파수 성분으로 선택한다. 전술된 세 가지 방법은 각각 실시할 수 있지만, 적어도 하나 이상 방법을 결합하여 조합함으로써 실시할 수도 있다.
제2305단계에서 할당된 SMR 값으로 제2310단계에서 선택된 중요 주파수 성분을 양자화한다(제2320단계).
제2320단계 후에, 입력되는 주파수 도메인으로 표현된 신호에서 제2310단계에서 선택된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출하고, 잔여 스펙트럼 성분의 노이즈 레벨을 서브 밴드 별로 계산하여 양자화한다(제2330단계).
여기서, 노이즈 레벨은 선형 예측(linear prediction) 분석을 수행하여 계산할 수 있다. 이러한 선형 예측 분석은 자기 상관법(autocorrelation method)을 이용하여 수행하며, 공분산법(covariance method), 더빈의 방법(Durbin's method)등을 이용할 수 있다. 선형 예측을 통해 부호화기에서 현재 프레임에서 노이즈 성분이 얼마나 많은지를 예측한다. 만일 노이즈 성분이 강한 경우 노이즈 레벨을 그대로 전송하고, 만일 노이즈 성분이 적고 톤 성분이 강한 경우에는 상대적으로 노이즈 레벨을 줄여 전송한다. 또한 작은 윈도우일 경우에는 노이즈가 급격하게 변하는 경우이므로 추가적으로 노이즈 레벨을 줄여 전송한다.
제2110단계에서 부호화한 결과를 다중화하여 비트스트림을 생성한다(제2120단계). 제2110단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 24는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2400단계). 제2400단계에서는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제2400단계에서는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제2400단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제2410단계). 다시 말하면, 제2410단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제2410단계에서는 각 서브 밴드에 대하여 제2410단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.
제2410단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제2400단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 입력 신호만 이용하는 방법, 제2400단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 입력 신호를 모두 이용하는 방법이 있다.
만일 제2410단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제2420단계). 여기서, 제2420단계에서는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.
만일 제2410단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제2430단계). 예를 들어, 제2430단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
제2400단계 및 제2430단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제2430단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제2440단계).
소정의 경우 제2410단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.
제2420단계 또는 제2440단계 후에, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제2440단계에서 부호화한 결과 및 제2420단계에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성한다. 제2420단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 25는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제2500단계). 제2500단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 제2500단계에서는 추출한 파라미터를 양자화한다.
제2500단계에서 다운믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2510단계). 제2510단계에서는 제2500단계에서 다운믹싱된 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2510단계에서는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2510단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2520단계). 이러한 제2520단계에서는 전술한 도 22 및 23에 도시된 예와 같이 실시할 수 있다.
제2500단계에서 양자화된 파라미터 및 제2520단계에서 부호화한 결과를 다중화하여 비트스트림을 생성한다(제2530단계). 제2530단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 26은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제2600단계). 제2600단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 여기서, 제2600단계에서는 추출한 파라미터를 양자화한다.
제2600단계에서 다운 믹싱된 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2610단계). 제2610단계에서는 입력 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 입력 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 입력 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제2610단계에서는 입력 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 입력 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 입력 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제2610단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제2620단계). 다시 말하면, 제2620단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제2620단계에서는 각 서브 밴드에 대하여 제2620단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.
제2620단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제2610단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 제2600단계에서 다운믹싱된 신호만 이용하는 방법, 제2610단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 제2600단계에서 다운믹싱된 신호를 모두 이용하는 방법이 있다.
만일 제2620단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제2630단계). 여기서, 제2630단계에서는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.
만일 제2620단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제2640단계). 예를 들어, 제2640단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
제2610단계 및 제2640단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제2640단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제2650단계).
소정의 경우 제2620단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.
제2630단계 또는 제2650단계 후에, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제2600단계에서 양자화한 파라미터, 제2630단계에서 부호화한 결과 및 제2650단계에서 부호화한 결과를 포함하여 다중화함으로써 비트스트림을 생성한다. 제2630단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 27은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제2700단계).
제2700단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2710단계). 제2710단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2710단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2710단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2720단계). 이러한 제2720단계는 전술한 도 2 및 3에 도시된 예와 같이 실시할 수 있다.
제2700단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제2730단계).
제2720단계에서 부호화한 결과, 제2730단계에서 부호화한 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 다중화하여 비트스트림을 생성한다(제2740단계). 여기서, 제2720단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 28은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제2800단계).
제2800단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2810단계). 제2810단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제2810단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제2810단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제2820단계). 다시 말하면, 제2820단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제2820단계에서는 각 서브 밴드에 대하여 제2820단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.
제2820단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제2810단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 저주파수 밴드 신호만 이용하는 방법, 제2810단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 저주파수 밴드 신호를 모두 이용하는 방법이 있다.
만일 제2820단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제2830단계). 여기서, 제2830단계는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.
만일 제2820단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제2840단계). 예를 들어, 제2840단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
제2810단계 및 제2840단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제2840단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제2850단계).
소정의 경우 제2820단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.
제2800단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제2860단계).
제2830단계 또는 제2850단계 후에, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제2830단계에서 부호화한 결과, 제2850단계에서 부호화한 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제2870단계). 제2830단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 29는 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제2900단계). 제2900단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 또한, 제2900단계에서는 추출한 파라미터를 양자화한다.
제2900단계에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제2910단계).
제2910단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제2920단계). 제2920단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
예를 들어, 제2920단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다.
제2920단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에서 중요 주파수 성분(Important Spectral Component)을 선택하여 양자화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분을 추출함으로써 잔여 스펙트럼 성분의 노이즈 레벨을 계산하여 양자화한다(제2930단계). 이러한 제2930단계는 전술한 도 22 및 23에 도시된 예와 같이 실시할 수 있다.
제2910단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제2940단계).
제2900단계에서 양자화된 파라미터, 제2930단계에서 부호화한 결과 및 제2940단계에서 부호화한 결과를 다중화함으로써 비트스트림을 생성한다. 여기서, 제2930단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 30은 본 발명에 의한 오디오/스피치 신호 부호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.
먼저, 입력 신호가 스테레오 신호에 해당할 경우 입력 신호를 분석하여 파라미터를 추출하고 다운믹싱(downmixing)한다(제3000단계). 제3000단계에서 추출하는 파라미터는 부호화단에서 전송한 모노 신호를 복호화단에서 스테레오 신호로 업믹싱(upmixing)하는 데 필요한 정보를 말한다. 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다. 또한, 제3000단계에서는 추출한 파라미터를 양자화한다.
제3000단계에서 다운믹싱된 신호를 소정의 주파수를 기준으로 저주파수 밴드 신호와 고주파수 밴드 신호로 분할한다(제3010단계).
제3010단계에서 분할된 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환하고, 서브 밴드 별로 분할한다(제3020단계). 제3020단계에서는 저주파수 밴드 신호를 제1 변환 방식으로 시간 도메인에서 주파수 도메인으로 변환하고, 심리 음향 모델을 적용하기 위해서 제1 변환 방식 이외의 제2 변환 방식으로도 저주파수 밴드 신호를 시간 도메인에서 주파수 도메인으로 변환한다. 제1 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호를 부호화하는 데 이용되며, 제2 변환 방식에 의해 변환된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다.
예를 들어, 제3020단계에서는 저주파수 밴드 신호를 제1 변환 방식에 해당하는 MDCT(Modified Discrete Cosine Transform)에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, 제2 변환 방식에 해당하는 MDST(Modified Discrete Sine Transform)에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 여기서, MDCT에 의해 변환되어 실수부로 표현된 신호는 저주파수 밴드 신호를 부호화하는 데 사용되며, MDST에 의해 변환되어 허수부로 표현된 신호는 저주파수 밴드 신호에 대하여 심리 음향 모델을 적용하는 데 이용된다. 이에 의하여 신호의 위상 정보를 추가로 표현할 수 있기 때문에 시간 도메인에 해당하는 신호에 대하여 DFT(Discrete Fourier Transform)를 수행한 후, MDCT의 계수를 양자화함으로써 발생되는 미스 매치(miss match)를 해결할 수 있다. 여기서, 심리음향모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제3020단계에서 주파수 도메인으로 변환된 신호의 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단한다(제3030단계). 다시 말하면, 제3030단계에서는 기 설정된 기준에 따라서 각 서브 밴드에 대하여 주파수 도메인에서 부호화할지 시간 도메인에서 부호화할지 여부를 결정한다. 또한, 제3030단계에서는 각 서브 밴드에 대하여 제3030단계에서 결정된 도메인을 나타내는 식별자를 양자화한다.
제3030단계에서 소정의 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것이 적합한지 여부를 판단함에 있어서, 제3020단계에서 변환된 주파수 도메인에 해당하는 신호만 이용하는 방법, 시간 도메인에 해당하는 저주파수 밴드 신호만 이용하는 방법, 제3020단계에서 변환된 주파수 도메인에 해당하는 신호와 시간 도메인에 해당하는 저주파수 밴드 신호를 모두 이용하는 방법이 있다.
만일 제3030단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드로 판단되면, 해당하는 서브 밴드를 주파수 도메인에서 부호화한다(제3040단계). 여기서, 제3040단계는 전술한 도 22 및 23에 도시된 예에 의하여 실시할 수 있다.
만일 제3030단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되면, 해당하는 서브 밴드들에 대하여 제1 변환 방식에 대한 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3050단계). 예를 들어, 제3050단계는 제1 변환 방식에 대한 역변환 방식에 해당하는 IMDCT(Inverse Modified Discrete Cosine Transform)에 의해 역변환한다.
제3020단계 및 제3050단계는 시간 도메인으로 표현된 신호를 입력받아 시간 도메인과 주파수 도메인으로 동시에 표현할 수 있는 모든 변환 방식으로 구현할 수 있다. 보다 상세하게 설명하면, 시간 도메인으로 표현된 신호를 주파수 도메인으로 변환한 후 밴드 별로 적절히 시간 해상도(temporal resolution)를 조절하여 소정의 서브 밴드에 대하여 주파수 도메인으로 표현할 수 있는 적응성 있는(flexible) 변환 방식이다. 이에 부가하여 허수 표현을 통하여 심리음향모듈을 적용하기 위한 신호도 생성한다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제3050단계에서 시간 도메인으로 역변환된 서브 밴드의 신호를 시간 도메인에서 부호화한다(제3060단계).
소정의 경우 제3030단계에서 주파수 도메인에서 부호화하는 것이 적합한 서브 밴드가 아니라고 판단되더라도 해당하는 서브 밴드의 신호를 시간 도메인에서 부호화하는 동시에 동일한 서브 밴드의 신호를 주파수 도메인으로 부호화할 수도 있다. 이에 따라 소정의 서브 밴드(들)는 시간 도메인뿐 만 아니라 주파수 도메인에서도 부호화된다. 이 경우에는 소정 서브 밴드의 신호가 시간 도메인과 주파수 도메인 모두에서 부호화되었다는 식별자를 양자화한다.
제3010단계에서 분할된 고주파수 밴드 신호를 저주파수 밴드 신호를 이용하여 부호화한다(제3070단계).
제3000단계에서 양자화된 파라미터, 각 서브 밴드가 부호화된 도메인을 나타내는 식별자를 양자화한 결과, 제3040단계에서 부호화한 결과, 제3060단계에서 부호화한 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함하여 다중화함으로써 비트스트림을 생성한다(제3080단계). 제3080단계에서 부호화한 결과는 도 22의 실시예에서 기술된 제2210단계에서 중요 주파수 성분을 양자화한 결과 및 제2220단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말하며, 도 3의 실시예에서 기술된 제2300단계에서 부호화된 결과, 제2320단계에서 중요 주파수 성분을 양자화한 결과 및 제2330단계에서 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과를 말한다.
도 31은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제1 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3100단계). 제3100단계에서 역다중화하는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과로서 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.
제3100단계에서 역다중화된 부호화단에서 주파수 도메인에서 부호화된 결과를 복호화한다(제3110단계). 보다 상세하게 설명하면, 제3110단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3110단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
첫째, 도 32는 제3110단계의 일 실시예를 흐름도로 도시한 것이다.
먼저, 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리 음향 모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분이 역다중화된 결과를 역양자화한다(제3200단계). 여기서, 심리 음향 모델은 인간 청각 시스템의 차폐 작용에 대한 수학적 모델을 말한다.
제3200단계에서 역양자화한 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨이 역다중화된 결과를 복호화한다(제3210단계). 또한, 제3210단계에서는 복호화된 노이즈 레벨을 제3200단계에서 복호화된 중요 주파수 성분에 합성한다.
둘째, 도 33은 제3110단계의 다른 일 실시예를 흐름도로 도시한 것이다.
먼저, 인간의 청각 특성에 의한 지각적인 중복성을 제거하는 심리음향모델을 적용하여 각각 달리 할당된 비트로 부호화된 중요 주파수 성분이 역다중화된 결과를 역양자화한다(제3300단계).
제3300단계에서 역양자화된 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨이 역다중화된 결과를 복호화한다(제3310단계). 또한, 제3310단계에서는 복호화된 노이즈 레벨을 제3300단계에서 복호화된 중요 주파수 성분에 합성한다.
제3310단계 후에, 부호화단에서 음성 툴에 의해 부호화된 결과가 역다중화된 결과를 복호화한다(제3320단계). 또한, 제3320단계에서는 제3320단계에서 복호화된 결과를 제3310단계에서 합성된 결과에 합성한다.
제3110단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3120단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다. 예를 들어, 제3120단계에서는 도 32에서 제3200단계에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환하며, 도 33에서 제3320단계에서 합성된 신호를 IMDCT에 의해 주파수 도메인에서 시간 도메인으로 역변환한다.
도 34는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제2 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3400단계). 제3400단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
제3400단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제3410단계).
만일 제3410단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제3420단계). 보다 상세하게 설명하면, 제3420단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3420단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
만일 제3410단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제3430단계).
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.
제3430단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제3440단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제3420단계에서 복호화된 서브 밴드들의 신호와 제3440단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3450단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제3440단계 및 제3450단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
도 35는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제3 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3500단계). 제3500단계에서 역다중화된 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 스테레오 신호로 업믹싱하기 위한 파라미터를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과가 포함할 수도 있다.
제3500단계에서 역다중화된 부호화단에서 주파수 도메인에서 부호화된 결과를 주파수 도메인에서 복호화한다(제3510단계). 보다 상세하게 설명하면, 제3510단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3510단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
제3510단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3520단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제3520단계에서 역변환된 모노 신호를 스테레오 신호로 업믹하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제3530단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.
도 36은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제4 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3600단계). 제3600단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
제3600단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제3610단계).
만일 제3610단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제3620단계). 보다 상세하게 설명하면, 제3620단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3420단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
만일 제3610단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제3630단계).
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.
제3630단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제3640단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제3620단계에서 복호화된 서브 밴드들의 신호와 제3640단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3650단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제3640단계 및 제3650단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제3650단계에서 역변환된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제3660단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.
도 37은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제5 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3700단계). 제3700단계에서 역다중화된 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과 및 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보를 포함한다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
제3700단계에서 역다중화된 부호화단에서 주파수 도메인에서 부호화된 결과를 주파수 도메인에서 복호화한다(제3710단계). 보다 상세하게 설명하면, 제3710단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3710단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
제3710단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3720단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제3700단계에서 역다중화된 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제3730단계).
제3720단계에서 역변환된 저주파수 밴드 신호와 제3730단계에서 생성된 고주파수 밴드 신호를 합성한다(제3740단계).
도 38은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제6 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3800단계). 제3800단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
제3800단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제3810단계).
만일 제3810단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제3820단계). 보다 상세하게 설명하면, 제3820단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3820단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
만일 제3810단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제3830단계).
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.
제3830단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제3840단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제3820단계에서 복호화된 서브 밴드들의 신호와 제3840단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제3850단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제3840단계 및 제3850단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제3800단계에서 역다중화된 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제3860단계).
제3850단계에서 역변환된 저주파수 밴드 신호와 제3860단계에서 생성된 고주파수 밴드 신호를 합성한다(제3870단계).
도 39는 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제7 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제3900단계). 제3900단계에서 역다중화되는 데이터에는 부호화단에서 주파수 도메인에서 부호화된 결과, 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보, 스테레오로 업믹싱할 수 있는 파라미터 등이 있다. 여기서, 부호화단에서 주파수 도메인에서 부호화된 결과에는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
제3900단계에서 역다중화되는 부호화단에서 주파수 도메인에서 부호화된 결과를 주파수 도메인에서 복호화한다(제3910단계). 보다 상세하게 설명하면, 제3910단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제3910단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
제3910단계에서 복호화된 결과를 주파수 도메인에서 시간 도메인으로 제2 역변환 방식에 의해 역변환한다(제3920단계). 여기서, 제2 역변환 방식은 전술한 제2 변환 방식에 대한 역변환 과정을 적용한 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제3900단계에서 역다중화된 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제3930단계).
제3920단계에서 역변환된 저주파수 밴드 신호와 제3930단계에서 생성된 고주파수 밴드 신호를 합성한다(제3940단계).
제3940단계에서 합성된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제3950단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.
도 40은 본 발명에 의한 오디오/스피치 신호 복호화 방법에 대한 제8 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송된 비트스트림을 입력받아 역다중화한다(제4000단계). 제4000단계 역다중화하는 데이터에는 각 서브 밴드가 부호화된 도메인의 정보, 소정의 서브 밴드에 대하여 부호화단에서 주파수 도메인에서 부호화된 결과 및 소정의 서브 밴드에 대하여 부호화단에서 시간 도메인에서 부호화된 결과 등이 있다.
여기서, 부호화단에서 주파수 도메인에서 부호화된 결과는 중요 주파수 성분을 양자화한 결과 및 잔여 스펙트럼 성분의 노이즈 레벨을 양자화한 결과 등이 있다. 이에 부과하여 음성 툴에 의하여 부호화된 결과를 포함할 수도 있다.
제4000단계에서 역다중화된 각 서브 밴드가 부호화된 도메인의 정보를 독출하여 각 서브 밴드에 대해 주파수 도메인에서 부호화되었는지 시간 도메인에서 부호화되었는지 여부를 판단한다(제4010단계).
만일 제4010단계에서 주파수 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 주파수 도메인에서 복호화한다(제4020단계). 보다 상세하게 설명하면, 제4020단계에서는 각 서브 밴드에서 선택된 중요 주파수 성분(Important Spectral Component)을 복호화하며, 중요 주파수 성분을 제외한 잔여 스펙트럼 성분의 노이즈 레벨을 복호화한다. 이러한 제4020단계는 도 32 및 33에 도시된 예와 같이 실시할 수 있다.
만일 제4010단계에서 시간 도메인에서 부호화되었다고 판단되는 서브 밴드로 판단되면, 해당하는 서브 밴드(들)를 시간 도메인에서 복호화한다(제4030단계).
소정의 경우 부호화단에서 특정한 서브 밴드에 대하여 시간 도메인으로 부호화하는 것으로 결정된 경우에도 주파수 도메인과 시간 도메인 모두에서 해당하는 서브 밴드를 부호화하는 경우가 있다. 이러한 경우 해당하는 서브 밴드를 시간 도메인에서 부호화된 결과를 복호화하며, 주파수 도메인에서도 부호화된 결과를 복호화한다.
제4030단계에서 복호화된 신호를 제2 변환 방식에 의해 시간 도메인에서 주파수 도메인으로 변환한다(제4040단계). 예를 들어, 제2 변환 방식에는 MDCT(Modified Discrete Cosine Transform)가 있다.
제4020단계에서 복호화된 서브 밴드들의 신호와 제4040단계에서 변환된 서브 밴드들의 신호를 합성하여 제2 역변환 방식에 의해 주파수 도메인에서 시간 도메인으로 역변환한다(제4050단계). 이러한 제2 역변환 방식은 전술한 제2 변환 방식을 역변환하는 과정을 수행하는 것으로서, 예를 들어 IMDCT(Inverse Modified Discrete Cosine Transform)가 있다.
제4040단계 및 제4050단계는 소정의 밴드 단위로 분할되어 시간 도메인 또는 주파수 도메인으로 표현된 신호들을 입력받아 시간 도메인으로 변환할 수 있는 모든 변환 방식으로 구현할 수 있다. 이러한 변환 방식의 일 예로 FV-MLT(Frequency Varying Modulated Lapped Transform)이 있다.
제4000단계에서 역다중화된 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화할 수 있는 정보에 따라 저주파수 밴드 신호를 이용하여 고주파수 밴드 신호를 복호화한다(제4060단계).
제4050단계에서 역변환된 저주파수 밴드 신호와 제4060단계에서 생성된 고주파수 밴드 신호를 합성한다(제4070단계).
제4070단계에서 역변환된 모노 신호를 스테레오 신호로 업믹싱하기 위한 파라미터를 이용하여 스테레오 신호로 업믹싱한다(제4080단계). 이러한 파라미터의 예로 두 채널 간 에너지의 차, 두 채널의 상관도(correlation) 또는 간섭도(coherence) 등이 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
400: 도메인 변환부 410: 모드 결정부
420: 시간도메인 부호화부 430: 주파수도메인 부호화부
440: 다중화부

Claims (1)

  1. 입력 신호를 저주파수 밴드 신호와 고주파수 밴드 신호로 분할하는 밴드 분할부;
    상기 분할된 저주파수 밴드 신호를 제1 변환 방식 및 제2 변환 방식에 의하여 시간 도메인에서 주파수 도메인으로 변환하는 도메인 변환부;
    상기 제2 변환 방식에 의해 변환된 신호를 이용하여 상기 제1 변환 방식에 의해 변환된 신호를 주파수 도메인에서 부호화하는 주파수도메인 부호화부; 및
    저주파수 밴드 신호를 이용하여 상기 분할된 고주파수 밴드 신호를 부호화하는 고주파수밴드 부호화부를 포함하는 것을 특징으로 하는 오디오/스피치 신호 부호화 장치.
KR1020130006694A 2013-01-21 2013-01-21 오디오/스피치 신호 부호화방법 KR101434207B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130006694A KR101434207B1 (ko) 2013-01-21 2013-01-21 오디오/스피치 신호 부호화방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130006694A KR101434207B1 (ko) 2013-01-21 2013-01-21 오디오/스피치 신호 부호화방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020060114102A Division KR101434198B1 (ko) 2006-11-17 2006-11-17 신호 복호화 방법

Publications (2)

Publication Number Publication Date
KR20130012972A true KR20130012972A (ko) 2013-02-05
KR101434207B1 KR101434207B1 (ko) 2014-08-27

Family

ID=47893495

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006694A KR101434207B1 (ko) 2013-01-21 2013-01-21 오디오/스피치 신호 부호화방법

Country Status (1)

Country Link
KR (1) KR101434207B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272897B2 (ja) * 2002-01-30 2009-06-03 パナソニック株式会社 符号化装置、復号化装置およびその方法
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
KR100707173B1 (ko) * 2004-12-21 2007-04-13 삼성전자주식회사 저비트율 부호화/복호화방법 및 장치

Also Published As

Publication number Publication date
KR101434207B1 (ko) 2014-08-27

Similar Documents

Publication Publication Date Title
JP6170520B2 (ja) オーディオ及び／またはスピーチ信号符号化及び／または復号化方法及び装置
KR101435893B1 (ko) 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
KR101379263B1 (ko) 대역폭 확장 복호화 방법 및 장치
KR101428487B1 (ko) 멀티 채널 부호화 및 복호화 방법 및 장치
KR101253699B1 (ko) 주파수 영역 위너 필터링을 사용한 공간 오디오 코딩을위한 시간적 엔벨로프 정형화
CN105957532B (zh) 对音频/语音信号进行编码和解码的方法和设备
KR101444102B1 (ko) 스테레오 오디오의 부호화, 복호화 방법 및 장치
KR101411901B1 (ko) 오디오 신호의 부호화/복호화 방법 및 장치
CN107925388A (zh) 用于增强瞬时处理的后置处理器、预处理器、音频编码器、音频解码器及相关方法
WO2013168414A1 (ja) 音信号ハイブリッドエンコーダ、音信号ハイブリッドデコーダ、音信号符号化方法、及び音信号復号方法
EP2525355A1 (en) Audio encoding apparatus and audio encoding method
EP2133872B1 (en) Encoding device and encoding method
KR20080053739A (ko) 적응적으로 윈도우 크기를 적용하는 부호화 장치 및 방법
KR20080025636A (ko) 대역폭 확장 기법을 이용한 오디오 신호의 부호화/복호화방법 및 장치
WO2009048239A2 (en) Encoding and decoding method using variable subband analysis and apparatus thereof
CA3011883A1 (en) Apparatus and method for mdct m/s stereo with global ild to improve mid/side decision
KR101403340B1 (ko) 변환 부호화 방법 및 장치
KR102052144B1 (ko) 음성 신호의 대역 선택적 양자화 방법 및 장치
KR101434209B1 (ko) 오디오/스피치 신호 부호화장치
KR101434207B1 (ko) 오디오/스피치 신호 부호화방법
KR101434206B1 (ko) 신호 복호화 장치
KR101457897B1 (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
EP2720223A2 (en) Audio signal processing method, audio encoding apparatus, audio decoding apparatus, and terminal adopting the same

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6