KR20090043352A

KR20090043352A - 상호 운용성을 지원하는 오디오/스피치 신호의부호화/복호화 방법 및 시스템

Info

Publication number: KR20090043352A
Application number: KR1020070109154A
Authority: KR
Inventors: 성호상; 오은미; 주기현; 김중회; 김미영
Original assignee: 삼성전자주식회사
Priority date: 2007-10-29
Filing date: 2007-10-29
Publication date: 2009-05-06
Also published as: KR101455648B1

Abstract

본 발명은 상호 운용성을 지원하는 오디오/스피치 신호의 부호화 방법에 관한 것으로, 복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 부호화할 도메인을 결정하고, 상호 운용성 정보를 기초로 결정된 도메인에서 신호를 부호화한다.

Description

상호 운용성을 지원하는 오디오/스피치 신호의 부호화/복호화 방법 및 시스템{Method and System to Encode/Decode Audio/Speech Signal for Supporting Interoperability}

본 발명은 오디오/스피치 신호의 부호화/복호화 방법 및 시스템에 관한 것으로, 보다 상세하게는 상호 운용성을 지원하는 오디오/스피치 신호의 부호화/복호화 방법 및 시스템에 관한 것이다.

입력되는 스피치 신호, 오디오 신호, 스피치와 오디오가 혼합된 신호를 부호화 또는 복호화함에 있어서, 적은 비트를 이용하여 압축 효율 및 음질을 향상시킬 수 있는 방법 및 시스템이 요구된다.

본 발명이 해결하고자 하는 과제는 스피치 신호 및 오디오 신호 모두를 효율적으로 부호화하며, 복수의 코덱들간의 상호 운용성을 지원하는 오디오/스피치 신호의 부호화 방법 및 시스템, 및 오디오/스피치 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.

본 발명이 해결하고자 하는 다른 과제는 스피치 신호 및 오디오 신호 모두를 효율적으로 복호화하며, 복수의 코덱들간의 상호 운용성을 지원하는 오디오/스피치 신호의 복호화 방법 및 시스템, 및 오디오/스피치 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.

상기 과제를 해결하기 위한 본 발명에 따른 신호의 부호화 방법은 복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 부호화할 도메인을 결정하는 단계; 및 상기 정보를 기초로 상기 결정된 도메인에서 상기 신호를 부호화하는 단계를 포함한다.

또한, 상기 과제는 복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 부호화할 도메인을 결정하는 단계; 및 상기 정보를 기초로 상기 결정된 도메인에서 상기 신호를 부호화하는 단계를 포함하는 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 달성된다.

또한, 상기 다른 과제를 해결하기 위한 본 발명에 따른 신호의 복호화 방법은 신호의 부호화 결과에 포함된 복수 개의 코덱들간의 상호 운용성을 나타내는 정보를 기초로 상기 신호의 부호화 결과를 복호화할 도메인을 판단하는 단계; 및 상기 정보를 기초로 상기 판단된 도메인에서 상기 신호의 부호화 결과를 복호화하는 단계를 포함한다.

또한, 상기 다른 과제는 신호의 부호화 결과에 포함된 복수 개의 코덱들간의 상호 운용성을 나타내는 정보를 기초로 상기 신호의 부호화 결과를 복호화할 도메인을 판단하는 단계; 및 상기 정보를 기초로 상기 판단된 도메인에서 상기 신호의 부호화 결과를 복호화하는 단계를 포함하는 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 달성된다.

또한, 상기 다른 과제를 해결하기 위한 본 발명에 따른 신호의 부호화 시스템은 복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 서브 밴드 별로 시간 도메인 중 주파수 도메인 중 어느 하나로 변환하는 도메인 변환부; 상기 정보를 기초로 각 서브 밴드의 신호를 부호화할 도메인을 결정하는 모드 결정부; 시간 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 상기 정보가 나타내는 코덱을 이용하여 시간 도메인에서 부호화하는 시간 도메인 부호화부; 및 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 주파수 도메인에서 부호화하는 주파수 도메인 부호화부를 포함한다.

또한, 상기 다른 과제를 해결하기 위한 본 발명에 따른 신호의 복호화 시스템은 신호의 부호화 결과에 포함된 복수 개의 코덱들간의 상호 운용성을 나타내는 정보를 기초로 상기 신호의 부호화 결과를 복호화할 도메인을 판단하는 모드 판단부; 시간 도메인에서 복호화하는 것으로 판단된 경우 상기 정보가 나타내는 코덱을 이용하여 상기 신호의 부호화 결과를 시간 도메인에서 복호화함으로써 시간 도메인의 신호를 복원하는 시간 도메인 복호화부; 주파수 도메인에서 복호화하는 것으로 판단된 경우 상기 신호의 부호화 결과를 주파수 도메인에서 복호화함으로써 주파수 도메인의 신호를 복원하는 주파수 도메인 복호화부; 및 상기 정보를 기초로 상기 복원된 시간 도메인의 신호 및 상기 복원된 주파수 도메인의 신호를 합성하여 시간 도메인으로 변환하는 도메인 변환부를 포함한다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 상호 운용성을 지원하는 코덱을 개략적 으로 나타내는 개념도이다.

도 1을 참조하면, 상호 운용성을 지원하는 코덱은 부호화부(encoding unit, 10) 및 복호화부(decoding unit, 20)를 포함한다.

부호화부(10)는 부호화기(encoder, 11) 및 다중화부(multiplexing unit, 12)를 포함한다. 부호화기(11)는 오디오/스피치 신호(IN) 및 복수의 코덱들간의 상호 운용성을 나타내는 정보(II, Interoperability Indicator)를 수신하고, 수신한 정보를 기초로 수신한 오디오/스피치 신호를 부호화한다. 다중화부(12)는 부호화기(11)에서 부호화된 결과를 다중화하여 비트스트림으로 출력한다. 다중화부(12)에서 출력된 비트스트림은 채널(30)을 통해 전송되거나 저장부(40)에 저장된다.

복호화부(20)는 역다중화부(demultiplexing unit, 21) 및 복호화기(decoder, 22)를 포함한다. 역다중화부(21)는 채널(30)을 통해 전송되거나 저장부(40)에서 출력된 비트스트림을 역다중화하여 오디오/스피치 신호의 부호화 결과 및 복수의 코덱들간의 상호 운용성을 나타내는 정보(II)를 출력한다. 복호화기(22)는 역다중화부(21)에서 역다중화된 부호화 결과 및 정보(II)를 수신하고, 수신한 정보를 기초로 부호화 결과를 복호화함으로써 오디오/스피치 신호를 복원한다.

이와 같이, 본 발명의 일 실시예에 따른 상호 운용성을 지원하는 코덱은 복수의 코덱들간의 상호 운용성을 나타내는 정보(II)를 별도로 수신함으로써, 복수의 코덱들간의 호환성을 가질 수 있다.

도 2는 본 발명의 일 실시예에 따른 상호 운용성 표시자의 일 예를 나타낸다.

상호 운용성 표시자(Interoperability Indicator)는 복수의 코덱들간의 상호 운용성을 나타내는 정보이다. 여기서, 상호 운용성은 시스템이나 제품이 고객 측의 특별한 노력 없이도 다른 시스템이나 제품과 함께 잘 동작하기 위한 능력으로, 같은 기종 또는 다른 기종의 시스템끼리 상호 간에 통신할 수 있고, 정보 교환이나 일련의 처리를 정확히 실행할 수 있는 것을 말한다.

오디오/스피치 신호를 시간 도메인에서 부호화/복호화하는 코덱은 여러 종류가 있고, 각각의 코덱은 부호화를 수행할 수 있는 대역폭의 크기 또는 비트 레이트(bit rate) 등이 다를 수 있다. 그 결과, 오디오/스피치 신호를 시간 도메인에서 부호화/복호화하는 코덱의 종류에 따라 오디오/스피치 신호의 부호화/복호화 시스템의 전체적인 동작이 다를 수 있다. 따라서, 시간 도메인에서 부호화/복호화하는 복수의 코덱들간의 상호 운용성을 지원하기 위하여 오디오/스피치 신호의 부호화/복호화 시스템에서 상호 운용성을 나타내는 정보인 상호 운용성 표시자를 이용할 필요가 있다.

도 2를 참조하면, 상호 운용성 표시자는 시간 도메인에서 부호화/복호화하는 복수의 코덱들간의 상호 운용성을 지원하는지 여부, 오디오/스피치 신호의 부호화 시스템에서 부호화해야 할 핵심 성분인 저주파수 밴드 신호의 대역폭, 및 오디오/스피치 신호의 부호화 시스템에서 사용될 코덱의 종류 중 적어도 하나를 포함할 수 있다.

예를 들어, 상호 운용성 표시자는 5 비트로 구성될 수 있다. 5 비트 중 최상위 비트는 시간 도메인에서 부호화하는 복수의 코덱들간의 상호 운용성을 지원하는 지 여부에 대한 정보를 나타내고, 두 번째 비트는 저주파수 밴드 신호의 대역폭이 협대역(narrowband) 인지 광대역(wideband)인지 여부에 대한 정보를 나타내고, 하위 비트들은 코덱의 종류에 대한 정보를 나타낼 수 있다. 여기서, 도 2에 도시된 상호 운용성 표시자는 일 예에 불과하며, 다양한 구성을 가질 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.

먼저, 상호 운용성 표시자의 최상위 비트가 '0'인 경우, 복수의 코덱들간의 상호 운용성을 지원하지 않음을 나타내고, 상호 운용성 표시자의 최상위 비트가 '1'인 경우, 복수의 코덱들간의 상호 운용성을 지원함을 나타낸다.

다음으로, 상호 운용성 표시자의 두 번째 비트가 '1'인 경우, 저주파수 밴드 신호는 광대역 코덱을 이용하여 부호화할 수 있음을 나타낸다. 한편, 상호 운용성 표시자의 두 번째 비트가 '0'일 때, 저주파수 밴드 신호는 협대역 코덱을 이용하여 부호화할 수 있음을 나타낸다.

마지막으로, 상호 운용성 표시자의 하위 비트들이 '000'인 경우, 멀티 레이트(multi rate) 코덱을 이용할 수 있음을 나타낸다. 또한, 상호 운용성 표시자의 하위 비트들이 '001'인 경우, 가변 레이트(variable rate) 코덱을 이용할 수 있음을 나타낸다. 또한, 상호 운용성 표시자의 하위 비트들이 '010'인 경우, 스케일러블 레이트(scalable) 코덱을 이용할 수 있음을 나타낸다. 그리고, 상호 운용성 표시자의 하위 비트들이 '011'인 경우, 단일 레이트(single rate) 코덱을 이용할 수 있음을 나타낸다. 이 경우, 저주파수 밴드 신호를 광대역 또는 협대역 코덱을 이용하여 부호화할지에 따라 코덱의 종류가 달라질 수 있다.

도 3은 본 발명의 일 실시예에 따른 오디오/스피치 신호의 부호화 시스템을 나타내는 블록도이다.

도 3을 참조하면, 오디오/스피치 신호의 부호화 시스템은 스테레오 부호화부(stereo encoding unit, 310), 다운믹싱부(down-mixing unit, 320), 고주파수 밴드 부호화부(high frequency band encoding unit, 330), 도메인 변환부(domain conversion unit, 340), 모드 결정부(mode deciding unit, 350), 시간 도메인 부호화부(time domain encoding unit, 360), 주파수 도메인 부호화부(frequency domain encoding unit, 370), 및 다중화부(multiplexing unit, 380)를 포함한다.

스테레오 부호화부(310)는 입력 신호(IN) 및 상호 운용성 표시자(II)를 수신하고, 수신한 입력 신호(IN)에서 채널 간의 특성 관계를 나타내는 스테레오 파라미터를 추출하여 부호화한다. 여기서, 입력 신호(IN)는 스피치 신호, 오디오 신호, 또는 스피치와 오디오가 혼합된 신호일 수 있다.

다운믹싱부(320)는 스테레오 부호화부(310)에서 스테레오 파라미터가 추출된 입력 신호를 다운믹싱(down-mixing)하여 모노 신호를 출력한다. 여기서, 다운믹싱은 두 채널 이상의 스테레오 신호로부터 한 채널의 모노 신호를 생성하는 것이며, 다운믹싱을 통하여 부호화에 할당되는 비트량을 줄일 수 있다. 여기서, 모노 신호는 스테레오 신호를 대표하는 신호일 수 있다. 다시 말해, 부호화단에서 스테레오 신호에 포함된 좌채널 신호 및 우채널 신호 각각을 부호화하지 않고, 대표적으로 모노 신호만을 부호화하여 전송할 수 있다.

고주파수 밴드 부호화부(330)는 상호 운용성 표시자(II)를 참조하여 다운믹 싱부(320)에서 다운믹싱된 모노 신호 중 소정의 주파수 이상에 해당하는 고주파수 밴드 신호에 대한 파라미터를 부호화한다.

도 4는 도 3에 포함된 고주파수 밴드 부호화부를 상세하게 나타내는 블록도이다.

이하에서는 도 3 및 4를 참조하여 고주파수 밴드 부호화부의 동작을 살펴보기로 한다. 고주파수 밴드 부호화부(330)는 코어 대역폭 결정부(core bandwidth determining unit, 331), 고주파수 대역폭 결정부(high frequency bandwidth determining unit, 332), 고주파수 밴드 분석부(high frequency band analysis unit, 333), 및 고주파수 밴드 부호화부(high frequency band encoding unit, 334)를 포함한다.

코어 대역폭 결정부(331)는 상호 운용성 표시자(II)를 참조하여 다운믹싱된 모노 신호 중 부호화해야 할 핵심 성분인 저주파수 밴드 신호의 대역폭이 협대역인지 광대역인지 결정한다. 예를 들어, 도 2의 상호 운용성 표시자의 두 번째 비트가 '1'인 경우 저주파수 밴드 신호의 대역폭은 광대역이고, '0'인 경우 저주파수 밴드 신호의 대역폭은 협대역일 수 있다.

고주파수 대역폭 결정부(332)는 코어 대역폭 결정부(331)에서 결정된 저주파수 밴드 대역폭에 따라, 즉, 저주파수 밴드 신호의 부호화에 사용되는 코덱이 광대역 코덱인지 또는 협대역 코덱인지에 따라 고주파수 대역폭을 결정한다. 보다 상세하게는, 다운믹싱된 모노 신호가 20 Hz에서 20 kHz까지인 경우, 저주파수 밴드 신호를 광대역 코덱을 이용하여 부호화할 경우, 예를 들어, 저주파수 밴드 신호의 대 역폭은 6 kHz까지 일 수 있는바, 고주파수 대역폭 결정부(332)는 고주파수 대역폭을 6 kHz부터 20 kHz로 결정한다. 한편, 저주파수 밴드 신호를 협대역 코덱을 이용하여 부호화할 경우, 예를 들어, 저주파수 밴드 신호의 대역폭이 3.4 kHz까지 일 수 있는바, 고주파수 대역폭 결정부(332)는 고주파수 대역폭을 3.4 kHz부터 20 kHz로 결정한다.

고주파수 밴드 분석부(333)는 고주파수 대역폭 결정부(332)에서 결정된 대역폭에 해당하는 고주파수 밴드를 분석한다.

고주파수 밴드 부호화부(334)는 고주파수 밴드 분석부(333)의 분석 결과를 기초로 고주파수 밴드 신호에 대한 파라미터를 부호화한다. 예를 들어, 고주파수 밴드 부호화부(334)는 고주파수와 저주파수 밴드 사이에 높은 연관성이 존재하는 오디오/스피치 신호의 특성에 기초하여, 고주파수 밴드 성분을 나타내는 파라미터를 부호화할 수 있다. 이로써, 복호화단에서는 부호화된 파라미터 및 저주파수 밴드의 신호를 이용하여 고주파수 밴드의 성분을 추정할 수 있다.

다시 도 3을 참조하면, 도메인 변환부(340)는 다운믹싱부(320)에서 다운믹싱된 신호를 서브 밴드 별로 시간 도메인 및 주파수 도메인 중 어느 하나로 변환한다. 예를 들어, 도메인 변환부(340)는 FV-MLT(Frequency Varying Modulated Lapped Transform)을 수행하여 다운믹싱된 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환한다. 다시 말해, 도메인 변환부(340)는 모든 주파수 밴드의 신호를 일정하게 시간 도메인 또는 주파수 도메인으로 변환하는 것이 아니라, 모드 결정부(350)의 결정 결과에 따라서 주파수 밴드 별로 시간 도메인 또는 주파수 도 메인으로 변환할 수 있다.

보다 상세하게는, 도메인 변환부(340)는 변환부(341) 및 역변환부(342)를 포함한다. 변환부(341)는 다운믹싱된 신호를 서브 밴드 별로 주파수 도메인으로 변환한다. 예를 들어, 변환부(341)는 MDCT(Modified Discrete Cosine Transform) 및 MDST(Modified Discrete Sine Transform)를 수행하여 다운믹싱된 신호를 서브 밴드 별로 주파수 도메인으로 변환할 수 있다. 구체적으로, 변환부(341)는 다운믹싱된 신호를 MDCT에 의해 주파수 도메인으로 변환하여 실수부로 표현하고, MDST에 의해 주파수 도메인으로 변환하여 허수부로 표현할 수 있다. 역변환부(342)는 변환부(341)에서 주파수 도메인으로 변환된 신호 중 소정 주파수 밴드의 신호를 시간 도메인으로 역변환한다. 예를 들어, 역변환부(342)는 소정의 주파수 밴드의 신호에 대하여 IMDCT(Inverse MDCT)를 수행하여 소정의 주파수 밴드의 신호를 시간 도메인으로 역변환할 수 있다. 역변환부(342)의 구체적인 동작에 대하여 도 6을 참조하여 후술하기로 한다.

모드 결정부(350)는 다운믹싱부(320)에서 다운믹싱된 신호를 기 설정된 기준에 따라서 각 서브 밴드에 대하여 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다. 보다 상세하게는, 모드 결정부(350)는 다운믹싱된 신호를 제로 크로싱 레이트(zero crossing rate) 방법, 에너지 측정 방법, 피치 변화량 측정 방법 등을 이용하여 각 서브 밴드에 대하여 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정할 수 있다.

도 5은 도 3에 포함된 모드 결정부를 상세하게 나타내는 블록도이다.

이하에서는, 도 3 및 5를 참조하여, 모드 결정부의 동작을 상세하게 살펴보기로 한다. 모드 결정부(350)는 상호 운용성 표시자 확인부(Interoperability Indicator Confirming Unit, 351), 신호 분석부(Signal Analysis Unit, 352), 파라미터 추출부(Parameter Extraction Unit, 353), 및 모드 판단부(Mode Determining Unit, 354)를 포함한다.

상호 운용성 표시자 확인부(351)는 상호 운용성 표시자(II)를 참조하여 다운믹싱된 신호를 시간 도메인에서 부호화할지 여부를 결정한다. 구체적으로, 상호 운용성 표시자 확인부(351)는 상호 운용성 표시자의 확인 결과, 시간 도메인에서의 복수의 스피치 코덱들간의 상호 운용성을 지원하는 경우(예를 들어, 상호 운용성 표시자의 최상위 비트가 '1'의 값을 가질 경우), 다운믹싱된 신호를 시간 도메인에서 부호화할 것으로 결정한다. 따라서, 이 경우 모드 결정부(350)는 다운믹싱된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호활지 여부를 판단하는 추가적인 과정을 수행하지 않아도 되므로, 복잡도를 낮출 수 있다.

한편, 상호 운용성 표시자 확인부(351)가 상호 운용성 표시자를 확인한 결과, 시간 도메인에서의 복수의 스피치 코덱들간의 상호 운용성을 지원하지 않는 경우에는 모드 결정부(350)는 후술된 바와 같이, 신호 분석부(352), 파라미터 추출부(353), 및 모드 판단부(354)를 이용하여 다운믹싱된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 결정한다.

신호 분석부(352)는 상호 운용성 표시자 확인부(351)의 확인 결과, 시간 도메인에서의 복수의 스피치 코덱들간의 상호 운용성을 지원하지 않을 경우(예를 들 어, 상호 운용성 표시자의 최상위 비트가 '0'의 값을 가질 경우), 다운믹싱된 신호를 분석하고, 분석한 결과를 파라미터 추출부(353)로 제공한다.

파라미터 추출부(353)는 신호 분석부(352)에서 분석한 결과로부터 부호화의 모드를 결정하기 위한 파라미터를 추출한다. 예를 들어, 파라미터 추출부(353)는 신호가 영점을 기준으로 얼마나 위아래로 움직이는 가를 나타내는 비율인 제로 크로싱 레이트(zero crossing rate)를 구하기 위한 파라미터를 추출할 수 있다. 또 다른 예를 들어, 파라미터 추출부(353)는 신호의 에너지 레벨을 구하기 위한 파라미터를 추출할 수 있다. 또 다른 예를 들어, 파라미터 추출부(353)는 신호의 피치 변화량을 구하기 위한 파라미터를 추출할 수 있다.

모드 판단부(354)는 파라미터 추출부(353)에서 추출된 파라미터를 기초로 다운믹싱된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 판단한다.

예를 들어, 파라미터 추출부(353)에서 제로 크로싱 레이트를 구하기 위한 파라미터를 추출한 경우, 무성음은 제로 크로싱 레이트가 높고, 유성음은 제로 크로싱 레이트가 낮으므로, 모드 판단부(354)는 제로 크로싱 레이트가 높은 경우에는 주파수 도메인에서 부호화하고, 제로 크로싱 레이트가 낮은 경우에는 시간 도메인에서 부호화하도록 결정할 수 있다.

또 다른 예를 들어, 파라미터 추출부(353)에서 신호의 에너지 레벨을 구하기 위한 파라미터를 추출한 경우, 무성음은 에너지가 낮고, 유성음은 에너지가 높으므로, 모드 판단부(354)는 신호의 에너지 레벨이 낮은 경우 주파수 도메인에서 부호 화하고, 신호의 에너지 레벨이 높은 경우 시간 도메인에서 부호화하도록 결정할 수 있다.

또 다른 예를 들어, 파라미터 추출부(353)에서 신호의 피치 변화량을 구하기 위한 파라미터를 추출한 경우, 무성음은 피치 변화량이 많고, 유성음은 피치 변화량이 적으므로, 모드 판단부(354)는 피치 변화량이 많은 경우 주파수 도메인에서 부호화하고, 피치 변화량이 적은 경우 시간 도메인에서 부호화하도록 결정할 수 있다.

본 발명의 일 실시예에서는 시간 도메인에서 부호화를 수행하는 스피치 코덱들간의 상호 운용성을 지원하는지 여부에 따라 모드 결정부(350)의 동작을 설명했지만, 본 발명의 다른 실시예에서는 오디오 코덱들간의 상호 운용성을 지원하는지 여부에 따라 모드 결정부(350)의 동작이 달라질 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다.

다시 도 3을 참조하면, 각 서브 밴드에 대하여 시간 도메인에서 부호화하는 것으로 결정된 경우에는 모드 결정부(350)에서 출력된 서브 밴드의 신호는 역변환부(342)로 출력된다. 또한, 각 서브 밴드에 대하여 주파수 도메인에서 부호화하는 것으로 결정된 경우에는 모드 결정부(350)에서 출력된 서브 밴드의 신호는 주파수 도메인 부호화부(370)로 출력된다.

역변환부(342)는 모드 결정부(350)에서 시간 도메인에서 부호화하는 것으로 결정된 소정의 서브 밴드의 신호를 시간 도메인으로 역변환한다. 예를 들어, 역변환부(342)는 소정의 서브 밴드의 신호에 대하여 IMDCT를 수행하여 시간 도메인으로 역변환한다.

도 6은 도 3에 포함된 역변환부를 상세하게 나타내는 블록도이다.

이하에서는 도 3 및 6을 참조하여, 역변환부의 동작을 구체적으로 살펴보기로 한다. 역변환부(342)는 대역폭 결정부(3421) 및 IMDCT 수행부(3422)를 포함한다.

대역폭 결정부(3421)는 변환부(341)에서 MDCT가 수행된 결과인 MDCT 계수(coefficients), 모드 결정부(350)에서 결정된 결과 및 상호 운용성 표시자(II)를 제공받는다. 보다 상세하게는, 대역폭 결정부(3421)는 모드 결정부(350)에서 시간 도메인에서 부호화할 것으로 결정된 결과를 제공받은 경우, 상호 운용성 표시자(II)를 참조하여 부호화를 수행해야 하는 코어 레이어(core layer)인 저주파수 밴드 신호의 대역폭(bandwidth)을 결정한다. 예를 들어, 대역폭 결정부(3421)는 저주파수 밴드 신호에 대한 부호화를 수행할 코덱이 광대역(wideband) 코덱인지 협대역(narrowband) 코덱인지에 따라 저주파수 밴드 신호의 대역폭을 결정한다.

IMDCT 수행부(3422)는 변환부(341)에서 MDCT가 수행된 결과인 MDCT 계수 중 대역폭 결정부(3421)에서 결정된 대역폭에 따라 결정된 MDCT 계수에 대하여 IMDCT를 수행하여 시간 도메인으로 역변환한다.

다시 도 3을 참조하면, 시간 도메인 부호화부(360)는 상호 운용성 표시자(II)를 참조하여 결정된 코덱에서 역변환부(342)에서 시간 도메인으로 역변환된 신호를 시간 도메인에서 부호화한다.

도 7은 도 3에 포함된 시간 도메인 부호화부를 상세하게 나타내는 블록도이 다.

이하에서는 도 2, 3 및 7을 참조하여, 시간 도메인 부호화부의 동작을 구체적으로 살펴보기로 한다. 시간 도메인 부호화부(360)는 기본 시간 도메인 부호화부(361), 광대역 코덱들(362), 협대역 코덱들(363)을 포함한다. 여기서, 도 2의 상호 운용성 표시자의 예를 들어서 시간 도메인 부호화부(360)의 동작을 설명하는 것은 설명의 편의를 위한 것에 불과하고, 상호 운용성 표시자는 다양한 값을 가질 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있다.

상호 운용성 표시자가 '0'의 값을 가질 경우에는 다른 코덱들간의 상호 운용성을 지원하지 않을 것을 나타낸다. 이 경우, 시간 도메인 부호화부(360)는 기본 시간 도메인 부호화부(361)에서 부호화를 수행한다.

상호 운용성 표시자가 '11~'의 값을 가질 경우에는 다른 코덱들간의 상호 운용성을 지원하고, 저주파수 밴드 신호를 광대역 코덱에서 부호화하는 것을 나타낸다. 이 경우, 시간 도메인 부호화부(360)는 광대역 코덱들(362) 중 하나를 선택할 수 있다.

보다 상세하게는, 상호 운용성 표시자가 '11000'의 값을 가질 경우, 멀티 레이트 코덱(3621)이 선택될 수 있다. 예를 들어, 멀티 레이트 코덱(3621)은 AMR-WB일 수 있고, 역변환부(342)에서 역변환된 신호는 AMR(Adaptive Multi Rate)-WB를 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '11001'의 값을 가질 경우, 가변 레이트 코덱(3622)이 선택될 수 있다. 예를 들어, 가변 레이트 코덱(3622)은 EVRC-WB일 수 있고, 역변환부(342)에서 역변환된 신호는 EVRC(Enhanced Variable Rate Codec)-WB를 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '11010'의 값을 가질 경우, 스케일러블 레이트 코덱(3623)이 선택될 수 있다. 예를 들어, 스케일러블 레이트 코덱(3623)은 G.729.1일 수 있고, 역변환부(342)에서 역변환된 신호는 G.729.1을 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '11011'의 값을 가질 경우, 단일 레이트 코덱(3624)이 선택될 수 있다. 예를 들어, 단일 레이트 코덱(3624)는 G.722일 수 있고, 역변환부(342)에서 역변환된 신호는 G.722을 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '10~'의 값을 가질 경우에는 다른 코덱들간의 상호 운용성을 지원하고, 저주파수 밴드 신호를 협대역 코덱에서 부호화하는 것을 나타낸다. 이 경우, 시간 도메인 부호화부(360)는 협대역 코덱들(363) 중 하나를 선택할 수 있다.

보다 상세하게는, 상호 운용성 표시자가 '10000'의 값을 가질 경우, 멀티 레이트 코덱(3631)이 선택될 수 있다. 예를 들어, 멀티 레이트 코덱(3631)은 AMR-NB일 수 있고, 역변환부(342)에서 역변환된 신호는 AMR-NB를 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '10001'의 값을 가질 경우, 가변 레이트 코덱(3632)이 선택될 수 있다. 예를 들어, 가변 레이트 코덱(3632)은 EVRC일 수 있고, 역변환 부(342)에서 역변환된 신호는 EVRC를 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '11010'의 값을 가질 경우, 스케일러블 레이트 코덱(3633)이 선택될 수 있다. 예를 들어, 스케일러블 레이트 코덱(3633)은 G.729.1 NB일 수 있고, 역변환부(342)에서 역변환된 신호는 G.729.1 NB을 이용하여 부호화할 수 있다.

상호 운용성 표시자가 '11011'의 값을 가질 경우, 단일 레이트 코덱(3634)이 선택될 수 있다. 예를 들어, 단일 레이트 코덱(3634)는 G.729일 수 있고, 역변환부(342)에서 역변환된 신호는 G.729을 이용하여 부호화할 수 있다.

다시 도 3을 참조하면, 주파수 도메인 부호화부(370)는 모드 결정부(350)에서 주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 주파수 도메인에서 부호화한다.

다중화부(380)는 스테레오 부호화부(310)에서 부호화된 스테레오 파라미터, 고주파수 밴드 부호화부(330)에서 부호화된 고주파수 밴드 신호, 시간 도메인 부호화부(360)에서 부호화된 결과, 및 주파수 도메인 부호화부(370)에서 부호화된 결과를 다중화하여 비트스트림의 형태로 출력한다.

도 8은 도 3의 다중화부에서 출력되는 비트스트림의 일 예를 나타내는 개념도이다.

도 8을 참조하면, 비트스트림은 블록 단위로 전송되는 제1 헤더 정보(HEADER_1), 프레임 단위로 전송되는 제2 헤더 정보(HEADER_2), 제1 데이터(DATA_1), 및 제2 데이터(DATA_2)를 포함할 수 있다. 여기서, 프레임의 오디오 신호의 처리 단위를 나타내고, 소정의 개수의 프레임은 블록을 구성한다.

제1 헤더 정보(HEADER_1)는 오디오 신호의 랜덤 액세스(random access)를 제공하기 위해 매 블록마다 전송된다. 예를 들어, 제1 헤더 정보는 채널 정보, 샘플링 주파수, 한 블록에 포함된 프레임의 개수, 랜덤 액세스 가능한 블록인지에 대한 정보, 저작권 정보, 고정 비트레이트(CBR, Constant Bit Rate)인지 가변 비트레이트(Variable Bit Rate)인지를 나타내는 비트스트림 타입 정보 등을 포함할 수 있다.

제2 헤더 정보(HEADER_2)는 다른 코덱들간의 상호 운용성을 지원하는지 여부를 나타내는 상호 운용성 표시자(Interoperability Indicator), 현재 데이터의 전송률을 나타내는 비트스트림의 길이 정보(Bitstream Length), 시간 도메인에서 부호화되었는지 주파수 도메인에서 부호화되었는지에 대한 정보를 나타내는 모드 정보(Mode Information), 그 외에 필요한 헤더 데이터(others)를 포함할 수 있다.

제1 데이터(DATA_1)는 저주파수 밴드 신호의 부호화에 할당된 N 비트를 나타낸다. 예를 들어, 도 3의 부호화 시스템에서 시간 도메인 부호화부(360) 및 주파수 도메인 부호화부(370)에서 부호화된 결과는 제1 데이터로 비트스트림에 포함될 수 있다.

제2 데이터(DATA_2)는 스테레오 부호화부나 고주파수 밴드 부호화부와 같은 다른 부호화 툴에 할당된 M 비트를 나타낸다. 예를 들어, 도 3의 부호화 시스템에서 스테레오 부호화부(310) 및 고주파수 밴드 부호화부(320)에서 부호화된 결과는 제2 데이터로 비트스트림에 포함될 수 있다.

도 9a 내지 9d는 도 8에 도시된 비트스트림에서 프레임 단위로 전송되는 비트스트림의 예들을 나타내는 도면이다.

도 9a는 기존의 오디오/스피치 신호의 코덱 간의 통신 시 적용되는 비트스트림을 나타낸다. 이 경우, 프레임 단위로 제2 헤더(HEADER_2), 제1 데이터(DATA_1), 및 제2 데이터(DATA_2)를 포함한 비트스트림을 전송할 수 있다.

도 9b는 기존의 오디오/스피치 신호의 코덱 간의 통신 시 적용되는 상호 운용성을 지원하는 비트스트림을 나타낸다. 이 경우, 프레임 단위로 제2 헤더(HEADER_2), 제1 데이터(DATA_1), 및 제2 데이터(DATA_2)를 포함한 비트스트림을 전송할 수 있다. 이 때, 제1 데이터는 다른 코덱들간의 상호 운용성을 지원하는 정보를 포함한다.

도 9c는 일반 코덱 간의 통신 시 적용되는 상호 운용성을 지원하는 비트스트림을 나타낸다. 이 경우, 프레임 단위로 제2 헤더(HEADER_2) 및 제1 데이터(DATA_1)를 포함한 비트스트림을 전송할 수 있다. 이 때, 제1 데이터는 다른 코덱들간의 상호 운용성을 지원하는 정보를 포함한다. 또한, 일반 코덱은 스테레오 부호화부나 고주파수 밴드 부호화부와 같은 별도의 툴을 포함하지 않으므로, 제2 데이터를 포함하지 않는다.

도 9d는 헤더 정보가 필요없는 일반 코덱 간의 통신 시 적용되는 비트스트림을 나타낸다. 이 경우, 제1 데이터(DATA_1)만을 포함한 비트스트림을 전송할 수 있다. 예를 들어, 통신의 대상이 되는 코덱의 종류를 미리 알고 있을 경우, 별도의 헤더 정보를 보내 줄 필요가 없으므로 이 경우에는 제1 데이터만을 포함한 비트스 트림을 전송할 수 있다. 또한, 일반 코덱은 스테레오 부호화부나 고주파수 밴드 부호화부와 같은 별도의 툴을 포함하지 않으므로, 제2 데이터를 포함하지 않는다.

도 10은 본 발명의 일 실시예에 따른 오디오/스피치 신호의 복호화 시스템을 나타내는 블록도이다.

도 10을 참조하면, 오디오/스피치 신호의 복호화 시스템은 역다중화부(demultiplexing unit, 1010), 모드 판단부(mode determining unit, 1020), 시간 도메인 복호화부(time domain decoding unit, 1030), 주파수 도메인 복호화부(1040), 도메인 변환부(domain conversion unit, 1050), 고주파수 밴드 복원부(high frequency band reconstructing unit, 1060), 및 스테레오 복원부(stereo reconstructing unit, 1070)를 포함한다.

역다중화부(1010)는 부호화단으로부터 전송받은 비트스트림을 역다중화하여 저주파수 밴드의 부호화 결과, 고주파수 밴드 신호에 대한 파라미터의 부호화 결과, 스테레오 파라미터의 부호화 결과, 및 상호 운용성 표시자 등을 출력한다.

모드 판단부(1020)는 상호 운용성 표시자(II)를 참조하여 역다중화부(1010)에서 역다중화된 결과로부터 저주파수 밴드의 부호화 결과를 시간 도메인에서 복호화할지 주파수 도메인에서 복호화할지 여부를 판단한다. 보다 상세하게는, 모드 판단부(1020)는 상호 운용성 표시자(II)가 다른 코덱들간의 상호 운용성을 지원하는 것을 나타내는 경우에는 저주파수 밴드의 부호화 결과를 시간 도메인에서 복호화할 것으로 판단한다. 한편, 모드 판단부(1020)는 상호 운용성 표시자(II)가 다른 코덱들간의 상호 운용성을 지원하지 않는 것을 나타내는 경우에는 저주파수 밴드의 부 호화 결과를 시간 도메인에서 복호화할지 주파수 도메인에서 복호화할지 여부를 기존의 방식대로 판단한다.

시간 도메인 복호화부(1030)는 모드 판단부(1020)에서 시간 도메인에서 복호화할 것으로 판단된 경우, 상호 운용성 표시자(II)를 참조하여 저주파수 밴드의 부호화 결과를 시간 도메인에서 복호화한다. 보다 상세하게는, 시간 도메인 복호화부(1030)는 상호 운용성 표시자(II)를 참조하여 결정된 코덱에서 저주파수 밴드의 부호화 결과를 시간 도메인에서 복호화한다.

도 11은 도 10에 포함된 시간 도메인 복호화부를 상세하게 나타내는 블록도이다.

이하에서는 도 2, 10 및 11을 참조하여, 시간 도메인 복호화부의 동작을 구체적으로 살펴보기로 한다. 시간 도메인 복호화부(1030)는 기본 시간 도메인 복호화부(1031), 광대역 코덱들(1032), 협대역 코덱들(1033)을 포함한다. 여기서, 도 2의 상호 운용성 표시자의 예를 들어서 시간 도메인 복호화부(1030)의 동작을 설명하는 것은 설명의 편의를 위한 것에 불과하고, 상호 운용성 표시자는 다양한 값을 가질 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있다.

상호 운용성 표시자가 '0'의 값을 가질 경우에는 다른 코덱들간의 상호 운용성을 지원하지 않을 것을 나타낸다. 이 경우, 시간 도메인 복호화부(1030)는 기본 시간 도메인 복호화부(1031)에서 복호화를 수행한다.

상호 운용성 표시자가 '11~'의 값을 가질 경우에는 다른 코덱들간의 상호 운 용성을 지원하고, 저주파수 밴드 신호를 광대역 코덱에서 복호화하는 것을 나타낸다. 이 경우, 시간 도메인 복호화부(1030)는 광대역 코덱들(1032) 중 하나를 선택할 수 있다.

보다 상세하게는, 상호 운용성 표시자가 '11000'의 값을 가질 경우, 멀티 레이트 코덱(10321)이 선택될 수 있다. 예를 들어, 멀티 레이트 코덱(10321)은 AMR-WB일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 AMR-WB를 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '11001'의 값을 가질 경우, 가변 레이트 코덱(10322)이 선택될 수 있다. 예를 들어, 가변 레이트 코덱(10322)은 EVRC-WB일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 EVRC-WB를 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '11010'의 값을 가질 경우, 스케일러블 레이트 코덱(10323)이 선택될 수 있다. 예를 들어, 스케일러블 레이트 코덱(10323)은 G.729.1일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 G.729.1을 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '11011'의 값을 가질 경우, 단일 레이트 코덱(10324)이 선택될 수 있다. 예를 들어, 단일 레이트 코덱(10324)는 G.722일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 G.722을 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '10~'의 값을 가질 경우에는 다른 코덱들간의 상호 운 용성을 지원하고, 저주파수 밴드 신호를 협대역 코덱에서 복호화하는 것을 나타낸다. 이 경우, 시간 도메인 복호화부(1030)는 협대역 코덱들(1033) 중 하나를 선택할 수 있다.

보다 상세하게는, 상호 운용성 표시자가 '10000'의 값을 가질 경우, 멀티 레이트 코덱(10331)이 선택될 수 있다. 예를 들어, 멀티 레이트 코덱(10331)은 AMR-NB일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는AMR-NB를 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '10001'의 값을 가질 경우, 가변 레이트 코덱(10332)이 선택될 수 있다. 예를 들어, 가변 레이트 코덱(10332)은 EVRC일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 EVRC를 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '11010'의 값을 가질 경우, 스케일러블 레이트 코덱(10333)이 선택될 수 있다. 예를 들어, 스케일러블 레이트 코덱(10333)은 G.729.1 NB일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 G.729.1 NB을 이용하여 복호화할 수 있다.

상호 운용성 표시자가 '11011'의 값을 가질 경우, 단일 레이트 코덱(10334)이 선택될 수 있다. 예를 들어, 단일 레이트 코덱(10334)는 G.729일 수 있고, 모드 판단부(1020)에서 시간 도메인에서 복호화하는 것으로 판단된 신호는 G.729을 이용하여 복호화할 수 있다.

다시 도 10을 참조하면, 주파수 도메인 복호화부(1040)은 모드 판단부(1020) 에서 주파수 도메인에서 복호화할 것으로 판단된 신호를 주파수 도메인에서 복호화한다.

도메인 변환부(1050)는 시간 도메인 복호화부(1030) 및 주파수 도메인 복호화부(1040)에서 복호화된 결과에 대하여 시간 도메인 또는 주파수 도메인으로 변환한다. 예를 들어, 도메인 변환부(1050)는 FV-MLT를 적용하여 시간 도메인 복호화부(1030) 및 주파수 도메인 복호화부(1040)에서 복호화된 결과에 대하여 시간 도메인 또는 주파수 도메인으로 변환한다. 여기서, 도메인 변환부(1050)는 시간 변환부(1051) 및 역변환부(1052)를 포함한다.

변환부(1051)는 상호 운용성 표시자(II)를 참조하여 시간 도메인 복호화부(1030)에서 복원된 결과를 주파수 도메인으로 변환한다. 예를 들어, 변환부(1051)은 상호 운용성 표시자(II)를 참조하여 시간 도메인 복호화부(1030)에서 복원된 결과에 대하여 MDCT를 수행하여 시간 도메인에서 주파수 도메인으로 변환할 수 있다. 보다 상세하게는, 변환부(1051)는 상호 운용성 표시자(II)를 참조하여 저주파수 밴드 신호의 대역폭에 해당하는 서브 밴드에 대해서 MDCT를 수행한다.

역변환부(1052)는 변환부(1051)에서 주파수 도메인으로 변환된 신호 및 주파수 도메인 복호화부(1040)에서 복호화된 결과를 시간 도메인으로 역변환한다. 예를 들어, 역변환부(1052)는 변환부(1051)에서 주파수 도메인으로 변환된 신호 및 주파수 도메인 복호화부(1040)에서 복호화된 결과에 대하여 IMDCT를 수행하여 시간 도메인으로 역변환한다.

고주파수 밴드 복원부(1060)는 역다중화부(1010)에서 역다중화된 고주파수 밴드 신호에 대한 파라미터의 부호화 결과를 복호화하고, 상호 운용성 표시자(II)를 참조하여 역변환부(1052)에서 시간 도메인으로 역변환된 신호로부터 고주파수 밴드 성분을 추정하여 전대역의 신호를 복원한다. 보다 상세하게는, 고주파수 밴드 복원부(1060)는 신호의 저주파수 밴드와 고주파수 밴드 사이에는 높은 연관성이 존재하는 가정에 기반을 두고, 역변환부(1052)에서 시간 도메인으로 역변환된 신호로부터 고주파수 밴드 성분을 추정한다.

스테레오 복원부(1070)는 역다중화부(1010)에서 역다중화된 스테레오 파라미터의 부호화 결과를 복호화하고, 복호화된 스테레오 파라미터를 이용하여 고주파수 밴드 복원부(1060)에서 복원된 신호를 업믹싱하여 스테레오 신호를 출력한다.

도 12는 본 발명의 일 실시예에 따른 오디오/스피치 신호의 부호화 방법을 나타내는 흐름도이다.

도 12을 참조하면, 본 실시예에 오디오/스피치 신호의 부호화 방법은 도 3에 도시된 오디오/스피치 신호의 부호화 시스템에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 3에 도시된 오디오/스피치 신호의 부호화 시스템에 관하여 이상에서 기술된 내용은 본 실시예에 오디오/스피치 신호의 부호화 방법에도 적용된다.

1200 단계에서, 모드 결정부(350)는 상호 운용성에 대한 명령이나 요청을 나타내는 상호 운용성 표시자를 확인한다.

1210 단계에서, 모드 결정부(350)는 상호 운용성 표시자가 상호 운용성 모드를 사용하는지 판단한다. 다시 말해, 모드 결정부(350)는 상호 운용성 표시자가 상 호 운용성 모드를 지원하는지 판단한다. 판단 결과, 상호 운용성 표시자가 상호 운용성 모드를 지원하는 경우 1220 단계를 수행하고, 지원하지 않는 경우 1270 단계를 수행한다.

1220 단계에서, 모드 결정부(350)는 상호 운용성 표시자가 상호 운용성 모드를 지원하는 경우 부호화 도메인을 시간 도메인으로 설정한다.

1230 단계에서, 상호 운용성 표시자를 확인하여 부호화를 수행할 코덱의 종류를 선택한다. 예를 들어, 광대역 코덱 또는 협대역 코덱을 선택한다.

1240 단계에서, 부호화를 수행할 코어 레이어인 저주파수 밴드 신호의 부호화 대역폭을 선택한다. 예를 들어, 상호 운용성 표시자의 확인 결과, 저주파수 밴드 신호를 광대역 코덱으로 부호화할 경우에는 저주파수 밴드 신호의 부호화 대역폭은 20 Hz에서 6 kHz까지 일 수 있고, 저주파수 밴드 신호를 협대역 코덱으로 부호화할 경우에는 저주파수 밴드 신호의 부호화 대역폭은 20 Hz에서 3.5 kHz까지 일 수 있다.

1250 단계에서, 저주파수 밴드 신호의 부호화 대역폭을 기초로 부호화할 고주파수 대역폭을 선택한다. 예를 들어, 상호 운용성 표시자의 확인 결과, 저주파수 밴드 신호를 광대역 코덱으로 부호화할 경우에는 고주파수 대역폭은 6 kHz에서 20 kHz까지 일 수 있고, 저주파수 밴드 신호를 협대역 코덱으로 부호화할 경우에는 고주파수 대역폭은 3.5 kHz에서 20 kHz까지 일 수 있다.

1260 단계에서, 상호 운용성 표시자에 따라 선택된 코덱을 이용하여 부호화를 수행한다. 예를 들어, 상호 운용성 표시자의 확인 결과, AMR-WB가 선택된 경우 에는 저주파수 밴드 신호를 AMR-WB를 이용하여 부호화를 수행한다.

1270 단계에서, 상호 운용성 표시자가 상호 운용성 모드를 지원하지 않는 경우 종래의 방법에 따른 부호화를 수행한다. 보다 상세하게는, 상호 운용성 표시자가 상호 운용성 모드를 지원하지 않는 경우, 입력된 신호의 특성에 따라 시간 도메인 또는 주파수 도메인에서 부호화된다.

1280 단계에서, 프레임의 끝인지 확인한다. 확인 결과, 모든 프레임에 대한 부호화가 끝난 경우에는 종료되고, 그렇지 않은 경우 다음 프레임에 대한 상호 운용성 모드 지원 여부를 확인하고, 모든 프레임에 대한 부호화가 끝날 때까지 1210 단계부터 1270 단계를 반복한다.

도 13은 본 발명의 일 실시예에 따른 오디오/스피치 신호의 복호화 방법을 나타내는 흐름도이다.

도 13을 참조하면, 본 실시예에 오디오/스피치 신호의 복호화 방법은 도 10에 도시된 오디오/스피치 신호의 복호화 시스템에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 10에 도시된 오디오/스피치 신호의 복호화 시스템에 관하여 이상에서 기술된 내용은 본 실시예에 오디오/스피치 신호의 복호화 방법에도 적용된다.

1300 단계에서, 모드 판단부(1020)는 상호 운용성 표시자를 확인한다.

1310 단계에서, 모드 판단부(1020)는 상호 운용성 표시자가 상호 운용성 모드를 사용하는지 판단한다. 다시 말해, 모드 판단부(1020)는 상호 운용성 표시자가 상호 운용성 모드를 지원하는지 판단한다. 판단 결과, 상호 운용성 표시자가 상호 운용성 모드를 지원하는 경우 1320 단계를 수행하고, 그렇지 않은 경우 1370 단계를 수행한다.

1320 단계에서, 모드 판단부(1020)는 상호 운용성 표시자가 상호 운용성 모드를 지원하는 경우 복호화 도메인을 시간 도메인으로 설정한다.

1330 단계에서, 상호 운용성 표시자를 확인하여 복호화를 수행할 코덱의 종류를 선택한다. 예를 들어, 광대역 코덱 또는 협대역 코덱을 선택한다.

1340 단계에서, 복호화를 수행할 코어 레이어인 저주파수 밴드 신호의 복호화 대역폭을 선택한다. 예를 들어, 상호 운용성 표시자의 확인 결과, 저주파수 밴드 신호를 광대역 코덱으로 복호화할 경우에는 저주파수 밴드 신호의 복호화 대역폭은 20 Hz에서 6 kHz까지 일 수 있고, 저주파수 밴드 신호를 협대역 코덱으로 복호화할 경우에는 저주파수 밴드 신호의 복호화 대역폭은 20 Hz에서 3.5 kHz까지 일 수 있다.

1350 단계에서, 저주파수 밴드 신호의 복호화 대역폭을 기초로 부호화할 고주파수 대역폭을 선택한다. 예를 들어, 상호 운용성 표시자의 확인 결과, 저주파수 밴드 신호를 광대역 코덱으로 복호화할 경우에는 고주파수 대역폭은 6 kHz에서 20 kHz까지 일 수 있고, 저주파수 밴드 신호를 협대역 코덱으로 복호화할 경우에는 고주파수 대역폭은 3.5 kHz에서 20 kHz까지 일 수 있다.

1360 단계에서, 상호 운용성 표시자에 따라 선택된 코덱을 이용하여 복호화를 수행한다. 예를 들어, 상호 운용성 표시자의 확인 결과, AMR-WB가 선택된 경우에는 저주파수 밴드 신호를 AMR-WB를 이용하여 복호화를 수행한다.

1370 단계에서, 상호 운용성 표시자가 상호 운용성 모드를 지원하지 않는 경우 종래의 방법에 따른 복호화를 수행한다. 보다 상세하게는, 상호 운용성 표시자가 상호 운용성 모드를 지원하지 않는 경우, 입력된 비트스트림을 확인하여 시간 도메인 또는 주파수 도메인에서 복호화한다.

1380 단계에서, 프레임의 끝인지 확인한다. 확인 결과, 모든 프레임에 대한 복호화가 끝난 경우에는 종료되고, 그렇지 않은 경우 다음 프레임에 대한 상호 운용성 모드 지원 여부를 확인하고, 모든 프레임에 대한 복호화가 끝날 때까지 1310 단계부터 1370 단계를 반복한다.

도 14는 본 발명의 일 실시예에 따른 상호 운용 가능한 오디오/스피치 신호의 부호화 장치 및 복호화 장치를 포함하는 시스템의 일 예 나타낸다.

도 14를 참조하면, 도 14의 시스템은 네트워크 측의 TRAU(Transcoding Rate and Adaptation Unit, 1410), 기지국(base transceiver station, 1420), 및 단말기(mobile station, 1430)를 포함하고, GSM(Global System for Mobile Communication)에서 사용될 수 있다. GSM은 유럽 및 기타 지역에서 광범위하게 사용되는 디지털 이동전화 시스템이다.

여기서, 다운링크는 기지국(1420)에서 단말기(1430)로의 전송 경로로서 도 14에서 점선 화살표로 표시되었고, 업링크는 단말기(1430)에서 기지국(1420) 방향으로의 전송 경로로서 도 14에서 실선 화살표로 표시되었다.

인터오퍼러블 스피치 부호화부(Interoperable Speech Encoding Unit, ISPE)는 본 발명의 일 실시예에 따른 상호 운용성을 지원하는 스피치 신호의 부호화부이 다. 또한, 인터오퍼러블 스피치 복호화부(Interoperable Speech Decoding Unit, ISPD)는 본 발명의 일 실시예에 다른 상호 운용성을 지원하는 스피치 신호의 복호화부이다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

도 1은 본 발명의 일 실시예에 따른 상호 운용 가능한 코덱을 개략적으로 나타내는 개념도이다.

도 7은 도 3에 포함된 시간 도메인 부호화부를 상세하게 나타내는 블록도이다.

도 11은 도 10에 포함된 시간 도메인 복호화부를 상세하게 나타내는 블록도 이다.

Claims

복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 부호화할 도메인을 결정하는 단계; 및

상기 정보를 기초로 상기 결정된 도메인에서 상기 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는 신호의 부호화 방법.
제1항에 있어서,

상기 정보를 기초로 상기 신호를 서브 밴드 별로 시간 도메인 및 주파수 도메인 중 어느 하나로 변환하는 단계를 더 포함하고,

상기 도메인을 결정하는 단계는 각 서브 밴드의 신호를 부호화할 도메인을 결정하는 것을 특징으로 하는 신호의 부호화 방법.
제2항에 있어서,

상기 정보를 기초로 상기 신호를 서브 밴드 별로 시간 도메인 및 주파수 도메인 중 어느 하나로 변환하는 단계는

상기 정보에 포함된 시간 도메인에서 부호화할 대역폭의 크기에 따라 선택된 서브 밴드를 시간 도메인으로 역변환하는 것을 특징으로 하는 신호의 부호화 방법.
제2항에 있어서,

상기 도메인을 결정하는 단계는

상기 정보가 상기 복수 개의 코덱들간의 상호 운용성을 지원하는 것을 나타내는 경우에는 각 서브 밴드의 신호를 시간 도메인에서 부호화할 것으로 결정하는 것을 특징으로 하는 신호의 부호화 방법.
제2항에 있어서,

상기 신호를 부호화하는 단계는

시간 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 상기 정보가 나타내는 코덱을 이용하여 시간 도메인에서 부호화하는 단계; 및

주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 주파수 도메인에서 부호화하는 단계를 포함하는 것을 특징으로 하는 신호의 부호화 방법.
제5항에 있어서,

상기 신호의 채널 간의 특성 관계를 나타내는 스테레오 파라미터를 추출하여 부호화하는 단계; 및

상기 스테레오 파라미터가 추출된 신호를 다운믹싱하여 모노 신호를 출력하는 단계를 더 포함하고,

상기 정보를 기초로 상기 신호를 서브 밴드 별로 시간 도메인 및 주파수 도메인 중 하나로 변환하는 단계는

상기 정보를 기초로 상기 다운믹싱된 모노 신호를 서브 밴드 별로 시간 도메 인 또는 주파수 도메인으로 변환하는 것을 특징으로 하는 신호의 부호화 방법.
제6항에 있어서,

상기 다운믹싱된 모노 신호에서 상기 정보를 기초로 대역폭이 결정된 소정의 주파수 이상의 고주파수 밴드 신호에 대한 파라미터를 부호화하는 단계를 더 포함하는 것을 특징으로 하는 신호의 부호화 방법.
제5항에 있어서,

매 프레임마다 상기 정보, 및 상기 시간 도메인에서 부호화된 결과 또는 상기 주파수 도메인에서 부호화된 결과를 비트스트림의 형태로 출력하는 단계를 더 포함하는 것을 특징으로 하는 신호의 부호화 방법.
복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 부호화할 도메인을 결정하는 단계; 및

상기 정보를 기초로 상기 결정된 도메인에서 상기 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는 신호의 부호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
신호의 부호화 결과에 포함된 복수 개의 코덱들간의 상호 운용성을 나타내는 정보를 기초로 상기 신호의 부호화 결과를 복호화할 도메인을 판단하는 단계; 및

상기 정보를 기초로 상기 판단된 도메인에서 상기 신호의 부호화 결과를 복호화하는 단계를 포함하는 것을 특징으로 하는 신호의 복호화 방법.
제10항에 있어서,

상기 도메인을 판단하는 단계는

상기 정보가 상기 복수 개의 코덱들간의 상호 운용성을 지원하는 것을 나타내는 경우에는 상기 신호의 부호화 결과를 시간 도메인에서 복호화할 것으로 판단하는 것을 특징으로 하는 신호의 복호화 방법.
제10항에 있어서,

상기 신호의 부호화 결과를 복호화하는 단계는

시간 도메인에서 복호화하는 것으로 판단된 경우 상기 정보가 나타내는 코덱을 이용하여 상기 신호의 부호화 결과를 시간 도메인에서 복호화함으로써 시간 도메인의 신호를 복원하는 단계; 및

주파수 도메인에서 복호화하는 것으로 판단된 경우 상기 신호의 부호화 결과를 주파수 도메인에서 복호화함으로써 주파수 도메인의 신호를 복원하는 단계를 포함하는 것을 특징으로 하는 신호의 복호화 방법.
제12항에 있어서,

상기 정보를 기초로 상기 복원된 시간 도메인 및 주파수 도메인의 신호를 합 성하여 시간 도메인으로 변환하는 단계를 포함하는 것을 특징으로 하는 신호의 복호화 방법.
제13항에 있어서,

상기 정보를 기초로 상기 복원된 시간 도메인 및 주파수 도메인의 신호를 합성하여 시간 도메인으로 변환하는 단계는

상기 정보에 포함된 시간 도메인에서 복호화할 대역폭의 크기에 따라 선택된 서브 밴드를 주파수 도메인으로 변환하는 단계; 및

상기 역변환된 신호 및 상기 주파수 도메인의 신호를 합성하여 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 하는 신호의 복호화 방법.
제13항에 있어서,

상기 신호의 부호화 결과에 포함된 고주파수 밴드 파라미터를 상기 정보를 기초로 복호화하고, 복호화된 파라미터 및 상기 시간 도메인으로 변환된 신호를 이용하여 전대역의 신호를 복원하는 단계를 더 포함하는 것을 특징으로 하는 신호의 복호화 방법.
제15항에 있어서,

상기 신호의 부호화 결과에 포함된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복원된 전대역의 신호로부터 스테레 오 신호를 복원하는 단계를 더 포함하는 것을 특징으로 하는 신호의 복호화 방법.
신호의 부호화 결과에 포함된 복수 개의 코덱들간의 상호 운용성을 나타내는 정보를 기초로 상기 신호의 부호화 결과를 복호화할 도메인을 판단하는 단계; 및

상기 정보를 기초로 상기 판단된 도메인에서 상기 신호의 부호화 결과를 복호화하는 단계를 포함하는 것을 특징으로 하는 신호의 복호화 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
복수 개의 코덱들간의 상호 운용성(interoperability)을 나타내는 정보를 기초로 신호를 서브 밴드 별로 시간 도메인 중 주파수 도메인 중 어느 하나로 변환하는 도메인 변환부;

상기 정보를 기초로 각 서브 밴드의 신호를 부호화할 도메인을 결정하는 모드 결정부;

시간 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 상기 정보가 나타내는 코덱을 이용하여 시간 도메인에서 부호화하는 시간 도메인 부호화부; 및

주파수 도메인에서 부호화하는 것으로 결정된 서브 밴드의 신호를 주파수 도메인에서 부호화하는 주파수 도메인 부호화부를 포함하는 것을 특징으로 하는 신호의 부호화 시스템.
제18항에 있어서,

상기 정보는 상기 복수 개의 코덱들간의 상호 운용성을 지원하는지 여부, 상기 시간 도메인에서 부호화할 대역폭의 크기, 및 상기 코덱의 종류 중 적어도 하나를 포함하는 것을 특징으로 하는 신호의 부호화 시스템.
제18항에 있어서,

상기 신호의 채널 간의 특성 관계를 나타내는 스테레오 파라미터를 추출하여 부호화하는 스테레오 부호화부; 및

상기 스테레오 파라미터가 추출된 신호를 다운믹싱하여 모노 신호를 출력하는 다운믹싱부를 더 포함하고,

상기 도메인 변환부는 상기 정보를 기초로 상기 다운믹싱된 모노 신호를 서브 밴드 별로 시간 도메인 또는 주파수 도메인으로 변환하는 것을 특징으로 하는 신호의 부호화 시스템.
제20항에 있어서,

상기 다운믹싱된 모노 신호에서 상기 정보를 기초로 대역폭이 결정된 소정의 주파수 이상의 고주파수 밴드 신호에 대한 파라미터를 부호화하는 고주파수 밴드 부호화부를 더 포함하는 것을 특징으로 하는 신호의 부호화 시스템.
신호의 부호화 결과에 포함된 복수 개의 코덱들간의 상호 운용성을 나타내는 정보를 기초로 상기 신호의 부호화 결과를 복호화할 도메인을 판단하는 모드 판단 부;

시간 도메인에서 복호화하는 것으로 판단된 경우 상기 정보가 나타내는 코덱을 이용하여 상기 신호의 부호화 결과를 시간 도메인에서 복호화함으로써 시간 도메인의 신호를 복원하는 시간 도메인 복호화부;

주파수 도메인에서 복호화하는 것으로 판단된 경우 상기 신호의 부호화 결과를 주파수 도메인에서 복호화함으로써 주파수 도메인의 신호를 복원하는 주파수 도메인 복호화부; 및

상기 정보를 기초로 상기 복원된 시간 도메인의 신호 및 상기 복원된 주파수 도메인의 신호를 합성하여 시간 도메인으로 변환하는 도메인 변환부를 포함하는 것을 특징으로 하는 신호의 복호화 시스템.
제22항에 있어서,

상기 신호의 부호화 결과에 포함된 고주파수 밴드 파라미터를 복호화하고, 상기 복호화된 파라미터 및 상기 시간 도메인으로 변환된 신호를 이용하여 전대역의 신호를 복원하는 고주파수 밴드 복원부를 더 포함하는 것을 특징으로 하는 신호의 복호화 시스템.
제23항에 있어서,

상기 신호의 부호화 결과에 포함된 스테레오 파라미터를 복호화하고, 상기 복호화된 스테레오 파라미터를 이용하여 상기 복원된 전대역의 신호로부터 스테레 오 신호를 복원하는 스테레오 복원부를 더 포함하는 것을 특징으로 하는 신호의 복호화 시스템.