KR20040047361A - 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 - Google Patents

적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 Download PDF

Info

Publication number
KR20040047361A
KR20040047361A KR1020020075529A KR20020075529A KR20040047361A KR 20040047361 A KR20040047361 A KR 20040047361A KR 1020020075529 A KR1020020075529 A KR 1020020075529A KR 20020075529 A KR20020075529 A KR 20020075529A KR 20040047361 A KR20040047361 A KR 20040047361A
Authority
KR
South Korea
Prior art keywords
high frequency
channel
frequency component
channel signal
signal
Prior art date
Application number
KR1020020075529A
Other languages
English (en)
Other versions
KR100501930B1 (ko
Inventor
오윤학
매튜 마누
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0075529A priority Critical patent/KR100501930B1/ko
Priority to JP2003292364A priority patent/JP4022504B2/ja
Priority to US10/652,189 priority patent/US7444289B2/en
Priority to CNB2003101012347A priority patent/CN1266672C/zh
Publication of KR20040047361A publication Critical patent/KR20040047361A/ko
Application granted granted Critical
Publication of KR100501930B1 publication Critical patent/KR100501930B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 적은 계산량으로 고주파수 성분을 복원하는 새로운 오디오 디코딩 방법 및 장치에 관한 것으로, 본 발명에 따른 오디오 디코딩 방법은, 각 채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성한 후, 좌우 채널신호가 유사하면 한쪽 채널에서 생성된 고주파수 성분들을 이용하여 다른 한쪽 채널의 건너뛴 프레임의 고주파수 성분을 생성하며, 좌우 채널신호가 유사하지 않으면 각 채널별로 이전 프레임의 고주파수 성분들을 이용하여 건너뛴 프레임의 고주파수 성분을 생성하는 것을 특징으로 한다. 본 발명에서 개시된 방법을 사용하여 기존의 방법보다 고주파수 성분을 복원하는데 있어 계산량이 30%가량 줄어드는 효과가 있다.

Description

적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩 방법 및 장치 {AUDIO DECODING METHOD RECOVERING HIGH FREQUENCY WITH SMALL COMPUTATION AND APPARATUS THEREOF}
본 발명은 오디오 디코딩 방법 및 장치에 관한 것으로, 특히 적은 계산량으로 고주파수 성분을 복원함으로써 고음질의 오디오 신호를 출력할 수 있는 오디오 디코딩 방법 및 장치에 관한 것이다.
일반적으로, 오디오 코딩시에 보다 효율적으로 데이터를 압축하기 위해 심리음향모델(psychoacoustic model)을 이용하여 사람이 듣지 못하는 고주파수 성분에는 적은 비트를 할당한다. 이렇게 되면 압축율은 좋아지지만 고주파수 영역은 손실되는데, 이러한 고주파 영역의 손실로 인해 음색이 바뀌고 명료도가 저하되며 억눌리거나 무딘 소리가 나게 된다. 따라서, 원음의 음색을 충실히 재생하고 명료도를 높이기 위해서 손실된 고주파수 성분들을 복원하는 후처리 음질 개선 방법이 요구된다.
이러한 오디오 신호의 음질을 향상시키기 위한 수단으로, 도 1에 도시된 바와 같이, 인코딩된 신호가 입력되면 디코더(110)를 통해 좌측채널 신호와 우측채널 신호로 분리하여 각각 디코딩한 후, 제1, 2 고주파수 성분 생성부(120, 130)를 통해 디코딩된 좌측 및 우측채널에 대한 고주파수 성분을 각각 복원하는 후처리 방법이 개시되어 있다.
그러나, 대부분의 오디오 신호의 경우 좌측채널 신호와 우측채널 신호는 서로 유사하고 중복성이 높기 때문에, 인코딩 알고리즘에서 좌측채널 신호와 우측채널 신호를 독립적으로 각각 인코딩하지 않으며, 따라서, 좌측채널 신호와 우측채널 신호에 대해 각각 고주파수 성분을 복원하는 종래의 후처리 방법은 채널간의 유사성을 효율적으로 이용하지 못하고 있으며, 이로 인하여 불필요한 계산량이 증가된다는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 적은 계산량으로도 오디오 신호의 음질을 향상시킬 수 있는 오디오 디코딩 방법 및 장치를 제공하는 것을 목적으로 한다.
도 1은 종래의 후처리 알고리즘이 적용된 오디오 디코딩 장치를 나타낸 도면.
도 2는 본 발명에 따른 오디오 디코딩 장치의 개략적인 구성도.
도 3은 MPEG-1 레이어 3 오디오 스트림의 포맷.
도 4는 본 발명에 따른 오디오 디코딩 방법의 전체적인 흐름도.
도 5는 본 발명에 따라 각 채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성하는 방법을 나타낸 도면.
도 6은 좌우 채널이 유사하지 않은 경우 각 채널에 대한 고주파수 성분을 생성하는 방법을 나타낸 도면.
도 7은 좌우 채널이 유사한 경우 각 채널에 대한 고주파수 성분을 생성하는 방법을 나타낸 도면.
도 8은 본 발명의 오디오 디코딩 방법에 따른 오디오 음질 개선 성능을 나타낸 도면.
* 도면의 주요부분에 대한 부호의 설명 *
200...오디오 디코딩 장치 210...디코더
220...채널 유사 판단부 230...고주파수 성분 생성부
240...오디오 합성부
상기 목적을 달성하기 위하여 본 발명에 따른 오디오 디코딩 방법은, 각 채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성한 후, 좌우 채널신호가 유사하면 한쪽 채널에서 생성된 고주파수 성분들을 이용하여 다른 한쪽 채널의 건너뛴 프레임의 고주파수 성분을 생성하며, 좌우 채널신호가 유사하지 않으면 각 채널별로 이전 프레임의 고주파수 성분들을 이용하여 건너뛴 프레임의 고주파수 성분을 생성하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위하여 본 발명에 따른 오디오 디코딩 장치는, 인코딩된 오디오 데이터를 입력받아 디코딩하여 제1채널 및 제2채널의 오디오 신호로 만들어 출력하는 오디오 디코더, 제1채널 신호 및 제2채널 신호간의 유사성 여부를 판단하는 채널 유사 판단부, 상기 제1채널 신호 및 제2채널 신호간의 유사성 여부에 따라서 각 채널에 대한 고주파수 성분을 생성하는 고주파수 성분 생성부, 및 상기 디코딩된 오디오 신호에 상기 생성된 고주파수 성분을 합성하여 출력하는 오디오 합성부를 포함하는 것을 특징으로 한다.
이하, 본 발명에 따른 오디오 디코딩 장치의 구성과 동작에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
도 2는 본 발명에 따른 오디오 디코딩 장치(200)의 개략적인 구성도로서, 도 2에 도시된 바와 같이 오디오 디코딩 장치(200)는 디코더(210), 채널 유사 판단부(220), 고주파수 성분 생성부(230), 오디오 합성부(240)를 포함하며, 오디오 비트 스트림을 디코딩한 후 디코딩된 오디오 신호에서 각 채널에 대한 고주파수 성분을 복원하도록 구성되어 있다.
디코더(210)는 오디오 비트 스트림이 입력되면 이를 디코딩하여 오디오 신호로 만들어 출력하는데, 입력된 오디오 비트 스트림에서 오디오 데이터를 복호화한 후 복호화된 데이터를 역양자화시켜 인코딩 과정에서 수행된 양자화 처리를 환원시킴으로써 원래의 오디오 신호를 출력한다.
여기에서, 디코더(210)에 사용되는 디코딩 방법은 스케일팩터(Scale factor coding), AC-3, MPEG, 허프만 부호화(Huffman coding) 등 오디오 신호를 압축하기 위해 사용되는 인코딩 종류에 따라 달라질 수 있는데, 오디오 신호 처리에서 일반적으로 사용되는 디코더와 그 구성 및 동작이 동일하므로 이에 대한 자세한 설명은생략한다.
한편, 오디오 신호의 저주파수 영역으로부터 고주파수 영역을 복원하기 위한 알고리즘으로 SBR(Spectral Band Replication)이 지금까지 제안된 여러가지 후처리 음질 개선 방법 중에서 가장 성능이 우수한 것으로 알려져 있으나, SBR2의 경우 MPEG 1 layer-3에 종속적인 후처리 알고리즘이기 때문에 여러 가지 오디오 코덱에 적용할 수 없으며, SBR1의 경우 SBR2와 비교하여 여러 가지 오디오 코덱에 적용될 수 있으나 매 프레임마다 좌측채널 신호와 우측채널 신호에 대해 각각 후처리를 하기 때문에 채널간의 유사성을 효율적으로 이용하지 못하므로 계산량이 많아 현실적으로 제품에 적용하기에는 곤란하다는 한계점이 있다.
따라서, 본 발명에서는 여러 가지 오디오 코덱에 적용될 수 있고 복원 음질이 우수한 SBR1(이하, 간단히 SBR 이라 함)의 문제점으로 지적되는 계산량을 감소시키기 위하여, 다음과 같이 채널 유사 판단부(220) 및 고주파수 성분 생성부(230)를 통해 채널간의 유사성을 효율적으로 이용함으로써 적은 계산량으로도 고주파수 성분을 복원할 수 있도록 한다.
채널 유사 판단부(220)는 디코딩된 오디오 신호가 입력되면 오디오 신호에 모드 정보가 포함되어 있는지를 분석하여, 모드 정보를 포함하고 있으면 모드 정보에 따라 좌우 채널간의 유사성 여부를 판단하고, 모드 정보를 포함하고 있지 않으면 각 채널 신호에 대한 합과 차 정보로부터 얻어진 SNR(Signal to Noise Ratio)에 따라 채널 신호간의 유사성을 판단한다.
여기에서, 오디오 신호에 모드 정보가 포함되어 있지 않을 때, 각 채널 신호간의 유사성을 판단하기 위해 SNR을 사용하는 이유는, 일반적인 오디오 코덱에서 압축률이 높은 경우 각 채널 신호에 대한 합과 차 정보를 코딩하므로, 이러한 합과 차 정보로부터 얻어진 SNR값에 따라 좌우 채널간의 유사성을 판단할 수 있기 때문이다.
이하 본 발명의 이해를 돕기 위하여 MPEG-1 레이어 3 오디오 신호를 예로 들어 좌우 채널간의 유사성 판단 방법에 대하여 설명한다.
도 3은 MPEG-1 레이어 3 오디오 스트림의 포맷이다.
엠펙-1(MPEG-1) 레이어 3 오디오 스트림은 오디오 복호단위(AAU, Audio Access Unit)(300)로 구성되어 있는데, 오디오 복호단위(AAU)(300)는 하나하나 단독으로 복호화될 수 있는 최소단위로서 항상 일정한 샘플수의 데이터를 압축하여 싣고 있다.
오디오 복호단위(AAU)(300)는 헤더(header)(310)와 오류체크(CRC, Cyclic Redundancy Check)(320), 오디오 데이터(audio data)(320) 및 보조 데이터(auxiliary data)(330)로 구성된다.
헤더(header)(310)에는 동기워드(syncword), ID 정보, 계층정보, 보호비트(protection bit)의 유무정보, 비트율 인덱스(bitrate index) 정보, 샘플링 주파수 정보, 패딩비트(padding bit)의 유무 정보, 개별용도 비트, 모드 정보, 모드 확장정보, 저작권(copyright) 정보, 원본인지 복사본인지의 여부 정보 및 엠퍼시스(emphasis) 특성정보가 들어있다.
CRC(320)는 선택사항으로 이것의 유무는 헤더(header)(310)에서 정의되며 길이는 16비트이다.
오디오 데이터(audio data)(320)는 압축된 음성 데이터가 들어가는 부분이다.
보조 데이터(auxiliary data)(330)는 오디오 데이터(320)의 끝이 하나의 오디오 복호단위(AAU)의 끝에 달하지 않은 경우 남은 부분을 말하는 것으로, 엠펙 오디오 이외의 임의의 데이터가 삽입될 수 있다.
도 3에 도시된 바와 같이, MP3 오디오 비트 스트림의 헤더(header)(310)에는 채널간의 유사성을 이용하여 압축을 하였는지의 여부를 나타내는 모드 정보가 포함되어 있기 때문에, 입력되는 MP3 오디오 비트 스트림에서 모드 정보를 분석하면 각 채널에 대한 유사성을 판단할 수 있다.
따라서, 채널 유사 판단부(220)는 상기와 같이 모드 정보를 포함하고 있는 MPEG-1 레이어 3 오디오 신호가 입력되면, MPEG-1 레이어 3 오디오 신호에 포함된 모드 정보를 분석하여, 상기 모드 정보가 좌측채널 신호와 우측채널 신호간의 유사성이 큰 조인트 스테레오 모드(joint stereo mode)값인지, 두 채널간의 유사성이 없고 차이가 큰 스테레오 모드(stereo mode)값인지 판단하여 두 채널간의 유사성 여부를 판단한다.
한편, 채널 유사 판단부(220)는 디코딩된 오디오 신호에 모드 정보가 포함되어 있지 않으면, 오디오 신호로부터 얻어진 각 채널 신호에 대한 합과 차 정보로부터 채널간의 유사도를 나타내는 파라미터 SNR을 계산하여, 계산된 SNR값이 채널간의 유사도 문턱치 보다 작으면 두 채널이 유사하다고 판단하고, 계산된 SNR값이 채널간의 유사도 문턱치 보다 크면 두 채널이 유사하지 않다고 판단한다.
즉, 본 발명에서는 각 채널 신호에 대한 합과 차 정보로부터 얻어진 SNR값을 채널간의 유사도를 나타내는 파라미터로 이용하는데, 각 채널 신호에 대한 합과 차 정보로부터 SNR을 계산하는 방법을 구체적으로 기술하면 다음과 같다.
우선, 각 채널 신호에 대한 합의 에너지와 차의 에너지를 계산한 다음, 차의 에너지의 값을 분자로 두고, 합의 에너지와 차의 에너지를 더한 값을 분모로 두어 나눈 값을 로그 함수를 취한 후 10을 곱하여 계산하는데, 이 때 에너지를 구하는 계산량을 줄이기 위해서 합과 차 정보의 크기를 이용하는 것이 바람직하다.
상기에서, 채널간의 유사도 문턱치는 실험적으로 구한 값으로 정해질 수 있는데, 본 발명에서는 채널간의 유사도 문턱치로서 20dB를 적용하였다.
따라서, 채널 유사 판단부(220)는 상기와 같이 오디오 신호에 모드 정보가 포함되어 있는지를 분석하여, 모드 정보를 포함하고 있으면 모드 정보에 따라 좌우 채널간의 유사성 여부를 판단하고, 모드 정보를 포함하고 있지 않으면 각 채널 신호에 대한 합과 차 정보로부터 얻어진 SNR에 따라 채널 신호간의 유사성을 판단한다.
참고로, 전술한 좌우 채널간의 유사성 판단 방법은 당업자에 의해 다양한 변형 및 균등한 실시예가 가능한데, 예를 들어 MPEG-1 레이어 3 오디오 신호 외에 AC-3 오디오 신호와 같이 좌측채널 신호와 우측채널 신호의 차 정보가 포함되어 있으면 이를 이용하여 좌우 채널간의 유사성 여부를 판단하는 것도 가능하며, 오디오 비트 스트림에 선형예측계수가 존재하면 그 선형예측계수를 복호화한 후 스펙트럼엔벌로프 신호를 모델링하여 좌우 채널간의 유사성 여부를 판단하는 것도 가능하다.
한편, 고주파수 성분 생성부(230)는 SBR을 이용하여 좌측 및 우측채널 신호에 대하여 각 채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성한 후, 좌우 채널신호가 유사하면 한쪽 채널에서 생성된 고주파수 성분들을 이용하여 다른 한쪽 채널의 건너뛴 프레임의 고주파수 성분을 생성하며, 좌우 채널신호가 유사하지 않으면 각 채널별로 이전 프레임의 고주파수 성분들을 이용하여 건너뛴 프레임의 고주파수 성분을 생성하는데, 이에 대하여는 도 5 내지 도 7을 참조하여 후술한다.
상기 고주파수 성분 생성부(230)를 통해 각 채널에 대한 고주파수 성분이 생성되면, 오디오 합성부(240)는 디코딩된 오디오 신호에 생성된 고주파수 성분을 합성하여 출력하는데, 이렇게 채널간 유사성에 따라 고주파수 성분을 복원함으로써 계산량을 감소시키면서도 오디오 신호의 음질을 향상시킬 수 있다.
이하, 본 발명에 따른 오디오 디코딩 방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
도 4는 본 발명에 따른 오디오 디코딩 방법의 전체적인 흐름도이다.
우선, 디코더(210)는 오디오 비트 스트림이 입력되면 이를 디코딩하여 오디오 신호로 만들어 출력하는데(S10), 여기에서, 디코딩 방법은 AC-3, MPEG, 허프만 부호화 등 오디오 신호를 압축하기 위해 사용된 인코딩 종류에 따라 달라질 수 있다.
그 다음, 고주파수 성분 생성부(230)는 SBR을 이용하여 좌측 및 우측채널 신호에 대하여 각 채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성하는데(S20), 이하 도 5를 참조하여 이에 대하여 더 자세히 설명한다.
도 5는 본 발명에 따라 각 채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성하는 방법을 나타낸 도면으로서, 도 5에 도시된 바와 같이 고주파수 성분 생성부(230)는 좌측채널과 우측채널별로 한 프레임씩 건너뛰면서 고주파수 성분을 생성한다.
즉, 시간 t1일 때의 프레임에서 좌측 채널의 고주파수 성분(Lt1)을 생성하고, 시간 t2일 때의 프레임에서 우측 채널의 고주파수 성분(Rt2)을 생성한다. t3, t4, t5...일 때도 채널별로 상기 방법을 반복적으로 수행한다.
그 다음, 채널 유사 판단부(220)는 좌측채널 신호와 우측채널 신호간의 유사성 여부를 판단하는데(S30), 각 채널 신호간의 유사성 여부를 판단하는 방법에 대하여 간략하게 설명하면 다음과 같다.
우선, 채널 유사 판단부(220)는 디코딩된 오디오 신호에 모드 정보가 포함되어 있는지를 분석하여, 모드 정보를 포함하고 있으면 모드 정보에 따라 채널 신호간의 유사성 여부를 판단하는데, 상기 모드 정보가 좌측채널 신호와 우측채널 신호간의 유사성이 큰 조인트 스테레오 모드(joint stereo mode)값인지, 두 채널간의 유사성이 없고 차이가 큰 스테레오 모드(stereo mode)값인지 판단하여 두 채널간의 유사성 여부를 판단한다.
만약 디코딩된 오디오 신호에 모드 정보가 포함되어 있지 않으면, 채널 유사판단부(220)는 오디오 신호로부터 얻어진 각 채널 신호에 대한 합과 차 정보로부터 채널간의 유사도를 나타내는 파라미터 SNR을 계산하여, 계산된 SNR값이 채널 유사도 문턱치 보다 작으면 두 채널이 유사하다고 판단하고, 계산된 SNR값이 채널 유사도 문턱치 보다 크면 두 채널이 유사하지 않다고 판단한다. 즉, 디코딩된 오디오 신호에 모드 정보가 포함되어 있는지 않으면, 각 채널 신호에 대한 합과 차 정보로부터 얻어진 SNR을 채널간의 유사도를 나타내는 파라미터로 하여, 채널간의 유사도 문턱치인 20dB와 비교하여 채널간의 유사성을 판단한다.
여기에서, 모드 정보에 따른 각 채널 신호간의 유사성 판단 방법에 대하여는 도 2 및 도 3과 관련된 설명에서 상세히 설명하였으므로 이에 대한 자세한 설명은 생략한다.
그 다음, 상기 채널 유사 판단부(220)를 통해 좌측채널 신호와 우측채널 신호가 유사하지 않다고 판단된 경우에는, 고주파수 성분 생성부(230)는 각 채널별로 이전 프레임의 고주파수 성분들을 이용하여 건너뛴 프레임의 고주파수 성분을 생성함으로써 각 채널의 고주파수 성분을 따로따로 생성하는데(S40), 이하 도 6을 참조하여 이에 대하여 더 자세히 설명한다.
도 6은 좌우 채널이 유사하지 않은 경우 각 채널에 대한 고주파수 성분을 생성하는 방법을 나타낸 도면으로서, 도 6에 도시된 바와 같이, 좌우 채널이 유사하지 않은 경우 고주파수 성분 생성부(230)는 좌측채널과 우측채널별로 이전 프레임의 고주파수 성분(한 프레임씩 건너뛰면서 생성된 고주파수 성분)들을 그대로 이용하여 건너뛴 프레임의 고주파수 성분을 생성한다.
다시 말해서, 건너뛴 프레임의 고주파수 성분, 즉, 시간 t2에서의 좌측 채널의 고주파수 성분(Lt2)은 t1의 고주파수 성분(Lt1)들을 그대로 적용하며, t3에서의 우측 채널의 고주파수 성분(Rt3)은 t2의 고주파수 성분(Rt2)들을 그대로 적용한다.
한편, 상기 채널 유사 판단부(220)를 통해 좌측채널 신호와 우측채널 신호가 유사하다고 판단된 경우에는, 고주파수 성분 생성부(230)는 한쪽 채널에서 생성된 고주파수 성분들을 이용하여 다른 한쪽 채널의 고주파수 성분을 생성하는데(S50), 이하 도 7을 참조하여 이에 대하여 더 자세히 설명한다.
도 7은 좌우 채널이 유사한 경우 각 채널에 대한 고주파수 성분을 생성하는 방법을 나타낸 도면으로서, 도 7에 도시된 바와 같이, 좌우 채널이 유사하다고 판단되면 고주파수 성분 생성부(230)는 좌측채널에서 생성된 고주파수 성분을 그대로 우측 채널의 고주파수 성분으로, 우측채널에서 생성된 고주파수 성분을 그대로 좌측 채널의 고주파수 성분으로 이용한다. 이 때, 각 채널에서 생성된 고주파수 성분들에 약간의 수정값(예를 들면, 일정한 상수)을 곱하여 다른 채널의 고주파수 성분을 생성하는 것도 가능하다.
즉, 시간 t1에서의 우측 채널의 고주파수 성분(Rt1)은 시간 t1에서의 좌측 채널의 고주파수 성분(Lt1)들을 그대로 적용하며, 시간 t2에서의 좌측 채널의 고주파수 성분(Lt2)은 시간 t2에서의 우측 채널의 고주파수 성분(Rt2)들을 그대로 적용한다.
이 때, 좌우 채널 신호간의 유사성이 서로 크기 때문에 이렇게 하여도 음질의 저하는 거의 없으며, 각 채널별로 한 프레임씩 건너뛰면서 한 채널의 고주파수 성분만을 생성하여 다른 채널의 고주파수 성분으로 효율적으로 이용하므로 종래의 SBR 방식에 비해 계산량이 30%가량 감축된다.
마지막으로, 디코딩된 오디오 신호에 생성된 고주파수 성분을 합성하여 출력한다(S60).
일반적으로 대부분의 오디오 신호의 경우 좌측채널 신호와 우측채널 신호가 유사하기 때문에, 본 발명에 따른 디코딩 방법으로 오디오 비트 스트림을 디코딩하게 되면 기존의 방법보다 고주파수 성분을 복원하는데 있어 계산량을 30%가량 감소시킬 수 있다.
본 발명에 따른 음질 개선 성능을 종래의 SBR, MP3 방식과 비교한 일예가 도 8에 도시되어 있다. 실험은 64kbps로 압축된 JAZZ 3곡, POP 9곡, ROCK 7곡, CLASSIC 6곡의 오디오 신호에 대해 음질 평가를 14회 실시하였으며, 음질 평가 프로그램으로는 디지털 음성/오디오 압축신호 측정 시스템으로 널리 알려져 있는 오페라 툴(Opera Tool)을 이용하였는데, 오페라 툴에서는 측정값이 0에 가까울 수록 복원 음질이 우수한 것으로 판단된다.
도 8에 도시된 바와 같이, 본 발명의 고주파수 성분 복원 방법에 따라 고주파수 성분을 복원하더라도 종래의 SBR, MP3 방식과 비교하여 음질이 거의 유사하거나 음질 저하가 매우 적음을 알 수 있다.
따라서, 음질 개선 효과에도 불구하고 계산량 과다로 인해 실제로 제품에 적용되기 힘든 종래의 SBR에 비하여, 본 발명에 따르면 계산량을 30%가량 줄이면서도 복원 음질이 우수한 오디오 신호를 출력할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이 본 발명은, 기존의 후처리 방법이 음질 개선 효과에도 불구하고 계산량의 과다로 인해 실제로 제품에 적용되기 힘든 문제점이 있었는데 본 발명을 통하여 고주파수 성분을 복원하는데 있어 계산량이 30%가량 줄어드는 효과가 있다.

Claims (17)

  1. 오디오 데이터 디코딩시 고주파수 성분을 생성하는 방법에 있어서,
    제1채널 신호 및 제2채널 신호간의 채널 유사성을 이용하여 고주파수 성분을 생성하는 것을 특징으로 하는 고주파수 성분 생성방법.
  2. 제1항에 있어서, 상기 제1채널 신호 및 제2채널 신호에 대한 합과 차 정보로부터 얻어진 SNR에 따라 채널 신호간의 유사성을 판단하는 것을 특징으로 하는 고주파수 성분 생성방법.
  3. 제1항에 있어서, 상기 오디오 데이터는 모드 정보를 포함하는 것을 특징으로 하는 고주파수 성분 생성방법.
  4. 제3항에 있어서, 상기 모드 정보가 상기 제1채널 신호 및 제2채널 신호간에 연관성이 큰 것을 나타내는 조인트 스테레오 모드값인지, 상기 제1채널 신호와 상기 제2채널 신호간에 유사성이 없음을 나타내는 스테레오 모드값인지를 판단하는 단계를 포함하는 것을 특징으로 하는 고주파수 성분 생성방법.
  5. 제1항에 있어서, 상기 제1채널 신호 및 제2채널 신호가 유사한 경우,
    각 채널별로 일부 프레임만 고주파수 성분을 생성하는 단계;
    고주파수 성분이 생성되지 않은 나머지 프레임의 고주파수 성분은 고주파수 성분이 생성된 다른 채널의 일부 프레임의 고주파수 성분을 이용하여 생성하는 단계를 포함하는 것을 특징으로 하는 고주파수 성분 생성방법.
  6. 제5항에 있어서, 상기 나머지 프레임의 고주파수 성분은,
    상기 일부 프레임의 고주파수 성분에 소정의 보정을 하여 생성되는 것을 특징으로 하는 고주파수 성분 생성방법.
  7. 제1항에 있어서, 상기 제1채널 신호 및 제2채널 신호가 유사하지 않은 경우,
    각 채널별로 일부 프레임만 고주파수 성분을 생성하는 단계;
    고주파수 성분이 생성되지 않은 나머지 프레임의 고주파수 성분은 각 채널별로 상기 고주파수 성분이 생성된 일부 프레임의 고주파수 성분을 이용하여 생성하는 단계를 포함하는 것을 특징으로 하는 고주파수 성분 생성방법.
  8. 제7항에 있어서, 상기 나머지 프레임의 고주파수 성분은,
    상기 일부 프레임의 고주파수 성분에 소정의 보정을 하여 생성되는 것을 특징으로 하는 고주파수 성분 생성방법.
  9. 인코딩된 오디오 데이터를 입력받아 디코딩하여 제1채널 및 제2채널의 오디오 신호로 만들어 출력하는 단계;
    상기 제1채널 및 제2채널 신호에 대하여 각 채널별로 일부 프레임만 고주파수 성분을 생성하는 단계;
    상기 제1채널 신호 및 제2채널 신호간의 유사성 여부를 판단하는 단계;
    상기 제1채널 신호와 제2채널 신호가 유사하다고 판단된 경우, 고주파수 성분이 생성되지 않은 나머지 프레임의 고주파수 성분은 고주파수 성분이 생성된 다른 채널의 일부 프레임의 고주파수 성분을 이용하여 생성하는 단계; 및
    상기 디코딩된 오디오 신호에 상기 생성된 고주파수 성분을 합성하여 출력하는 단계를 포함하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 방법.
  10. 제9항에 있어서, 상기 채널 신호간의 유사성 여부를 판단하는 단계는,
    상기 제1채널 신호 및 제2채널 신호에 대한 합과 차 정보로부터 얻어진 SNR에 따라 채널 신호간의 유사성을 판단하는 단계를 포함하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 방법.
  11. 제9항에 있어서, 상기 오디오 데이터는 모드 정보를 포함하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 방법.
  12. 제11항에 있어서, 상기 채널 신호간의 유사성 여부를 판단하는 단계는,
    상기 모드 정보가 상기 제1채널 신호 및 제2채널 신호간에 연관성이 큰 것을나타내는 조인트 스테레오 모드값인지, 상기 제1채널 신호와 상기 제2채널 신호간에 유사성이 없음을 나타내는 스테레오 모드값인지를 판단하는 단계를 포함하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 방법.
  13. 제9항에 있어서, 상기 제1채널 신호와 제2채널 신호가 유사하지 않다고 판단된 경우,
    상기 고주파수 성분이 생성되지 않은 나머지 프레임의 고주파수 성분은 각 채널별로 상기 고주파수 성분이 생성된 일부 프레임의 고주파수 성분을 이용하여 생성하는 단계를 더 포함하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 방법.
  14. 인코딩된 오디오 데이터를 입력받아 디코딩하여 제1채널 및 제2채널의 오디오 신호로 만들어 출력하는 오디오 디코더;
    상기 제1채널 신호 및 제2채널 신호간의 유사성 여부를 판단하는 채널 유사 판단부;
    상기 제1채널 신호 및 제2채널 신호간의 유사성 여부에 따라서 각 채널에 대한 고주파수 성분을 생성하는 고주파수 성분 생성부; 및
    상기 디코딩된 오디오 신호에 상기 생성된 고주파수 성분을 합성하여 출력하는 오디오 합성부를 포함하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 장치.
  15. 제14항에 있어서, 상기 고주파수 성분 생성부는,
    상기 제1채널과 제2채널별로 일부 프레임만 고주파수 성분을 생성한 후, 상기 제1채널 신호 및 제2채널 신호가 유사하면, 상기 고주파수 성분이 생성되지 않은 나머지 프레임의 고주파수 성분은 고주파수 성분이 생성된 다른 채널의 일부 프레임의 고주파수 성분을 이용하여 생성하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 장치.
  16. 제14항에 있어서, 상기 고주파수 성분 생성부는,
    상기 제1채널과 제2채널별로 일부 프레임만 고주파수 성분을 생성한 후, 상기 제1채널 신호 및 제2채널 신호가 유사하지 않으면, 상기 고주파수 성분이 생성되지 않은 나머지 프레임의 고주파수 성분은 각 채널별로 상기 고주파수 성분이 생성된 일부 프레임의 고주파수 성분을 이용하여 생성하는 것을 특징으로 하는 고주파수 성분을 복원한 오디오 디코딩 장치.
  17. 제1항 내지 제13항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0075529A 2002-11-29 2002-11-29 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치 KR100501930B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2002-0075529A KR100501930B1 (ko) 2002-11-29 2002-11-29 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
JP2003292364A JP4022504B2 (ja) 2002-11-29 2003-08-12 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置
US10/652,189 US7444289B2 (en) 2002-11-29 2003-09-02 Audio decoding method and apparatus for reconstructing high frequency components with less computation
CNB2003101012347A CN1266672C (zh) 2002-11-29 2003-10-13 用较少的计算量重构高频分量的声频解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0075529A KR100501930B1 (ko) 2002-11-29 2002-11-29 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치

Publications (2)

Publication Number Publication Date
KR20040047361A true KR20040047361A (ko) 2004-06-05
KR100501930B1 KR100501930B1 (ko) 2005-07-18

Family

ID=32388286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0075529A KR100501930B1 (ko) 2002-11-29 2002-11-29 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치

Country Status (4)

Country Link
US (1) US7444289B2 (ko)
JP (1) JP4022504B2 (ko)
KR (1) KR100501930B1 (ko)
CN (1) CN1266672C (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750115B1 (ko) * 2004-10-26 2007-08-21 삼성전자주식회사 오디오 신호 부호화 및 복호화 방법 및 그 장치
WO2019083055A1 (ko) * 2017-10-24 2019-05-02 삼성전자 주식회사 기계학습을 이용한 오디오 복원 방법 및 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5153791B2 (ja) * 2007-12-28 2013-02-27 パナソニック株式会社 ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法
JP2010102042A (ja) * 2008-10-22 2010-05-06 Ntt Docomo Inc 音声信号出力装置、音声信号出力方法および音声信号出力プログラム
BR122019023684B1 (pt) 2009-01-16 2020-05-05 Dolby Int Ab sistema para gerar um componente de frequência alta de um sinal de áudio e método para realizar reconstrução de frequência alta de um componente de frequência alta
WO2010111841A1 (zh) * 2009-04-03 2010-10-07 华为技术有限公司 频域脉冲解码的预测方法和预测装置及解码器
EP2709106A1 (en) 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
CN107818789B (zh) 2013-07-16 2020-11-17 华为技术有限公司 解码方法和解码装置
CN104301064B (zh) 2013-07-16 2018-05-04 华为技术有限公司 处理丢失帧的方法和解码器
JP5744992B2 (ja) * 2013-09-17 2015-07-08 株式会社Ｎｔｔドコモ 音声信号出力装置、音声信号出力方法および音声信号出力プログラム
CN106683681B (zh) 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
CN109979486B (zh) * 2017-12-28 2021-07-09 中国移动通信集团北京有限公司 一种语音质量评估方法及装置
CN108231091B (zh) * 2018-01-24 2021-05-25 广州酷狗计算机科技有限公司 一种检测音频的左右声道是否一致的方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5639646A (en) * 1979-09-07 1981-04-15 Pioneer Electronic Corp Processor for demodulation output of stereophonic signal
US6289308B1 (en) * 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
KR0134318B1 (ko) * 1994-01-28 1998-04-29 김광호 채널간의 마스킹특성을 고려한 비트할당장치 및 그 방법과 복호화장치
JP2798003B2 (ja) 1995-05-09 1998-09-17 松下電器産業株式会社 音声帯域拡大装置および音声帯域拡大方法
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
JP3136995B2 (ja) * 1996-05-30 2001-02-19 日本ビクター株式会社 ラウドネス回路
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3484341B2 (ja) * 1998-03-30 2004-01-06 三菱電機株式会社 音声信号伝送装置
JP3596296B2 (ja) 1998-08-06 2004-12-02 松下電器産業株式会社 音場再生装置および方法
US7031474B1 (en) 1999-10-04 2006-04-18 Srs Labs, Inc. Acoustic correction apparatus
JP3894722B2 (ja) * 2000-10-27 2007-03-22 松下電器産業株式会社 ステレオオーディオ信号高能率符号化装置
JP2002168694A (ja) * 2000-12-04 2002-06-14 Inst Of Physical & Chemical Res 分光器
JP3951690B2 (ja) * 2000-12-14 2007-08-01 ソニー株式会社 符号化装置および方法、並びに記録媒体
JP2002182699A (ja) * 2000-12-15 2002-06-26 Matsushita Electric Ind Co Ltd 音声符号化装置
SE0004818D0 (sv) * 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
JP3755739B2 (ja) 2001-02-15 2006-03-15 日本電信電話株式会社 ステレオ音響信号処理方法及び装置並びにプログラム及び記録媒体
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750115B1 (ko) * 2004-10-26 2007-08-21 삼성전자주식회사 오디오 신호 부호화 및 복호화 방법 및 그 장치
WO2019083055A1 (ko) * 2017-10-24 2019-05-02 삼성전자 주식회사 기계학습을 이용한 오디오 복원 방법 및 장치
US11545162B2 (en) 2017-10-24 2023-01-03 Samsung Electronics Co., Ltd. Audio reconstruction method and device which use machine learning

Also Published As

Publication number Publication date
CN1266672C (zh) 2006-07-26
US20040107090A1 (en) 2004-06-03
JP4022504B2 (ja) 2007-12-19
KR100501930B1 (ko) 2005-07-18
CN1504993A (zh) 2004-06-16
US7444289B2 (en) 2008-10-28
JP2004184975A (ja) 2004-07-02

Similar Documents

Publication Publication Date Title
KR100462615B1 (ko) 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
KR100908081B1 (ko) 인코딩 및 디코딩된 다채널 신호를 생성하는 장치 및 방법
KR101455915B1 (ko) 일반 오디오 및 음성 프레임을 포함하는 오디오 신호용 디코더
JP5208901B2 (ja) 音声信号および音楽信号を符号化する方法
RU2449387C2 (ru) Способ и устройство для обработки сигнала
US6266644B1 (en) Audio encoding apparatus and methods
US8886548B2 (en) Audio encoding device, decoding device, method, circuit, and program
JP2017078870A (ja) フレームエラー隠匿装置
KR100501930B1 (ko) 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
JP2006048043A (ja) オーディオデータの高周波数の復元方法及びその装置
JP2016514858A (ja) オーディオ処理システム
JP2010538318A (ja) ノイズ補充と帯域拡張との間の遷移周波数の適合
US20060173692A1 (en) Audio compression using repetitive structures
JP2012514224A (ja) ピーク検出に基づく選択的スケーリングマスク計算
JP3824607B2 (ja) 時間−周波数相関性を利用した改善されたオーディオ符号化及び／または復号化方法とその装置
EP2626856B1 (en) Encoding device, decoding device, encoding method, and decoding method
JP2010078915A (ja) オーディオ復号方法、装置、及びプログラム
JP4359499B2 (ja) オーディオ信号の編集
JP2004198485A (ja) 音響符号化信号復号化装置及び音響符号化信号復号化プログラム
JP2004199075A (ja) ビット率調節可能なステレオオーディオ符号化・復号化方法及びその装置
Moehrs et al. Analysing Decompressed Audio with the" Inverse Decoder"-Towards an Operative Algorithm
JP4004525B1 (ja) 信号処理方法、信号処理装置及びコンピュータプログラム
JP4004526B1 (ja) 信号処理方法、信号処理装置及びコンピュータプログラム
JP4004524B1 (ja) 信号処理方法、信号処理装置及びコンピュータプログラム
Oztoprak et al. Index assignment-based channel coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee