KR100912045B1 - 여기 파형의 외삽에 근거한 부대역 예측 코더용 패킷 손실은폐 - Google Patents

여기 파형의 외삽에 근거한 부대역 예측 코더용 패킷 손실은폐 Download PDF

Info

Publication number
KR100912045B1
KR100912045B1 KR1020070080412A KR20070080412A KR100912045B1 KR 100912045 B1 KR100912045 B1 KR 100912045B1 KR 1020070080412 A KR1020070080412 A KR 1020070080412A KR 20070080412 A KR20070080412 A KR 20070080412A KR 100912045 B1 KR100912045 B1 KR 100912045B1
Authority
KR
South Korea
Prior art keywords
subband
audio signal
band
excitation
decoder
Prior art date
Application number
KR1020070080412A
Other languages
English (en)
Other versions
KR20080014678A (ko
Inventor
준-훼이. 첸
제스 티쎈
로버트 더블유 조프
Original Assignee
브로드콤 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브로드콤 코포레이션 filed Critical 브로드콤 코포레이션
Publication of KR20080014678A publication Critical patent/KR20080014678A/ko
Application granted granted Critical
Publication of KR100912045B1 publication Critical patent/KR100912045B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ITU-T 권고 G.722 광대역 음성 코더(wideband speech coder)와 같은 부대역 예측 음성 코더(sub-band predictive speech coder)에서 여기 파형(excitation waveform)의 외삽(extrapolation)을 사용하여 패킷 손실 은폐(packet loss concealment)를 수행하기 위한 시스템들 및 방법들이 설명된다. 그러한 시스템들 및 방법들은 패킷 손실의 품질 저하 영향을 은폐하는 데에 유용하고, 그러한 부대역 예측 코더들에 여기 외삽 기술들(excitation extrapolation techniques)을 적용할 때 어떤 부대역 아키텍쳐의 이슈들(architectural issues)을 다룬다.
Figure R1020070080412
음성 코더, 외삽, 손실, 은폐, 부대역

Description

여기 파형의 외삽에 근거한 부대역 예측 코더용 패킷 손실 은폐{PACKET LOSS CONCEALMENT FOR A SUB-BAND PREDICTIVE CODER BASED ON EXTRAPOLATION OF EXCITATION WAVEFORM}
본 발명은 음성(speech) 또는 오디오(audio) 코더(coder)에서 패킷 손실(packet loss)의 품질 저하(quality-degrading) 영향을 은폐(conceal)하기 위한 시스템 및 방법에 관한 것이다.
패킷 네트워크(packet networks)를 통한 음성(voice) 또는 오디오(audio) 신호들의 디지털 전송에서, 인코딩된 음성/오디오 신호들은 전형적으로 프레임들(frames)로 나눠지고 그 후 패킷들로 패키지(package)된다. 여기서, 각각의 패킷은 하나 또는 그 이상의 인코딩된 음성/오디오의 프레임들을 포함할 수 있다. 패킷들은 그 후 패킷 네트워크를 통하여 전송된다. 종종 몇몇 패킷들이 손실(lost)되고, 종종 몇몇 패킷들은 너무 늦게 도착해서 사용할 수 없고, 따라서 손실된 것으로 간주된다. 그러한 패킷 손실은, 만약 패킷 손실의 영향을 은폐하기 위해 특별한 기술들이 사용되지 않는다면, 오디오 품질의 현저한 저하를 초래할 것이다. 종종 예측 잔류 신호(prediction residual signal)로도 또한 불려지는 여기 신호(excitation signal)의 외삽(extrapolation)에 근거하여 전대역(full-band) 예측 코더들(predictive coders)을 위한 종래의 패킷 손실 은폐 방법들이 존재한다. 예를 들면, 첸(Chen)에게 "프레임 삭제 또는 패킷 손실 동안의 여기 신호 합성(Excitation Signal Synthesis during Frame Erasure or Packet Loss)" 이라는 명칭으로 허여된 미합중국 특허 번호 5,615,298 이 있다. 그러나, 그러한 기술들이 ITU-T 권고 G.722 광대역 음성 코더와 같은 부대역 예측 코더들에 적용될 때, 적어도 부분적으로는 그들 코더들의 아키텍쳐(architecture)에 기인하여 이슈들(issues)이 일어난다. 부대역 예측 코더(sub-band predictive coder)는 분해 필터 뱅크(analysis filter bank)를 사용하여 먼저 입력 신호를 다른 주파수 대역들(frequency bands)로 나누고 그 후 부대역 신호들 각각에 예측 코딩(predictive coding)을 적용한다. 디코더 측에서, 디코딩된 부대역 신호들이 합성 필터 뱅크(synthesis filter bank)에서 전대역 출력 신호로 재결합(recombine)된다.
따라서, 본 발명이 해결하고자 하는 과제는 종래 기술이 갖는 문제점을 개선하기 위한 여기 파형의 외삽에 근거하여 부대역 예측 코더용 패킷 손실을 은폐(packet loss concealment for a sub-band predictive coder based on extrapolation of excitation waveform)하기 위한 시스템 및 방법을 제공하는 것에 있다.
본 발명의 실시예들은 부대역 예측 코더(sub-band predictive coder)에서 패킷 손실(또는 프레임 삭제(frame erasure))의 품질 저하 영향을 은폐하기 위해 사용될 수 있다. 본 발명의 실시예들은 여기 외삽(excitation exrapolation) 기술들을 그러한 부대역 예측 코더들에 적용할 때 부대역 아키텍쳐의 이슈들(sub-band architectural issues)을 다룬다.
특히, 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치(replace)하기 위한 시스템이 여기에서 설명된다. 그 시스템은 제1 여기 외삽기(first excitation extrapolator), 제2 여기 외삽기(second excitation extrapolator), 제1 합성 필터(first synthesis filter), 제2 합성 필터(second synthesis filter), 및 합성 필터 뱅크(synthesis filter bank)를 포함한다. 제1 여기 외삽기는 하나 또는 그 이상의 미리(previously) 수신된 오디오 신호의 부분 들(portions)에 관련된 제1 부대역 여기 신호(first sub-band excitation signal)에 근거하여 제1 부대역 외삽 여기 신호(first sub-band extrapolated excitation signal)를 생성하도록 구성된다. 제2 여기 외삽기는 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련된 제2 부대역 여기 신호(second sub-band excitation signal)에 근거하여 제2 부대역 외삽 여기 신호(second sub-band extrapolated excitation signal)를 생성하도록 구성된다. 제1 합성 필터는 합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 부대역 외삽 여기 신호를 필터링하도록 구성된다. 제2 합성 필터는 합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 부대역 외삽 여기 신호를 필터링하도록 구성된다. 합성 필터 뱅크는 손실(lost)된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호(full-band output audio signal)를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하도록 구성된다.
상기 시스템은 제1 디코더(first decoder) 및 제2 디코더(second decoder)를 더 포함할 수 있다. 제1 디코더는 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림(first sub-band bit-stream)을 디코딩하도록 구성되고 제2 디코더는 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림(second sub-band bit-stream)을 디코딩하도록 구성된다. 제1 디코더는 저대역 적응 차분 펄스 코드 변조(adaptive differential pulse code modulation;ADPCM) 디코더일 수 있고 제2 디코더는 고대역 ADPCM 디코더일 수 있다. 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터일 수 있고 제2 합성 필터는 고대역 ADPCM 디코더 합성 필터일 수 있다.
부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 방법이 또한 여기에서 설명된다. 그 방법에 따라, 제1 부대역 외삽 여기 신호는 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제1 부대역 여기 신호에 근거하여 생성된다. 제2 부대역 외삽 여기 신호는 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호에 근거하여 생성된다. 제1 부대역 외삽 여기 신호는 합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 필터링된다. 제2 부대역 외삽 여기 신호는 합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 합성 필터에서 필터링된다. 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호는 손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 결합된다.
상기 방법은 제1 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하고 제2 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하는 것을 더 포함할 수 있다. 제1 디코더는 저대역 ADPCM 디코더이고 제2 디코더는 고대역 ADPCM 디코더이다. 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터일 수 있고 제2 합성 필터는 고대역 ADPCM 디코더 합성 필터일 수 있다.
부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 다른 시스템이 또한 여기에서 설명된다. 그 시스템은 제1 합성 필터 뱅 크(first synthesis filter bank), 전대역 여기 외삽기(full-band excitation extrapolator), 분해 필터 뱅크(analysis filter bank), 제1 합성 필터(first synthesis filter), 제2 합성 필터(second synthesis filter), 및 제2 합성 필터 뱅크(second synthesis filter bank)를 포함한다. 제1 합성 필터 뱅크는 전대역 여기 신호를 생성하기 위해 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 적어도 제1 부대역 여기 신호 및 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호를 결합하도록 구성된다. 전대역 여기 외삽기는 전대역 여기 신호를 수신하고 그로부터 전대역 외삽 여기 신호를 생성하도록 구성된다. 분해 필터 뱅크는 전대역 외삽 여기 신호를 적어도 제1 부대역 외삽 여기 신호 및 제2 부대역 외삽 여기 신호로 나누도록 구성된다. 제1 합성 필터는 합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 부대역 외삽 여기 신호를 필터링하도록 구성된다. 제2 합성 필터는 합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 부대역 외삽 여기 신호를 필터링하도록 구성된다. 제2 합성 필터 뱅크는 손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하도록 구성된다.
상기 시스템은 제1 디코더 및 제2 디코더를 더 포함할 수 있다. 제1 디코더는 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하도록 구성되고 제2 디코더는 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하도록 구성된다. 제1 디코더는 저대역 ADPCM 디코더일 수 있고 제2 디코더는 고대역 ADPCM 디코더일 수 있다. 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터일 수 있고 제2 합성 필터는 고대역 ADPCM 디코더 합성 필터일 수 있다.
부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 다른 방법이 또한 여기에서 설명된다. 이러한 다른 방법에 따라, 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 적어도 제1 부대역 여기 신호 및 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호는 전대역 여기 신호를 생성하도록 결합된다. 전대역 외삽 여기 신호는 그 후 전대역 여기 신호에 근거하여 생성된다. 전대역 외삽 여기 신호는 그 후 적어도 제1 부대역 외삽 여기 신호 및 제2 부대역 외삽 여기 신호로 나뉜다. 제1 부대역 외삽 여기 신호는 합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 필터링된다. 제2 부대역 외삽 여기 신호는 합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 합성 필터에서 필터링된다. 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호는 그 후 손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하도록 결합된다.
상기 방법은 제1 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하고 제2 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하는 것을 더 포함한다. 제1 디코더는 저대역 ADPCM 디코더일 수 있고 제2 디코더는 고대역 ADPCM 디코더일 수 있다. 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터일 수 있고 제2 합성 필터는 고대역 ADPCM 디코더 합성 필터일 수 있다.
본 발명의 다양한 실시예들의 구조 및 동작 뿐 아니라 본 발명의 더한 특징들 및 이점들은 첨부되는 도면들을 참조하여 이하에서 상세하게 설명된다. 본 발명은 여기에서 설명되는 특정 실시예들에 국한되지는 않는다. 그러한 실시예들은 여기에서는 단지 설명을 돕고자 하는 목적으로 제공된다. 추가적인 실시예들은 여기에서 포함된 시사들(teachings)에 근거하여 당해 기술 분야에서 숙련된 자들에게 명백해질 것이다.
본 발명의 일 측면에 따라, 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치(replace)하기 위한 시스템이 제공되며, 그 시스템은:
하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련된 제1 부대역 여기 신호에 근거하여 제1 부대역 외삽 여기 신호를 생성하도록 구성된 제1 여기 외삽기;
하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호에 근거하여 제2 부대역 외삽 여기 신호를 생성하기 위해 구성된 제2 여기 외삽기;
합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 부대역 외삽 여기 신호를 필터링(filter)하도록 구성된 제1 합성 필터;
합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 부대역 외삽 여기 신호 를 필터링하도록 구성된 제2 합성 필터; 및
손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합(combine)하도록 구성된 합성 필터 뱅크를 포함한다.
바람직하게는, 상기 시스템은,
손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩(decode)하도록 구성된 제1 디코더; 및
손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하도록 구성된 제2 디코더를 더 포함한다.
바람직하게는, 제1 디코더는 저대역 적응 차분 펄스 코드 변조(ADPCM) 디코더이고;
제2 디코더는 고대역 ADPCM 디코더이고; 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터이고;
제2 합성 필터는 고대역 ADPCM 디코더 합성 필터이다.
바람직하게는, 상기 시스템은 입력 비트스트림을 제1 부대역 비트스트림 및 제2 부대역 비트스트림으로 디멀티플렉싱(de-multiplex)하도록 구성된 비트스트림 디멀티플렉서(de-multiplexer)를 더 포함한다.
바람직하게는, 상기 시스템은 각각 합성된 제1 부대역 오디오 신호의 생성 및 합성된 제2 부대역 오디오 신호의 생성 후에 제1 디코더 및 제2 디코더의 내부 상태들(internal states)을 업데이트(update)하도록 구성된 로직(logic)을 더 포함 한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하도록 구성된 로직은:
합성된 제1 부대역 오디오 신호를 제1 인코더를 통하여 통과(pass)시키도록 구성된 제1 로직; 및
합성된 제2 부대역 오디오 신호를 제2 인코더를 통하여 통과시키도록 구성된 제2 로직을 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하도록 구성된 로직은:
제1 합성 필터를 구동(drive)하기 위해 제1 부대역 외삽 여기 신호를 양자화(quantize)하고 양자화된 제1 부대역 외삽 여기 신호를 사용하도록 구성된 제1 로직; 및
제2 합성 필터를 구동하기 위해 제2 부대역 외삽 여기 신호를 양자화하고 양자화된 제2 부대역 외삽 여기 신호를 사용하도록 구성된 제2 로직을 포함한다.
본 발명의 일 실시예에 따라, 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 방법이 제공되며, 그 방법은:
하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제1 부대역 여기 신호에 근거하여 제1 부대역 외삽 여기 신호를 생성하는 단계;
하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부 대역 여기 신호에 근거하여 제2 부대역 외삽 여기 신호를 생성하는 단계;
합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 제1 부대역 외삽 여기 신호를 필터링하는 단계;
합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 합성 필터에서 제2 부대역 외삽 여기 신호를 필터링하는 단계; 및
손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하는 단계를 포함한다.
바람직하게는, 상기 방법은,
제1 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하는 단계; 및
제2 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하는 단계를 더 포함한다.
바람직하게는, 제1 디코더는 저대역 ADPCM 디코더이고;
제2 디코더는 고대역 ADPCM 디코더이고;
제1 합성 필터는 저대역 ADPCM 디코더 합성 필터이고;
제2 합성 필터는 고대역 ADPCM 디코더 합성 필터이다.
바람직하게는, 상기 방법은, 입력 비트스트림을 제1 부대역 비트스트림 및 제2 부대역 비트스트림으로 디멀티플렉싱(de-multiplex)하는 단계를 더 포함한다.
바람직하게는, 상기 방법은, 각각 합성된 제1 부대역 오디오 신호의 생성 및 합성된 제2 부대역 오디오 신호의 생성후에 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하는 단계를 더 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업테이트하는 단계는,
합성된 제1 부대역 오디오 신호를 제1 인코더를 통하여 통과시키는 단계; 및
합성된 제2 부대역 오디오 신호를 제2 인코더를 통하여 통과시키는 단계를 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하는 단계는,
제1 부대역 외삽 여기 신호를 양자화하는 단계;
제1 합성 필터를 구동하기 위해 양자화된 제1 부대역 외삽 여기 신호를 사용하는 단계;
제2 부대역 외삽 여기 신호를 양자화하는 단계; 및
제2 합성 필터를 구동하기 위해 양자화된 제2 부대역 외삽 여기 신호를 사용하는 단계를 포함한다.
본 발명의 일 측면에 따라, 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 시스템이 제공되며, 그 시스템은:
전대역 여기 신호를 생성하기 위해 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 적어도 제1 부대역 여기 신호와 하나 또는 그 이상의 미 리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호를 결합하도록 구성된 제1 합성 필터 뱅크;
전대역 여기 신호를 수신하고 그로부터의 전대역 외삽 여기 신호를 생성하도록 구성된 전대역 여기 외삽기;
전대역 외삽 여기 신호를 적어도 제1 부대역 외삽 여기 신호 및 제2 부대역 외삽 여기 신호로 나누도록 구성된 분해 필터 뱅크;
합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 부대역 외삽 여기 신호를 필터링하도록 구성된 제1 합성 필터;
합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 부대역 외삽 여기 신호를 필터링하도록 구성된 제2 합성 필터; 및
손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하도록 구성된 제2 합성 필터 뱅크를 포함한다.
바람직하게는, 상기 시스템은 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하도록 구성된 제1 디코더; 및
손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하도록 구성된 제2 디코더를 더 포함한다.
바람직하게는, 제1 디코더는 저대역 ADPCM 디코더이고;
제2 디코더는 고대역 ADPCM 디코더이고;
제1 합성 필터는 저대역 ADPCM 디코더 합성 필터이고;
제2 합성 필터는 고대역 ADPCM 디코더 합성 필터이다.
바람직하게는,상기 시스템은 입력 비트스트림을 제1 부대역 비트스트림 및 제2 부대역 비트스트림으로 디멀티플렉싱하도록 구성된 비트스트림 디멀티플렉서를 더 포함한다.
바람직하게는, 상기 시스템은 각각 합성된 제1 부대역 오디오 신호의 생성 및 합성된 제2 부대역 오디오 신호의 생성후에 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하도록 구성된 로직을 더 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하도록 구성된 로직은,
합성된 제1 부대역 오디오 신호를 제1 인코더를 통하여 통과시키도록 구성된 제1 로직; 및
합성된 제2 부대역 오디오 신호를 제2 인코더를 통하여 통과시키도록 구성된 제2 로직을 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하도록 구성된 로직은,
제1 합성 필터를 구동하기 위해 제1 부대역 외삽 여기 신호를 양자화하고 양자화된 제1 부대역 외삽 여기 신호를 사용하도록 구성된 제1 로직; 및
제2 합성 필터를 구동하기 위해 제2 부대역 외삽 여기 신호를 양자화하고 양자화된 제2 부대역 외삽 여기 신호를 사용하도록 구성된 제2 로직을 포함한다.
본 발명의 일 측면에 따라, 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 방법이 제공되며, 그 방법은:
전대역 여기 신호를 생성하기 위해 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 적어도 제1 부대역 여기 신호와 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호를 결합하는 단계;
전대역 여기 신호에 근거하여 전대역 외삽 여기 신호를 생성하는 단계;
전대역 외삽 여기 신호를 적어도 제1 부대역 외삽 여기 신호 및 제2 부대역 외삽 여기 신호로 나누는 단계;
합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 제1 부대역 외삽 여기 신호를 필터링하는 단계;
합성된 제2 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 제1 부대역 외삽 여기 신호를 필터링하는 단계; 및
손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하는 단계를 포함한다.
바람직하게는, 상기 방법은 제1 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하는 단계; 및
제2 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하는 단계를 더 포함한다.
바람직하게는, 제1 디코더는 저대역 ADPCM 디코더이고;
제2 디코더는 고대역 ADPCM 디코더이고;
제1 합성 필터는 저대역 ADPCM 디코더 합성 필터이고;
제2 합성 필터는 고대역 ADPCM 디코더 합성 필터이다.
바람직하게는, 상기 방법은 입력 비트스트림을 제1 부대역 비트스트림 및 제2 부대역 비트스트림으로 디멀티플렉싱하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 각각 합성된 제1 부대역 오디오 신호의 생성 및 합성된 제2 부대역 오디오 신호의 생성후에 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하는 단계를 더 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하는 단계는,
합성된 제1 부대역 오디오 신호를 제1 인코더를 통하여 통과시키는 단계; 및
합성된 제2 부대역 오디오 신호를 제2 인코더를 통하여 통과시키는 단계를 포함한다.
바람직하게는, 제1 디코더 및 제2 디코더의 내부 상태들을 업데이트하는 단계는,
제1 부대역 외삽 여기 신호를 양자화하는 단계;
제1 합성 필터를 구동하기 위해 양자화된 제1 부대역 외삽 여기 신호를 사용하는 단계;
제2 부대역 외삽 여기 신호를 양자화하는 단계; 및
제2 합성 필터를 구동하기 위해 양자화된 제2 부대역 외삽 여기 신호를 사용하는 단계를 포함한다.
본 발명은 여기 파형의 외삽에 근거하여 부대역 예측 코더용 패킷 손실의 품질 저하 영향을 은폐하기 위한 시스템 및 방법을 제공함으로써, 종래 기술이 갖는 문제를 개선하는 효과를 갖는다.
도면들과 결부시켜질 때 본 발명의 특징들 및 이점들은 이하에서 제공되는 상세한 설명들로부터 더 명백해질 것이다. 구성요소가 처음으로 나타나는 도면은 상응하는 참조 부호에서의 최좌측(leftmost) 숫자(들)에 의해 지시된다.
A. 서설
본 발명에 대한 이하의 상세한 설명은 본 발명과 양립하는 대표적인 실시예들을 설명하는 첨부된 도면들을 참조한다. 본 발명의 사상 및 범위 내에서 다른 실시예들이 가능하고, 설명된 실시예들에 개조들(modifications)이 이뤄질 수 있다. 그러므로, 이하의 상세한 설명은 본 발명을 제한하는 것으로 의도되지는 않는다. 오히려, 본 발명의 범위는 첨부되는 청구항들에 의해 정의된다.
이하에서 설명된 바와 같이, 본 발명이 하드웨어, 소프트웨어, 펌웨어, 및/ 또는 도면들에서 도시된 실체들의 여러가지 다른 실시예들로 구현될 수 있다는 것은 당해 기술 분야에서 숙련된 자들에게 분명해질 것이다. 본 발명을 구현하기 위해 특수화된 제어 하드웨어를 갖는 실질적인 소프트웨어 코드는 본 발명을 제한하지는 않는다. 그리하여, 본 발명의 동작 및 작용은, 여기에서 제공되는 상세한 부분의 수준에서, 실시예들의 개조들 및 변경들이 가능하다고 이해하고 설명될 것이다.
여기에서 제시되는 본 발명의 상세한 설명들이 음성 신호들(speech signals)의 처리를 언급하지만, 본 발명은 또한 오디오 신호들의 다른 형태들의 처리에 관하여 사용될 수도 있다는 것이 이해되어져야 한다. 그러므로, "음성(speech)" 및 "음성 신호"라는 용어들은 여기에서는 단순히 설명의 편의를 위해 사용되었고 이는 본 발명을 제한하지는 않는다. 관련 기술 분야(들)에서 숙련된 자들은 그러한 용어들이 더 일반적인 용어들인 "오디오(audio)" 및 "오디오 신호"로써 대체될 수 있다는 것을 인식할 것이다. 더구나, 비록 음성 및 오디오 신호들이 여기에서 프레임들(frames)로 분할되어 설명되지만, 관련 기술 분야(들)에서 숙련된 자들은 그러한 신호들이, 이에 국한되지는 않지만 서브-프레임들(sub-frames)을 포함하여, 게다가 다른 분리된 세그먼트들(segments)로 분리될 수 있다는 것을 인식할 것이다. 그리하여, 프레임들에서 수행되는 동작들의 여기에서의 설명들은 서브-프레임들과 같이 음성 또는 오디오 신호의 다른 세그먼트들 상에서 수행되는 동작들(operations)과 같이 포함하도록 또한 의도된다.
더구나, 이하의 설명이 패킷 네트워크를 통하여 송신되는 오디오 신호의 프 레임들의 손실("패킷 손실(packet loss)"로 지칭됨)을 논하지만, 본 발명은 패킷 손실 은폐(packet loss concealment;PLC)에 국한되지는 않는다. 예를 들면, 무선 통신망들에서, 채널 손상(channel impairments)에 기인하여 오디오 신호의 프레임들이 또한 손실되거나 삭제(erase)될 수 있다. 이러한 상태는 "프레임 삭제(frame erasure)"로 지칭된다. 이러한 상황이 발생하면, 출력 음성 품질에서의 실질적인 저하를 회피하고자, 무선 시스템에서의 디코더는 손실된 프레임들의 품질-저하 영향들을 은폐하려고 노력하기 위해 "프레임 삭제 은폐(frame erasure concealment)"(FEC)를 수행할 필요가 있다. PLC 또는 FEC 알고리즘을 위해, 패킷 손실 및 프레임 삭제는 결과적으로 동일한 것, 즉, 어떤 송신된 프레임들이 디코딩을 위해 이용가능하지 않고, 그래서 PLC 또는 FEC 알고리즘은 손실된 프레임들에 상응하는 파형 갭을 채우기 위해 파형을 생성하여 프레임 손실의 다른 저하 영향들을 은폐할 필요가 있다는 것에 이른다. FLC 및 PLC라는 용어는 일반적으로 동일한 기술의 종류를 나타내기 때문에, 그들은 호환성있게(interchangeably) 사용될 수 있다. 그리하여, 편의상, "패킷 손실 은폐", 또는 PLC는 여기에서 둘다를 나타내도록 사용된다.
B. 부대역 예측 코딩의 리뷰.
이후에 설명되는 본 발명의 다양한 실시예들의 더 나은 이해를 돕고자, 부대역 예측 코딩(sub-band predictive coding)의 기초적인 원리들이 여기에서 먼저 재고된다. 일반적으로, 부대역 예측 코더(sub-band predictive coder)는 입력 오디오 신호를 N 개의 부대역들(여기서 N ≥ 2)로 나눌 수 있다. 일반성(generality)의 손실없이, ITU-T G.722 코더의 2 대역 예측 코딩 시스템은 여기에서 예로 설명될 것이다. 관련 기술 분야(들)에서 숙련된 자들은 이 설명을 어떤 N개 대역의 부대역 예측 코더에 대해 쉽게 일반화할 수 있을 것이다.
도 1은 G.722 부대역 예측 코더의 간략화된 인코더 구조(100)를 나타낸다. 인코더 구조(100)는 분해 필터 뱅크(110), 저대역(low-band) 적응 차분 펄스 코드 변조(adaptive differential pulse code modulation;ADPCM) 인코더(120), 고대역 ADPCM 인코더(130) 및 비트스트림 멀티플렉서(140)를 포함한다. 분해 필터 뱅크(110)는 입력 오디오 신호를 저대역 오디오 신호 및 고대역 오디오 신호로 나눈다. 저대역 오디오 신호는 저대역 ADPCM 인코더(120)에 의해 저대역 비트스트림으로 인코딩된다. 고대역 오디오 신호는 고대역 ADPCM 인코더(130)에 의해 고대역 비트스트림으로 인코딩된다. 비트스트림 멀티플렉서(140)는 저대역 비트스트림 및 고대역 비트스트림을 하나의 출력 비트스트림으로 멀티플렉스한다. 여기에서 논의되는 패킷 전송 애플리케이션들에서, 이러한 출력 비트스트림은 패킷들 내부로 패키지되고 그 후 도 2에서 보여지는 부대역 예측 디코더(200)로 전송된다.
도 2에서 보여지는 바와 같이, 디코더(200)는 비트스트림 디멀티플렉서(210), 저대역 ADPCM 디코더(220), 고대역 ADPCM 디코더(230), 및 합성 필터 뱅크(240)를 포함한다. 비트스트림 디멀티플렉서(210)는 입력 비트스트림을 저대역 비트스트림 및 고대역 비트스트림으로 분리(separate)한다. 저대역 ADPCM 디코더(220)는 저대역 비트스트림을 디코딩된 저대역 오디오 신호로 디코딩한다. 고대 역 ADPCM 디코더(230)는 고대역 비트스트림을 디코딩된 고대역 오디오 신호로 디코딩한다. 합성 필터 뱅크(240)는 그 후 디코딩된 저대역 오디오 신호 및 디코딩된 고대역 오디오 신호를 전대역 출력 오디오 신호로 결합한다.
C. 여기 파형(excitation waveform)의 외삽(extrapolation)에 근거하여 부대역 예측 코더에서의 패킷 손실 은폐를 수행하기 위한 제1 실시예.
도 3은 본 발명의 제1 실시예에 따른 시스템(300)의 블록 다이어그램이다. 편의상, 시스템(300)은 ITU-T G.722 코더의 일부로서 여기에서 설명되지만, 관련 기술 분야(들)에서 숙련된 자들이라면 여기에서 설명된 발명의 아이디어들은 일반적으로 어떤 N 개 대역의 부대역 예측 코딩 시스템에 적용될 수 있다는 것은 쉽게 이해할 것이다.
도 3에 보여지는 바와 같이, 시스템(300)은 비트스트림 디멀티플렉서(310), 저대역 ADPCM 디코더(320), 저대역 여기 외삽기(322), 저대역 ADPCM 디코더 합성 필터(324), 제1 스위치(326), 고대역 ADPCM 디코더(330), 고대역 여기 외삽기(332), 고대역 ADPCM 디코더 합성 필터(334), 제2 스위치(336), 및 합성 필터 뱅크(340)를 포함한다. 비트스트림 디멀티플렉서(310)는 도 2의 비트스트림 디멀티플렉서(210)와 본질적으로 같은 방식으로 동작하고, 합성 필터 뱅크(340)는 도 2의 합성 필터 뱅크(240)와 본질적으로 같은 방식으로 동작한다.
시스템(300)에 의해 수신된 입력 비트스트림은 일련의 프레임들로 분 할(partition)된다. 시스템(200)에 의해 수신된 프레임은 "양호(good)"로 간주(이 경우에는 정상적인 디코딩에 적합하다)되거나, "불량(bad)"으로 간주(이 경우에는 그것은 틀림없이 재배치되어야만 한다)될 수 있다. 위에서 설명된 바와 같이, "불량" 프레임은 패킷 손실로부터 발생된다.
만약 시스템(300)에 의해 수신되는 프레임이 양호하다면, 저대역 ADPCM 디코더(320)는 저대역 비트스트림을 정상적으로 디코딩된 저대역 오디오 신호로 디코딩한다. 이 경우에, 제1 스위치(326)는 "양호 프레임(good grame)"으로 표시된 상부 위치로 연결되고 그리하여 디코딩된 저대역 오디오 신호를 합성 필터 뱅크(340)로 연결한다. 유사하게, 고대역 ADPCM 디코더(330)는 고대역 비트스트림을 정상적으로 디코딩된 고대역 오디오 신호로 디코딩한다. 이 경우에, 제2 스위치(336)는 "양호 프레임"으로 표시된 상부 위치로 연결되고 그리하여 디코딩된 고대역 오디오 신호를 합성 필터 뱅크(340)로 연결한다. 따라서, 양호 프레임들 동안, 도 3에서의 시스템은 한가지 예외 - 장래의 불량 프레임에서 가능한 사용을 위해 신호의 저대역 여기 신호들이 저대역 여기 외삽기(322)에 저장되고 마찬가지로 장래의 불량 프레임에서 가능한 사용을 위해 신호의 고대역 여기 신호들이 고대역 여기 외삽기(332)에 저장된다는 것 - 이외에는 본질적으로 도 2의 시스템(200)과 동등한 방식으로 동작한다.
만약 시스템(300)에 의해 수신되는 프레임이 불량이라면, 각 부대역의 여기 신호는 현재의 불량 프레임에서의 갭(gap)을 채우기 위해 이전의 양호 프레임들로부터 외삽된다. 이 기능은 저대역 여기 외삽기(322) 및 고대역 여기 외삽기(332)에 의해 수행된다. 당해 기술 분야에서 잘 알려진 많은 여기 외삽 방법들이 있다. 미국 특허 번호 5,615,298은 그러한 방법의 한 예를 제공하고 여기에서 참조로서 사용된다. 일반적으로, 음성 파형(speech waveform)이 거의 주기적인 음성 프레임들(voiced frames)을 위해, 여기 파형은 또한 다소 주기적인 경향이 있고, 따라서 주기적인 성질을 유지하기 위해 주기적인 방식으로 외삽될 수 있다. 음성 파형이 더 잡음처럼 나타나는 비음성 프레임들(unvoiced frames)을 위해, 여기 신호는 잡음같이 되는 경향이 있고, 이 경우에 여기 파형은 적절한 스케일링(scaling)을 갖는 랜덤(random) 잡음 발생기를 사용하여 얻어질 수 있다. 음성의 전이 영역(transition region)에서, 주기적인 외삽 및 잡음 발생기 출력의 혼합이 사용될 수 있다.
각 부대역의 외삽 여기 신호는 그 부대역을 위해 재구성된 오디오 신호를 얻기 위해 그 부대역의 예측 디코더의 합성 필터를 거친다. 특히, 저대역 여기 외삽기(322)의 출력에서 외삽 저대역 여기 신호는 합성된 저대역 오디오 신호를 얻기 위해 저대역 ADPCM 디코더 합성 필터(324)를 거친다. 유사하게, 고대역 여기 외삽기(332)의 출력에서 외삽 고대역 여기 신호는 합성된 고대역 오디오 신호를 얻기 위해 고대역 ADPCM 디코더 합성 필터(334)를 거친다.
불량 프레임의 처리 동안, 제1 스위치(326) 및 제2 스위치(336)는 둘다 "불량 프레임"으로 표시된 하부 위치에 있다. 따라서, 그들은 합성된 저대역 오디오 신호 및 합성된 고대역 오디오 신호를 합성 필터 뱅크(340)로 연결할 것이고, 합성 필터 뱅크(340)는 그들을 현재의 불량 프레임을 위해 그들을 합성된 출력 오디오 신호로 결합한다.
도 3에서의 시스템이 불량 프레임에 대한 처리를 완료하기 전에, 적어도 하나 이상의 태스크(task), 즉, 저대역 ADPCM 디코더(320) 및 고대역 ADPCM 디코더(330)의 내부 상태들을 업데이트하는 것을 수행할 필요가 있다. 그러한 내부 상태들은 필터 계수들(filter coefficients), 필터 메모리(filter memory), 및 양자화기 스텝 사이즈(quantizer step size)를 포함한다. 각 부대역 ADPCM 디코더의 내부 상태들을 업데이트하는 이 동작은, 도 3에서 저대역 ADPCM 디코더 합성 필터(324)로부터 저대역 ADPCM 디코더(320)까지 그리고 고대역 ADPCM 디코더 합성 필터(334)로부터 고대역 ADPCM 디코더(330)까지의 점선 화살표들로 보여진다. 당해 기술 분야에서 숙련된 자들에 의해 이해되는 바와 같이 이들 태스크를 수행하기 위한 많은 가능한 방법들이 있다.
부대역 ADPCM 디코더들(320 및 330)의 내부 상태들을 업데이트하기 위한 제1의 대표적인(exemplary) 기술은 그 부대역의 상응하는 ADPCM 인코더(각각 도 1의 블록들 120 및 130)를 통해 재구성된 부대역 신호를 통과시키는 것이다. 각 부대역 ADPCM 인코더가 상응하는 부대역 ADPCM 디코더와 동일한 내부 상태들을 가지므로, 합성된 부대역 신호(저대역 ADPCM 디코더 합성 필터(324) 또는 고대역 ADPCM 디코더 합성 필터(334)의 출력)의 전체의 현재 재구성된 프레임을 인코딩한 후에, 필터 계수들, 필터 메모리, 및 합성된 부대역 신호의 전체의 재구성된 프레임을 인코딩의 결과 남겨진 양자화기 스텝 사이즈(quantizer step size)가 그 부대역의 ADPCM 디코더의 상응하는 내부 상태들을 업데이트하기 위해 사용된다.
다르게는, 제2의 대표적인 기술에서, 각 부대역의 외삽 여기 신호는 그 부대역의 ADPCM 디코더의 내부 상태들을 업데이트하기 위해 정상 양자화 과정(normal quantization procedure) 및 정상 디코더 필터링 및 디코더 필터 계수들 업데이트들을 거칠 수 있다. 이 경우에, 분리된 스텝에서 그러한 내부 상태들의 업데이트를 수행하기보다 더 효율적인 접근법은 외삽 부대역 여기 신호를 양자화하고 양자화된 외삽 여기 신호를 부대역 디코더 합성 필터(저대역 ADPCM 디코더 합성 필터(324) 또는 고대역 ADPCM 디코더 합성 필터(334))를 구동하기 위해 양자화된 외삽 여기 신호를 사용하는 한편 동시에 저대역 ADPCM 디코더(320) 및 고대역 ADPCM 디코더(330)에서 사용되는 동일한 계수 업데이트 방법을 따라 필터 계수들을 업데이트하는 것이다. 이러한 방법으로, 내부 상태들의 업데이트는 저대역 ADPCM 디코더 합성 필터(324) 및 고대역 ADPCM 디코더 합성 필터(334)의 태스크를 수행하는 것의 부산물(by-product)로서 수행될 것이다.
내부 상태들을 업데이트하기 위한 다른 방법들이 있다. 예를 들면, 어떤 상황들 또는 신호 세그먼트들에 대해, 현재의 불량 프레임의 끝에서 내부 상태들을 업데이트하기 위해 이전의 양호 프레임들에서 이전 상태들의 평균 버젼(version)을 사용하는 것이 더 나을 수 있고, 어떤 다른 상황에서는(예를 들면, 매우 긴 구간을 갖는 패킷 손실에서는), 각각의 부대역 ADPCM 디코더의 모든 내부 상태들을 그들의 초기 상태들로 리셋(reset)하는 것이 더 나을 수 있다.
부대역 예측 디코더들(320 및 330)의 내부 상태들이 불량 프레임의 끝에서 적절하게 업데이트된 후에, 시스템은 그것이 양호 프레임이든 불량 프레임이든 상 관없이 다음 프레임의 처리를 시작할 준비가 되어 있다.
이러한 제1 실시예를 더 설명하기 위해, 도 4는 시스템(300)이 입력 비트스트림의 하나의 프레임을 처리하기 위해 동작하는 방법의 플로우챠트(400)를 설명한다. 도 4에서 보여지는 바와 같이, 플로우챠트(400)의 방법은 단계 402로 시작하고, 여기서 시스템(300)은 입력 비트스트림의 프레임을 수신한다. 결정 단계 404에서 시스템(300)은 그 프레임이 양호한지 불량인지를 판단한다. 만약 그 프레임이 양호하다면, 단계 406으로 시작하는 여러 단계들이 수행된다. 만약 그 프레임이 불량이면, 단계 416으로 시작하는 여러 단계들이 수행된다.
양호 프레임을 수신하는 것에 응답하여 단계 406으로 시작하여 수행되는 일련의 단계들이 지금 설명될 것이다. 단계 406에서, 비트스트림 디멀티플렉서(310)는 양호 프레임에 관련되는 비트스트림을 저대역 비트스틀미 및 고대역 비트스트림으로 디멀티플렉싱한다. 단계 408에서, 저대역 ADPCM 디코더(320)는 디코딩된 저대역 오디오 신호를 생성하기 위해 저대역 비트스트림을 정상적으로(normally) 디코딩한다. 단계 410에서, 고대역 ADPCM 디코더(330)는 디코딩된 고대역 오디오 신호를 생성하기 위해 고대역 비트스트림을 정상적으로 디코딩한다. 단계 412에서, 합성 필터 뱅크(340)는 전대역 출력 신호를 생성하기 위해 디코딩된 저대역 오디오 신호 및 디코딩된 고대역 오디오 신호를 결합한다. 단계 414에서, 현 프레임에 관련되는 저대역 여기 신호들은 장래의 불량 프레임에서의 가능한 사용을 위해 저대역 여기 외삽기(322)에 저장되고 현 프레임에 관련되는 고대역 여기 신호들은 장래의 불량 프레임에서의 가능한 사용을 위해 고대역 여기 외삽기(332)에 저장된다. 단계 414 이후에, 양호 프레임에 관련되는 처리는 단계 428에 보여지는 바와 같이 종료된다.
불량 프레임을 수신하는 것에 응답하여 단계 416으로 시작하여 수행되는 일련의 단계들이 지금 설명될 것이다. 단계 416에서, 저대역 여기 외삽기(322)는 시스템(300)에 의해 처리되는 하나 또는 그 이상의 이전 프레임들에 관련되는 저대역 여기 신호(들)에 근거하여 저대역 여기 신호를 외삽한다. 단계 418에서, 고대역 여기 외삽기(332)는 시스템(300)에 의해 처리되는 하나 또는 그 이상의 이전 프레임들에 관련되는 고대역 여기 신호(들)에 근거하여 고대역 여기 신호를 외삽한다. 단계 420에서, 저대역 외삽 여기 신호는 합성된 저대역 오디오 신호를 얻기 위해 저대역 ADPCM 디코더 합성 필터(324)를 거친다. 단계 422에서, 고대역 외삽 여기 신호는 합성된 고대역 오디오 신호를 얻기 위해 고대역 ADPCM 디코더 합성 필터(334)를 거친다. 단계 424에서, 합성 필터 뱅크(340)는 전대역 출력 오디오 신호를 생성하기 위해 합성된 저대역 오디오 신호 및 합성된 고대역 오디오 신호를 결합한다. 단계 426에서, 저대역 ADPCM 디코더(320) 및 고대역 ADPCM 디코더(330)의 내부 상태들은 업데이트된다. 단계 426 이후에, 불량 프레임에 관련되는 처리는 단계 428에 보여지는 바와 같이 종료된다.
D. 여기 파형의 외삽에 근거하여 부대역 예측 코더에서 패킷 손실 은폐를 수행하기 위한 제2 실시예.
제2 실시예에서, 하나 또는 그 이상의 미리 수신된 양호 프레임들(이들은 버퍼들에 저장됨)에 관련되는 부대역 여기 신호들은 미리 수신된 양호 프레임(들)에 대한 전대역 여기 신호를 얻기 위해 먼저 합성 필터 뱅크를 거치고, 그 후 현 불량 프레임에 관련되는 갭을 채우기 위해 이 전대역 여기 신호 상에서 외삽이 수행된다. 이 전대역 외삽 여기 신호는 그 후 부대역 외삽 여기 신호들로 나누기 위해 분해 필터 뱅크를 거치며, 부대역 외삽 여기 신호들은 그후 부대역 디코더 합성 필터들을 거치고 결국에는 출력 오디오 신호를 만들어내기 위해 합성 필터 뱅크를 거친다. 각 부대역의 예측 디코더의 내부 상태들을 업데이트하기 위한 단계들의 나머지는 상기 제1 실시예를 참조하여 설명되는 바와 같은 방식으로 수행될 수 있다.
본 발명의 이러한 제2 실시예의 블록 다이어그램이 도 5에 보여진다. 도 5에서 보여지는 시스템(500)에서, 유사하게 넘버링된 블록들은 도 3에서와 동일한 기능들을 수행한다. 예를 들면, 블록들(520 및 530)은 각각 블록 320 및 330과 동일한 기능들을 수행한다. 다시, 도 5는 본 발명의 제2 실시예에 따른 대표적인 시스템을 단지 보여준다. 당해 기술 분야에서 숙련된 자들이라면 부대역 예측 코딩 시스템이 도 5에서 보여지는 두 개의 대역 시스템보다는 N 개의 대역 시스템이 될 수 있다는 것을 알 것이다. 여기서 N은 2보다 더 큰 정수일 수 있다. 유사하게, 각 부대역을 위한 예측 코더는 도 5에서 보여지는 바와 같이 ADPCM 코더일 필요는 없지만, 어떤 일반적인 예측 코더일 수 있고, 포워드적응(forward-adaptive) 또는 백워드적응(backward-adaptive)일 수 있다.
이제 도 5를 참조하면, 시스템(500)이 양호 프레임을 처리할 때, 스위치 들(526 및 536)은 "양호 프레임"으로 표시된 상부 위치에 있고 비트스트림 디멀티플렉서(510), 저대역 ADPCM 디코더(520), 고대역 ADPCM 디코더(530), 및 합성 필터 뱅크(540)는 입력 비트스트림을 정상적으로 디코딩하기 위해서 본질적으로 디멀티플렉서(310), 저대역 ADPCM 디코더(320), 고대역 ADPCM 디코더(330), 및 합성 필터 뱅크(340)와 각각 동일한 방식으로 동작한다. 나아가, 양호 프레임들 동안 저대역 ADPCM 디코더(520)에서 만들어지는 저대역 여기 신호는 저대역 여기 버퍼(545)에 저장된다. 마찬가지로, 양호 프레임들 동안 고대역 ADPCM 디코더(530)에서 만들어지는 고대역 여기 신호는 고대역 여기 버퍼(550)에 저장된다.
시스템(500)이 불량 프레임을 처리할 때, 스위치들(526 및 536)은 둘다 "불량 프레임"으로 표시된 하부 위치에 있다. 이 경우에, 합성 필터 뱅크(560)는 저대역 여기 버퍼(545)로부터 저대역 여기 신호를 수신하고 고대역 여기 버퍼(550)로부터 고대역 여기 신호를 수신하며, 두 개의 부대역 여기 신호들을 전대역 여기 신호로 결합한다. 전대역 여기 외삽기(570)는 그 후 이 전대역 여기 신호를 수신하고 현 불량 프레임에 관련되는 갭을 채우기 위해 그것을 외삽한다. 일 실시예에서, 전대역 외삽기(570)는 합성 필터 뱅크(560) 및 분해 필터 뱅크(580)에서의 고유의 필터링 딜레이들을 보상하기 위해 현 불량 프레임의 끝(end)을 넘어 신호를 외삽한다. 분해 필터 뱅크(580)는 그 후, 도 1의 분해 필터 뱅크가 그것의 대역 분해 기능을 수행하는 것과 동일한 방식으로, 이 전대역 외삽 여기 신호를 저대역 외삽 여기 신호 및 고대역 외삽 여기 신호로 나눈다.
저대역 ADPCM 디코더 합성 필터(524)는 그 후 합성된 저대역 오디오 신호를 만들어 내기 위해 저대역 외삽 여기 신호를 필터링하고, 고대역 ADPCM 디코더 합성 필터(534)는 그 후 합성된 고대역 오디오 신호를 만들어 내기 위해 고대역 외삽 여기 신호를 필터링한다. 이들 두 개의 부대역 오디오 신호들은 합성 필터 뱅크(540)에 도달하기 위해 스위치들(526 및 536)을 거치고, 합성 필터 뱅크(540)는 그 후 이들 두 개의 부대역 오디오 신호들을 전대역 출력 오디오 신호로 결합한다.
도 3의 시스템(300)처럼, 도 5의 시스템(500)에서, 저대역 ADPCM 디코더(520) 및 고대역 ADPCM 디코더(530)의 내부 상태들은 다음의 양호 프레임의 정상적 디코딩이 시작되기 전에 적절한 값들로 업데이트될 필요가 있다. 만약 그렇지 않다면, 현저한 왜곡(distortion)이 초래될 수 있다. 저대역 ADPCM 디코더(520) 및 고대역 ADPCM 디코더(530)의 내부 상태들의 업데이트는 상기 제1 실시예의 설명에서의 방법들 아웃라인들(outlines) 중의 하나를 사용하여 수행될 수 있다.
제2 실시예를 더 설명하기 위해, 도 6은 시스템(500)이 입력 비트스트림의 하나의 프레임을 만들어내기 위해 동작하는 방법의 플로우챠트(600)을 보여준다. 도 6에 도시된 바와 같이, 플로우챠트(600)의 방법은 단계 602로 시작하고, 여기서 시스템(500)은 입력 비트스트림의 프레임을 수신한다. 결정 단계 604에서, 시스템(500)은 그 프레임이 양호한지 불량인지를 판단한다. 만약 그 프레임이 양호하다면, 단계 606으로 시작하는의 단계들이 수행된다. 만약 그 프레임이 불량이라면, 단계 616으로 시작하는 다수의 단계들이 수행된다.
양호 프레임을 수신하는 것에 응답하여 단계 606으로 시작함으로써 수행되는 일련의 단계들이 이제 설명된다. 단계 606에서, 비트스트림 디멀티플렉서(510)는 양호 프레임에 관련되는 비트스트림을 저대역 비트스트림 및 고대역 비트스트림으로 디멀티플렉싱한다. 단계 608에서, 저대역 ADPCM 디코더(520)는 디코딩된 저대역 오디오 신호를 생성하기 위해 저대역 비트스트림을 정상적으로 디코딩한다. 단계 610에서, 고대역 ADPCM 디코더(530)는 디코딩된 고대역 오디오 신호를 생성하기 위해 고대역 비트스트림을 정상적으로 디코딩한다. 단계 612에서, 합성 필터 뱅크(540)는 전대역 출력 오디오 신호를 생성하기 위해 디코딩된 저대역 오디오 신호 및 디코딩된 고대역 오디오 신호를 결합한다. 단계 614에서, 현 프레임에 관련되는 저대역 여기 신호는 장래의 불량 프레임에서 가능한 사용을 위하여 저대역 여기 버퍼(545)에 저장되고 현 프레임에 관련되는 고대역 여기 신호는 장래의 불량 프레임에서 가능한 사용을 위하여 고대역 여기 버퍼(550)에 저장된다. 단계 614 이후에, 양호 프레임에 관련되는 처리는 단계 630에서 보여지는 바와 같이 종료한다.
불량 프레임을 수신하는 것에 응답하여 단계 616으로 시작함으로써 수행되는 일련의 단계들이 이제 설명될 것이다. 단계 616에서, 합성 필터 뱅크(560)는 저대역 여기 버퍼(545)로부터 저대역 여기 신호를 수신하고 고대역 여기 버퍼(550)로부터 고대역 여기 신호를 수신하며, 두 개의 부대역 여기 신호들을 전대역 여기 신호로 결합한다. 단계 618에서, 전대역 여기 외삽기(570)는 이 전대역 여기 신호를 수신하고 전대역 외삽 여기 신호를 생성하기 위해 그것을 외삽한다. 단계 620에서, 분해 필터 뱅크(580)는 외삽 전대역 여기 신호를 저대역 외삽 여기 신호 및 고대역 외삽 여기 신호로 나눈다. 단계 622에서, 저대역 ADPCM 디코더 합성 필터(524)는 합성된 저대역 오디오 신호를 만들어 내기 위하여, 저대역 외삽 여기 신호를 필터 링하고, 단계 624에서, 고대역 ADPCM 디코더 합성 필터(534)는 합성된 고대역 오디오 신호를 만들어 내기 위하여 고대역 외삽 여기 신호를 필터링한다. 단계 626에서, 합성 필터 뱅크(540)는 두 개의 합성 부대역 오디오 신호들을 전대역 출력 오디오 신호로 결합한다. 단계 628에서, 저대역 ADPCM 디코더(520) 및 고대역 ADPCM 디코더(530)의 내부 상태들은 업데이트된다. 단계 628이후에, 불량 프레임들에 관련되는 처리는 단계 630에서 보여지는 바와 같이 종료한다.
도 5 및 도 3의 실시예들 사이의 주된 차이점들은 합성 필터 뱅크(560) 및 분해 필터 뱅크(580)의 부가, 그리고 부대역 도메인(domain)보다는 전대역 도메인에서 여기 신호가 이제 외삽된다는 사실이다. 합성 필터 뱅크(560)및 분해 필터 뱅크(580)의 부가는 잠재적으로 상당한 계산의 복잡성(computational complexity)을 부가할 수 있다. 하지만, 전대역 도메인에서의 여기 신호의 외삽은 이점을 제공한다. 이는 이하에서 설명된다.
도 3의 시스템(300)이 고대역 여기 신호를 외삽할 때, 몇가지 잠재적 이슈들이 있다. 첫째, 만약 그것이 고대역 여기 신호에 대해 주기적 외삽을 수행하지 않는다면, 출력 오디오 신호는 다소 높은 주기적 음성 신호들(voiced signals)에서 존재할 수 있는 고대역 오디오 신호의 주기적 성질(nature)을 유지할 수 없을 것이다. 한편, 만약 그것이 고대역 여기 신호에 대해 주기적 외삽을 수행한다면, 비록 계산(computation)을 절약하기 위해 그리고 두 개의 부대역 여기 신호들이 외삽을 위해 동일한 피치 주기(pitch period)를 사용하고 있다는 것을 보장하기 위해 그것이 저대역 여기 신호의 외삽에서 사용되는 것과 동일한 피치 주기를 사용하더라도, 여전히 또 다른 문제가 있다. 고대역 여기 신호가 주기적으로 외삽될 때, 외삽된 고대역 여기 신호는 주기적일 것이고 그것의 스펙트럼에서 하모닉(harmonic) 구조를 가질 것이다. 바꿔 말하면, 고대역 여기 신호의 스펙트럼에서 스펙트럼의 피크들(spectral peaks)의 주파수들은 정수 배로 관련될 것이다. 이 고대역 여기 신호가 고대역 ADPCM 디코더 합성 필터(334)를 거친 후에, 결과적인 고대역 오디오 신호의 스펙트럼의 피크들은 여전히 하모닉하게 관련될 것이다. 그러나, 일단 이 고대역 오디오 신호가 저대역 오디오 신호로써 합성 필터 뱅크(340)에 의해 재결합(re-combine)되면, 고대역 오디오 신호의 스펙트럼은 더 높은 주파수로 "변형(translate)" 또는 천이(shift)될 것이고, 아마도 거울 이미징이 일어날 수도 있다. 그리하여, 그러한 거울 이미징 및 주파수 천이 이후에, 전대역 출력 오디오 신호의 고대역 부분에서의 스펙트럼의 피크들이 여전히 저대역 신호에서의 피치(pitch) 주파수의 정수 배인 주파수를 가질 것이라는 보장이 없다. 이는 잠재적으로 매우 주기적인 음성 신호들(voiced signals)의 출력 오디오 품질에서 저하를 초래할 수 있다. 대조적으로, 도 5에서의 시스템(500)은 이 문제를 가지지 않을 것이다. 시스템(500)이 전대역 도메인에서 여기 신호 외삽을 수행하므로, 고대역에서 하모닉 피크들의 주파수들은 피치 주파수의 정수배가 되도록 보장된다.
요컨대, 이러한 제2 실시예의 이점은 음성 신호들(voiced signals)을 위해 외삽된 전대역 여기 신호 및 최종 전대역 출력 오디오 신호는 스펙트럼의 피크들의 하모닉 구조를 유지할 것이라는 점이다. 한편, 제1 실시예는 낮은 복잡성이라는 이점을 갖지만, 더 높은 부대역들에서 그러한 하모닉 구조를 유지할 수는 없다.
E. 하드웨어 및 소프트웨어 구현들.
범용 컴퓨터 시스템의 이하의 설명이 완성(completeness)을 위하여 제공된다. 본 발명은 하드웨어에서 또는 소프트웨어와 하드웨어의 조합으로서 구현될 수 있다. 결과적으로, 본 발명은 컴퓨터 시스템 또는 다른 처리 시스템의 환경에서 구현될 수 있다. 그러한 컴퓨터 시스템(700)의 예가 도 7에 보여진다. 본 발명에서, 도 4 및 6의 모든 단계들은, 본 발명의 다양한 방법들을 구현하기 위해, 예를 들면, 하나 또는 그 이상의 개별 컴퓨터 시스템들(700) 상에서 실행할 수 있다.
컴퓨터 시스템(700)은 프로세서(704)와 같은 하나 또는 그 이상의 프로세서들을 포함한다. 프로세서들(704)은 전용(special purpose) 또는 범용(general purpose) 디지털 신호 프로세서(digital signal processor)일 수 있다. 프로세서(704)는 통신 기반구조(communication infrastructure, 702)(예를 들면, 버스(bus) 또는 네트워크(network))에 연결된다. 다양한 소프트웨어 구현들이 이러한 대표적인 컴퓨터 시스템에 의해 설명된다. 본 설명을 읽은 이후에, 다른 컴퓨터 시스템들 및/또는 컴퓨터 아키텍쳐들(architectures)을 사용하여 본 발명을 어떻게 구현할 것인지는 관련 기술 분야(들)에서 숙련된 자에게는 분명할 것이다.
컴퓨터 시스템(700)은 또한 메인 메모리(706), 바람직하게는 램(RAM;random access memory)을 포함하고, 또한 보조 메모리(720)를 포함할 수 있다.예를 들면, 보조 메모리(720)는 하드 디스크 드라이브(722) 및/또는 플로피 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브 등을 나타내는 이동식 스토리지 드라이브(removable storage drive, 724)를 포함할 수 있다. 이동식 스토리지 드라이브(724)는 잘 알려진 방식으로 이동식 스토리지 유닛(728)으로부터 읽고/읽거나 이동식 스토리지 유닛(728)에 쓴다. 이동식 스토리지 유닛(728)은 플로피 디스크, 자기 테이프, 광 디스크, 등을 나타내고, 이는 이동식 스토리지 드라이브(724)에 의해 읽혀지거나 쓰여진다. 알 수 있는 바와 같이, 이동식 스토리지 유닛(728)은 그 내부에 저장되는 컴퓨터 소프트웨어 및/또는 데이터를 갖는 컴퓨터 사용가능 스토리지 매체(computer usable storage medium)를 포함한다.
다른 구현들에서, 보조 메모리(720)는 컴퓨터 프로그램들 또는 다른 명령들이 컴퓨터 시스템(700)으로 로딩되도록 허용하기 위한 다른 유사 수단(means)을 포함할 수 있다. 그러한 수단은, 예를 들면, 이동식 스토리지 유닛(730) 및 인터페이스(interface, 726)를 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지(catridge) 및 카트리지 인터페이스(비디오 게임 디바이스들에서 발견되는 것과 같은), 이동식 메모리 칩(EPROM, 또는 PROM과 같은) 및 연관 소켓(associated socket), 및 소프트웨어 및 데이터가 이동식 스토리지 유닛(730)으로부터 컴퓨터 시스템(700)으로 전송되도록 허용하는 다른 이동식 스토리지 유닛들(730) 및 인터페이스들(726)을 포함할 수 있다.
컴퓨터 시스템(700)은 또한 통신 인터페이스(740)를 포함할 수 있다. 통신 인터페이스(740)는 소프트웨어 및 데이터가 컴퓨터 시스템(700) 및 외부 디바이스들 사이에서 전송되도록 허용한다. 통신 인터페이스(740)의 예들은 모뎀, 네트워크 인터페이스(이더넷 카드(Ethernet card)), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(740)를 통하여 전송되는 소프트웨어 및 데이터는 전기적, 전자기적, 광학적, 또는 통신 인터페이스(740)에 의해 수신될 수 있는 다른 신호들일 수 있는 신호들의 형태이다. 이들 신호들은 통신 경로(742)를 통해 통신 인터페이스로 제공된다. 통신 경로(742)는 신호들을 전달하고 와이어(wire) 또는 케이블(cable), 광 섬유(fiber optics), 전화선(phone line), 셀룰러 폰 링크(cellular phone link), 무선 주파수 링크(RF link) 및 다른 통신 채널들을 사용하여 구현될 수 있다.
여기에서 사용된 바와 같이, "컴퓨터 프로그램 매체" 및 "컴퓨터 사용가능 매체"라는 용어는 일반적으로 이동식 스토리지 유닛들(728 및 730), 하드 디스크 드라이브(722)에 인스톨(install)된 하드 디스크, 및 통신 인터페이스(740)에 의해 수신된 신호들과 같은 매체를 나타낸다. 이들 컴퓨터 프로그램 제품들은 소프트웨어를 컴퓨터 시스템(700)으로 제공하기 위한 수단이다.
컴퓨터 프로그램들(또는 컴퓨터 제어로직(computer control logic)으로도 일컬어짐)은 메인 메모리(706) 및/또는 보조 메모리(720)에 저장된다. 컴퓨터 프로그램들은 또한 통신 인터페이스(740)를 통하여 수신될 수 있다. 그러한 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템(700)에게 여기에서 논해진 바와 같은 본 발명을 구현하도록 할 수 있다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서(700)에게 여기에서 설명된 어떤 방법들과 같이, 본 발명의 과정들을 구현하도록 할 수 있다. 따라서, 그러한 컴퓨터 프로그램들은 컴퓨터 시스템(700)의 컨트롤러들을 나 타낸다. 본 발명이 소프트웨어를 사용하여 구현될 때, 그 소프트웨어는 컴퓨터 프로그램 제품에 저장될 수 있고, 이동식 스토리지 드라이브(724), 인터페이스(726), 또는 통신 인터페이스(740)를 사용하여 컴퓨터 시스템(700)에 로딩될 수 있다.
또 다른 실시예에서, 본 발명의 특징들이, 예를 들면, 주문형 반도체들(application-specific integragted circuits;ASICs) 및 게이트 어레이들(gate arrays)과 같은 하드웨어 성분들을 사용하여 주로 하드웨어에서 구현된다. 여기에서 설명된 기능들을 수행하기 위한 하드웨어 상태 기계(hardward state machine)의 구현은 또한 관련 기술 분야(들)에서 숙련된 자들에게는 분명할 것이다.
F. 결론
본 발명의 다양한 실시예들이 위에서 설명되었지만, 그들은 본 발명을 제한하는 것이 아니라 예로 제공되어진 것으로 이해되어야 할 것이다. 본 발명의 사상 및 범위로부터 벗어나지 않고 형태(form) 및 세부사항(detail)에서의 다양한 변경(changes)이 행해질 수 있음은 관련 기술 분야에서 숙련된 자들에게는 분명할 것이다. 따라서, 본 발명의 외연(breadth) 및 범위(scope)는 상술된 대표적인 실시예들의 어떤 것에 의해 제한되어서는 아니되고, 단지 이하의 청구항들 및 그들의 균등물들(equivalents)에 따라 정해져야 할 것이다.
여기에서 구체화되고 명세서의 한 부분을 이루는 첨부되는 도면들은 본 발명의 하나 또는 그 이상의 실시예들을 예를 들어 설명하고, 상세한 설명과 함께 하며, 나아가 본 발명의 목적, 이점들 및 원리들을 설명하고 당해 기술 분야에서 숙련된 자에게 본 발명을 실행하고 사용할 수 있게 하도록 제공된다.
도 1은 ITU-T G.722 부대역 예측 코더의 인코더 구조를 나타낸다.
도 2는 ITU-T G.722 부대역 예측 코더의 디코더 구조를 나타낸다.
도 3은 본 발명의 일 실시예에 따라 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하도록 구성되는 제1 시스템의 블록 다이어그램이다.
도 4는 본 발명의 일 실시예에 따라 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 제1 방법의 플로우챠트이다.
도 5는 본 발명의 일 실시예에 따라 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하도록 구성되는 제2 시스템의 블록 다이어그램이다.
도 6은 본 발명의 일 실시예에 따라 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 제2 방법의 플로우챠트이다.
도 7은 본 발명의 실시예들이 구현될 수 있는 컴퓨터 시스템의 블록 다이어그램이다.

Claims (10)

  1. 부대역 예측 코더(sub-band predictive coder)에서 손실(lost)된 것으로 간주되는 오디오 신호의 일부를 재배치(replace)하기 위한 시스템에 있어서:
    하나 또는 그 이상의 미리(previously) 수신된 오디오 신호의 부분들(portions)에 관련된 제1 부대역 여기 신호(first sub-band excitation signal)에 근거하여 제1 부대역 외삽 여기 신호(first sub-band extrapolated excitation signal)를 생성하도록 구성된 제1 여기 외삽기(first excitation extrapolator);
    하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호(second sub-band excitation signal)에 근거하여 제2 부대역 외삽 여기 신호(second sub-band extrapolated excitation signal)를 생성하도록 구성된 제2 여기 외삽기;
    합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 부대역 외삽 여기 신호를 필터링하도록 구성된 제1 합성 필터(synthesis filter);
    합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 부대역 외삽 여기 신호를 필터링하도록 구성된 제2 합성 필터; 및
    손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역(full-band) 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하도록 구성된 합성 필터 뱅크(synthesis filter bank)를 포함하는 것을 특징으로 하는 시스템.
  2. 청구항 1에 있어서,
    손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림(bit-stream)을 디코딩하도록 구성된 제1 디코더; 및
    손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하도록 구성된 제2 디코더를 더 포함하는 것을 특징으로 하는 시스템.
  3. 청구항 2에 있어서,
    상기 제1 디코더는 저대역(low-band) 적응 차분 펄스 코드 변조(adaptive differential pulse code modulation;ADPCM) 디코더이고;
    상기 제2 디코더는 고대역(high-band) ADPCM 디코더이고;
    상기 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터이고;
    상기 제2 합성 필터는 고대역 ADPCM 디코더 합성 필터인 것을 특징으로 하는 시스템.
  4. 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 방법에 있어서:
    하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제1 부대역 여기 신호에 근거하여 제1 부대역 외삽 여기 신호를 생성하는 단계;
    하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호에 근거하여 제2 부대역 외삽 여기 신호를 생성하는 단계;
    합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 제1 부대역 외삽 여기 신호를 필터링하는 단계;
    합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 합성 필터에서 제2 부대역 외삽 여기 신호를 필터링하는 단계; 및
    손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 청구항 4에 있어서:
    제1 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하는 단계; 및
    제2 디코더에서 손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비트스트림을 디코딩하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 부대역 예측 코더(sub-band predictive coder)에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 시스템에 있어서:
    전대역 여기 신호를 생성하기 위해 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 적어도 제1 부대역 여기 신호와 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호를 결합하도록 구성된 제1 합성 필터 뱅크;
    전대역 여기 신호를 수신하고 그로부터의 전대역 외삽 여기 신호를 생성하도록 구성된 전대역 여기 외삽기;
    전대역 외삽 여기 신호를 적어도 제1 부대역 외삽 여기 신호 및 제2 부대역 외삽 여기 신호로 나누(split)도록 구성된 분해 필터 뱅크(analysis filter bank);
    합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 부대역 외삽 여기 신호를 필터링하도록 구성된 제1 합성 필터;
    합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 부대역 외삽 여기 신호를 필터링하도록 구성된 제2 합성 필터; 및
    손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하도록 구성된 제2 합성 필터 뱅크를 포함하는 것을 특징으로 하는 시스템.
  7. 청구항 6에 있어서,
    손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제1 부대역 비트스트림을 디코딩하도록 구성된 제1 디코더; 및
    손실된 것으로 간주되지 않는 오디오 신호의 일부에 관련되는 제2 부대역 비 트스트림을 디코딩하도록 구성된 제2 디코더를 더 포함하는 것을 특징으로 하는 시스템.
  8. 청구항 7에 있어서,
    상기 제1 디코더는 저대역 적응 차분 펄스 코드 변조(ADPCM) 디코더이고;
    상기 제2 디코더는 고대역 ADPCM 디코더이고;
    상기 제1 합성 필터는 저대역 ADPCM 디코더 합성 필터이고;
    상기 제2 합성 필터는 고대역 ADPCM 디코더 합성 필터인 것을 특징으로 하는 시스템.
  9. 청구항 7에 있어서,
    입력 비트스트림을 상기 제1 부대역 비트스트림 및 상기 제2 부대역 비트스트림으로 디멀티플렉싱(de-multiplex)하도록 구성된 비트스트림 디멀티플렉서(bit-stream de-multiplexer)를 더 포함하는 것을 특징으로 하는 시스템.
  10. 부대역 예측 코더에서 손실된 것으로 간주되는 오디오 신호의 일부를 재배치하기 위한 방법에 있어서:
    전대역 여기 신호를 생성하기 위해 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 적어도 제1 부대역 여기 신호와 하나 또는 그 이상의 미리 수신된 오디오 신호의 부분들에 관련되는 제2 부대역 여기 신호를 결합하는 단 계;
    상기 전대역 여기 신호에 근거하여 전대역 외삽 여기 신호를 생성하는 단계;
    상기 전대역 외삽 여기 신호를 적어도 제1 부대역 외삽 여기 신호 및 제2 부대역 외삽 여기 신호로 나누는 단계;
    합성된 제1 부대역 오디오 신호를 생성하기 위해 제1 합성 필터에서 상기 제1 부대역 외삽 여기 신호를 필터링하는 단계;
    합성된 제2 부대역 오디오 신호를 생성하기 위해 제2 합성 필터에서 상기 제2 부대역 외삽 여기 신호를 필터링하는 단계; 및
    손실된 것으로 간주되는 오디오 신호의 일부에 상응하는 전대역 출력 오디오 신호를 생성하기 위해 적어도 합성된 제1 부대역 오디오 신호 및 합성된 제2 부대역 오디오 신호를 결합하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020070080412A 2006-08-11 2007-08-10 여기 파형의 외삽에 근거한 부대역 예측 코더용 패킷 손실은폐 KR100912045B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US83693706P 2006-08-11 2006-08-11
US60/836,937 2006-08-11
US11/835,716 2007-08-08
US11/835,716 US8280728B2 (en) 2006-08-11 2007-08-08 Packet loss concealment for a sub-band predictive coder based on extrapolation of excitation waveform

Publications (2)

Publication Number Publication Date
KR20080014678A KR20080014678A (ko) 2008-02-14
KR100912045B1 true KR100912045B1 (ko) 2009-08-12

Family

ID=38698351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070080412A KR100912045B1 (ko) 2006-08-11 2007-08-10 여기 파형의 외삽에 근거한 부대역 예측 코더용 패킷 손실은폐

Country Status (6)

Country Link
US (2) US8280728B2 (ko)
EP (1) EP1887563B1 (ko)
KR (1) KR100912045B1 (ko)
CN (1) CN101136201B (ko)
HK (1) HK1119479A1 (ko)
TW (1) TWI377562B (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280728B2 (en) * 2006-08-11 2012-10-02 Broadcom Corporation Packet loss concealment for a sub-band predictive coder based on extrapolation of excitation waveform
GB0704622D0 (en) * 2007-03-09 2007-04-18 Skype Ltd Speech coding system and method
US20090048828A1 (en) * 2007-08-15 2009-02-19 University Of Washington Gap interpolation in acoustic signals using coherent demodulation
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8126578B2 (en) * 2007-09-26 2012-02-28 University Of Washington Clipped-waveform repair in acoustic signals using generalized linear prediction
CN101552008B (zh) * 2008-04-01 2011-11-16 华为技术有限公司 语音编码方法及装置、语音解码方法及装置
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
US9525569B2 (en) * 2010-03-03 2016-12-20 Skype Enhanced circuit-switched calls
US8660195B2 (en) 2010-08-10 2014-02-25 Qualcomm Incorporated Using quantized prediction memory during fast recovery coding
US9130643B2 (en) 2012-01-31 2015-09-08 Broadcom Corporation Systems and methods for enhancing audio quality of FM receivers
US9178553B2 (en) * 2012-01-31 2015-11-03 Broadcom Corporation Systems and methods for enhancing audio quality of FM receivers
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
US9542955B2 (en) 2014-03-31 2017-01-10 Qualcomm Incorporated High-band signal coding using multiple sub-bands
KR102242260B1 (ko) 2014-10-14 2021-04-20 삼성전자 주식회사 이동 통신 네트워크에서 음성 품질 향상 방법 및 장치
US9706317B2 (en) 2014-10-24 2017-07-11 Starkey Laboratories, Inc. Packet loss concealment techniques for phone-to-hearing-aid streaming
EP3023983B1 (en) * 2014-11-21 2017-10-18 AKG Acoustics GmbH Method of packet loss concealment in ADPCM codec and ADPCM decoder with PLC circuit
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN108600248B (zh) * 2018-05-04 2021-04-13 广东电网有限责任公司 一种通信安全防护方法及装置
CN112334981A (zh) 2018-05-31 2021-02-05 舒尔获得控股公司 用于自动混合的智能语音启动的系统及方法
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615298A (en) 1994-03-14 1997-03-25 Lucent Technologies Inc. Excitation signal synthesis during frame erasure or packet loss
US20030093746A1 (en) 2001-10-26 2003-05-15 Hong-Goo Kang System and methods for concealing errors in data transmission
US20050143985A1 (en) 2003-12-26 2005-06-30 Jongmo Sung Apparatus and method for concealing highband error in spilt-band wideband voice codec and decoding system using the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550543A (en) * 1994-10-14 1996-08-27 Lucent Technologies Inc. Frame erasure or packet loss compensation method
US6961697B1 (en) * 1999-04-19 2005-11-01 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US7031926B2 (en) * 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
US7711563B2 (en) * 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
US7177804B2 (en) * 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
US8280728B2 (en) * 2006-08-11 2012-10-02 Broadcom Corporation Packet loss concealment for a sub-band predictive coder based on extrapolation of excitation waveform
US8024192B2 (en) * 2006-08-15 2011-09-20 Broadcom Corporation Time-warping of decoded audio signal after packet loss

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615298A (en) 1994-03-14 1997-03-25 Lucent Technologies Inc. Excitation signal synthesis during frame erasure or packet loss
US20030093746A1 (en) 2001-10-26 2003-05-15 Hong-Goo Kang System and methods for concealing errors in data transmission
US20050143985A1 (en) 2003-12-26 2005-06-30 Jongmo Sung Apparatus and method for concealing highband error in spilt-band wideband voice codec and decoding system using the same

Also Published As

Publication number Publication date
CN101136201A (zh) 2008-03-05
EP1887563B1 (en) 2013-10-16
US8280728B2 (en) 2012-10-02
HK1119479A1 (en) 2009-03-06
US20080040122A1 (en) 2008-02-14
US8457952B2 (en) 2013-06-04
KR20080014678A (ko) 2008-02-14
CN101136201B (zh) 2011-04-13
US20090248405A1 (en) 2009-10-01
TWI377562B (en) 2012-11-21
TW200907931A (en) 2009-02-16
EP1887563A1 (en) 2008-02-13

Similar Documents

Publication Publication Date Title
KR100912045B1 (ko) 여기 파형의 외삽에 근거한 부대역 예측 코더용 패킷 손실은폐
KR101041892B1 (ko) 패킷 손실 은닉 후 디코더 상태의 갱신 기법
US7876966B2 (en) Switching between coding schemes
RU2584463C2 (ru) Кодирование звука с малой задержкой, содержащее чередующиеся предсказательное кодирование и кодирование с преобразованием
KR101366124B1 (ko) 오디오 인코딩/디코딩에서의 인지 가중 장치
RU2459282C2 (ru) Масштабируемое кодирование речи и аудио с использованием комбинаторного кодирования mdct-спектра
RU2496156C2 (ru) Маскирование ошибки передачи в цифровом аудиосигнале в иерархической структуре декодирования
US8738385B2 (en) Pitch-based pre-filtering and post-filtering for compression of audio signals
EP1493146B1 (en) Encoding and decoding devices, methods and programs
KR101703810B1 (ko) 디지털 오디오 신호들의 계층적 코딩/디코딩을 개선하기 위한 향상 코딩／ 디코딩에서의 비트들의 할당
KR20080005325A (ko) 적응적 부호화/복호화 방법 및 장치
US8812327B2 (en) Coding/decoding of digital audio signals
EP2270775B1 (en) Lossless multi-channel audio codec
US20090299755A1 (en) Method for Post-Processing a Signal in an Audio Decoder
KR100952065B1 (ko) 부호화 방법 및 장치, 및 복호 방법 및 장치
US8607127B2 (en) Transmission error dissimulation in a digital signal with complexity distribution
US6012025A (en) Audio coding method and apparatus using backward adaptive prediction
KR100467326B1 (ko) 추가 비트 할당 기법을 이용한 음성 부호화 및 복호화를위한 송수신기
JP7279160B2 (ja) サブバンド併合および時間領域エイリアシング低減を使用した適応的な非均一時間／周波数タイリングによる知覚音声符号化
Kokes et al. A wideband speech codec based on nonlinear approximation

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140902

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150803

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160725

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee