KR20050091034A - 압축-도메인 패킷 손실 은폐를 위한 방법 및 장치 - Google Patents

압축-도메인 패킷 손실 은폐를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20050091034A
KR20050091034A KR1020057012261A KR20057012261A KR20050091034A KR 20050091034 A KR20050091034 A KR 20050091034A KR 1020057012261 A KR1020057012261 A KR 1020057012261A KR 20057012261 A KR20057012261 A KR 20057012261A KR 20050091034 A KR20050091034 A KR 20050091034A
Authority
KR
South Korea
Prior art keywords
frame
current frame
defective
data
neighboring
Prior art date
Application number
KR1020057012261A
Other languages
English (en)
Other versions
KR100747716B1 (ko
Inventor
예 왕
주하 오잔페라
자리 코르호넨
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20050091034A publication Critical patent/KR20050091034A/ko
Application granted granted Critical
Publication of KR100747716B1 publication Critical patent/KR100747716B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

압축 도메인에서 AAC 비트스트림내의 손실된 데이터를 복구하기 위한 오류 은폐 방법 및 장치가 제공된다. 상기 비트스트림은 복수의 프레임들로 분할되는데, 상기 프레임 각각은 헤더/글로벌 이득, 스케일 인자들 및 QMDCT 계수들을 포함하는 복수의 데이터 부분들을 지닌다. 상기 데이터 부분들은 복수의 버퍼들에 저장되어서, 현재 프레임의 하나 이상의 데이터 부분들이 손상되거나 손실되는 경우, 이웃하는 프레임들내의 대응하는 데이터 부분이 현재 프레임내의 오류들을 은폐하는데 사용된다.

Description

압축-도메인 패킷 손실 은폐를 위한 방법 및 장치{Method and device for compressed-domain packet loss concealment}
관련된 출원들에 대한 상호 참조
본 발명은 본 발명의 양수인에게 양도된, 2002년 10월 23일자 출원된, 계류중인 미국 특허 출원 번호 10/281,395와 관련된다. 또한 본 발명은 본 발명의 양수인에게 양도된, 출원일이 2002년 6월 14일인, 계류중인 특허 출원 번호 PCT/IB02/02193과 관련되며, 상기 출원에서 부분적으로 청구되었을 수도 있다.
본 발명은 일반적으로 오류 은폐에 관한 것으로, 특히 디지털 오디오 스트리밍 애플리케이션들에서 발생하는 송신 오류들의 은폐를 위한 패킷 손실 복구에 관한 것이다.
스트리밍 매체가 이동 장치에서 이용가능한 경우, 사용자는 예를 들어 음악을 듣기 위해 이동 장치를 사용할 수 있다. 음악 청취 애플리케이션들을 위해, 오디오 신호들은 일반적으로 송신용 디지털 패킷 포맷들로 압축된다. 인터넷을 통한 MP3(MPEG-1/2 레이어 3)와 같은, 압축된 디지털 오디오의 송신은 이미 전통적인 음악 분배 프로세스에 대해 심호한 영향을 끼쳤다. 오디오 신호 압축 분야에서의 최근의 발전은 이동 단말기를 사용하여 디지털 오디오를 스트리밍하는 것을 가능하게 하였다. 네트워크 트래픽의 증가에 따라, 패킷 네트워크에서의 트래픽 정체 또는 과도한 지연으로 인한 오디오 패킷들의 손실이 발생할 가능성이 있다. 더욱이, 무선 채널은 또한 패킷 손실을 초래할 수 있는 오류의 다른 소스이다. 이러한 상태하에서, 음악 스트리밍 애플리케이션들의 광범위한 수용을 유도하기 위하여 서비스 품질(QoS: Quality of Service)을 개선하는 것은 중요하다.
패킷 손실로 인한 사운드 품질의 저하를 완화하기 위하여, 다양한 종래 기술들 및 그들의 조합이 제안되었다. 비균등 오류 방지(UEP: unequal error protection), 순방향 오류 정정(FEC: forward error correction)의 서브클래스는 이와 관련한 중요한 개념들 중 하나이다. UEP는 비트들이 비트 오류 감도에 따라 상이한 클래스들로 분할되는, MPEG AAC(Advanced Audio Coding: 진보된 오디오 부호화)와 같은 압축 도메인 오디오 비트스트림들을 보호하기 위한 매우 효율적인 도구라는 것이 증명되었다. 충격 사운드(percussive sound)의 오류 은폐를 위해 UEP를 사용하는 것은 미국 특허 출원 번호 10/281,395에 개시되어 있다.
다른 접근에서, 코호넨(Korhonen)(2002년 5월, 플로리다, 올랜도, 음향, 음성 및 신호 처리에 대한 IEEE 국제 회의 2002의 회보, 페이지 2053-2056에 있는, "샘플들의 인터프레임 셔플링에 기초한 지각적으로 부호화된 오디오를 위한 오류 강건함 방식", )은 오디오 프레임을 두 부분들로 분리한다: 중요 데이터부 및 덜 중요한 데이터부. 상기 중요 데이터부를 포함하는 페이로드는 전송 제어 프로토콜(TCP: Transmission Control Protocol)과 같은, 신뢰성있는 수단을 통해 전송되고, 반면에 덜 중요한 데이터부는 사용자 데이터그램 프로토콜(UDP: User Datagram Protocol)과 같은 수단을 통해 전송된다.
하지만, 이동 IP 네트워크들의 오류 특성들 및 레이턴시에 대한 제약으로 인하여, 다양한 UEP 방식들 및 선택적인 재전송 방식들에서의 패킷 전달은 아직도 매우 신뢰성이 있지 않다. 특히 오류들이 정체된 IP 네트워크에서의 패킷 손실, 무선 인터페이스에서의 비트 오류들 및 셀룰러 네트워크에서의 핸드오버로 인한 경우, 패킷 전달은 매우 신뢰성이 있지 않다. 따라서, 이동 IP 네트워크들, 2.5G 및 3G 네트워크들 및 블루투스와 같은, 패킷 네트워크들을 통한 고품질 오디오 스트리밍을 위한 강건한 방법 및 시스템을 제공하는 것이 유리하고 바람직하다. 이러한 방법 및 시스템은 요구되는 계산 복잡성 및 메모리/전력 소비를 고려해야 한다.
MPEG-2/MPEG-4 AAC 부호기들 및 그들의 관련된 데이터 구조는 당 기술분야에 알려져 있다. AAC 프레임의 데이터 구조가 도 1에 도시되어 있다. 프레임은 중요 데이터부(예를 들어 헤더), 스케일 인자들 및 양자화된 수정 이산 코사인 변환 계수들(QMDCT 데이터)을 포함한다. MPEG-2 복호기가 도 2에 도시되어 있다. 도시된 바와 같이, 복호기(10)는 13818-7 부호화된 오디오 스트림(210)을 수신하고 복호기내의 다양한 복호화 툴들로 신호들(얇은 라인들) 및 데이터(두꺼운 라인)를 제공하기 위한 비트스트림 역다중화기를 포함한다. 상기 복호기(10)내의 툴들은 이득 제어 모듈, AAC 스펙트럼 처리 블록 및 AAC 복호화 블록을 포함한다. 도 2에 도시된 바와 같이, AAC 프레임내의 중요 데이터부(110)는 비트스트림 역다중화기에 의해 제공된 신호들(220) 및 데이터(230)로부터 획득될 수 있다. QMDCT 데이터(112)는 무잡음 복호화 툴의 출력으로부터 획득될 수 있다. 스케일 인자들(114)은 스케일 인자 복호화 툴의 출력으로부터 획득될 수 있다. 종래 기술에서, 오류 은폐는 대부분 시간 도메인(예를 들어 PCM 샘플(240)) 또는 스펙트럼 도메인(예를 들어 MDCT 및 IMDCT 계수들)에서 수행된다. 종래 기술의 해법들은 더 많은 메모리, 계산 및 전력 소비를 필요로 한다. 오디오 스트리밍이 이동 단말기에서 수행되는 경우, 메모리 요건, 계산 복잡성 및 전력 소비가 실질적으로 감소될 수 있는 오류 은폐 방법을 사용하는 것이 바람직하다.
도 1은 AAC 프레임의 데이터 구조를 도시한 블록도이다.
도 2는 종래 기술의 MPEG-2 AAC 복호기를 도시한 블록도이다.
도 3은 본 발명에 의한, 오류 은폐 방법을 도시한 순서도이다.
도 4는 AAC 프레임의 손상된 중요 데이터 부분의 복구를 도시한 개략도이다.
도 5는 손실 스케일 인자들의 복구를 도시한 개략도이다.
도 6은 AAC 프레임의 좌측 및 우측 채널들의 롱-윈도화된 스케일 인자들을 도시한 도면이다.
도 7은 롱-윈도화된 스케일 인자들의 다른 예를 도시한 도면이다.
도 8은 두개의 인접한 AAC 프레임들의 숏-윈도화된 스케일 인자들을 도시한 도면이다.
도 9는 AAC 프레임내의 스케일 인자 벡터를 도시한 개략도이다.
도 10은 손실 부호화된 스케일 인자를 추정하는 탐색 프로세스를 도시한 개략도이다.
도 11a는 AAC 프레임의 스테레오 채널들 중 하나의 QMDCT 계수들을 도시한 도면이다.
도 11b는 AAC 프레임의 스테레오 채널들 중 다른 하나의 QMDCT 계수들을 도시한 도면이다.
도 12는 본 발명에 의한, 오류 은폐 방법을 수행할 수 있는 수신기를 도시한 블록도이다.
도 13은 본 발명에 의한, 오류 은폐 모듈을 지닌 이동 단말기를 도시한 블록도이다.
본 발명은 디지털 오디오 스트리밍에서 발생하는 전송 오류들의 오류 은폐를 위한 방법 및 장치를 제공한다. 특히, 전송으로 인한 패킷 손실은 압축 도메인에서 복구된다.
따라서, 본 발명의 일 태양에 의하면, 오디오 신호들을 나타내는 비트스트림에서의 오류 은폐 방법으로서, 상기 비스트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하고, 각 프레임은 압축 도메인에서의 복수의 데이터 부분들을 지니는 방법이 제공된다. 상기 방법은,
상기 압축 도메인에서의 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하는 단계;
상기 현재 프레임이 결함이 있는지를 결정하는 단계;
상기 현재 프레임이 결함이 있는 경우 상기 현재 프레임에서 적어도 하나의 결함있는 데이터 부분을 검출하는 단계; 및
상기 적어도 하나의 이웃하는 프레임내의 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 적어도 하나의 결함있는 데이터 부분을 복구하는 단계를 포함하는 것을 특징으로 한다.
현재 프레임내의 결함있는 데이터 부분이 헤더인 경우, 상기 결함있는 헤더는 상기 적어도 하나의 이웃하는 프레임내의 저장된 데이터 부분들 중 적어도 한 부분의 헤더와 관련된 통계 특성들에 기초하여 복구된다.
현재 프레임내의 상기 결함있는 데이터 부분이 글로벌 이득값인 경우, 상기 결함있는 데이터 부분은 상기 현재 프레임내의 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임내의 글로벌 이득에 기초하여 복구된다.
바람직하기로는, 상기 적어도 하나의 이웃하는 프레임은 제1 글로벌 이득값을 지닌 제1 프레임 및 상기 제1 글로벌 이득값보다 작은 제2 글로벌 이득값을 지닌 제2 프레임을 포함하고, 상기 현재 프레임내의 결함있는 데이터 부분은 상기 제2 글로벌 이득값에 기초하여 복구된다.
상기 현재 프레임내의 결함있는 데이터 부분들이 하나 이상의 스케일 인자들을 포함하는 경우, 상기 결함있는 데이터 부분들은 현재 프레임내의 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임내의 스케일 인자들에 기초하여 복구된다.
상기 현재 프레임내의 결함있는 데이터 부분들이 QMDCT 계수들을 포함하는 경우, 상기 결함있는 데이터 부분들은 상기 적어도 하나의 이웃하는 프레임내의 QMDCT 계수들, 특히 저주파수 영역내의 계수들에 기초하여 복구된다. 현재 프레임내의 상기 손실 QMDCT 계수들은 0들로 대체될 수 있다.
본 발명의 제2 태양에 의하면, 변조 도메인에서의 오디오 데이터를 제공하기 위하여 오디오 신호들을 나타내는 비트스트림을 복호화하기 위한 오디오 복호기로서, 상기 비트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하고, 각 프레임은 복수의 데이터 부분들을 포함하며, 상기 복호기는 압축 도메인에서의 상기 복수의 데이터 부분들을 나타내는 신호를 제공하기 위하여 상기 각각의 프레임을 복호화하기 위한 제1 모듈을 포함하는 오디오 복호기가 제공된다. 상기 복호기는,
상기 신호에 응답하여, 상기 압축 도메인에서의 상기 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하기 위한 제2 모듈; 및
상기 적어도 하나의 이웃하는 프레임내의 상기 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여, 상기 현재 프레임이 결함이 있는 경우 상기 압축 도메인에서의 적어도 하나의 결함있는 데이터 부분을 검출하기 위한 제3 모듈을 포함하는 것을 특징으로 한다.
본 발명의 제3 태양에 의하면, 오디오 스트리밍으로 패킷 데이터를 수신하기에 적합한 오디오 수신기로서, 상기 수신기는 상기 수신된 패킷 데이터를 오디오 신호들을 나타내는 비트스트림으로 언패킹하기 위한 언패킹 모듈을 포함하고, 상기 비트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하며, 각 프레임은 복수의 데이터 부분들을 구비하는 오디오 수신기가 제공된다. 상기 수신기는,
압축 도메인에서의 상기 복수의 데이터 부분들을 나타내는 신호를 제공하기 위하여 상기 각 프레임을 복호화하기 위한 복호화 모듈;
상기 신호에 응답하여, 상기 압축 도메인에서의 상기 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하기 위한 저장 모듈; 및
상기 적어도 하나의 이웃하는 프레임내의 상기 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 현재 프레임이 결함이 있는 경우 상기 현재 프레임에서 적어도 하나의 데이터 부분을 검출하기 위한 오류 은폐 모듈을 포함하는 것을 특징으로 한다.
본 발명의 제4 태양에 의하면, 이동 단말기와 같은 통신 장치가 제공된다. 상기 통신 장치는,
안테나 및
상기 안테나에 연결되고 오디오 스트리밍으로 패킷 데이터를 수신하기 위한 오디오 수신기로서, 상기 수신기는 수신된 패킷 데이터를 오디오 신호들을 나타내는 비트스트림으로 언패킹하기 위한 언패킹 모듈을 포함하고, 상기 비트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하며, 각 프레임은 복수의 데이터 부분들을 포함하는 오디오 수신기를 포함하고, 상기 수신기는,
압축 도메인에서의 상기 복수의 데이터 부분들을 나타내는 신호를 제공하기 위하여 상기 각 프레임을 복호화하기 위한 복호화 모듈;
상기 신호에 응답하여, 상기 압축 도메인에서의 상기 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하기 위한 저장 모듈; 및
상기 적어도 하나의 이웃하는 프레임내의 상기 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 현재 프레임이 결함이 있는 경우 상기 현재 프레임에서 적어도 하나의 데이터 부분을 검출하기 위한 오류 은폐 모듈을 더 포함한다.
본 발명은 도 3 내지 도 13과 함께 취해지는 설명을 읽을 때 명백해질 것이다.
다양한 UEP(비균등 오류 방지) 방식들을 적용한 후, 수신측에서의 상황은 대부분의 패킷 손실이 AAC 프레임에서 QMDCT(양자화된 수정 이산 코사인 변환) 데이터에서 발생하는 것일 것 같다. 어떤 패킷 손실은 AAC 스케일 인자들에서 발생한다. 드문 경우, 패킷 손실은 상기 중요 데이터 또는 AAC 헤더 및 글로벌 이득에서 발생할 수 있다. 상기 중요 데이터가 손실이 있는 경우, 상기 AAC 프레임의 나머지 부분을 복호화하는 것은 매우 어렵다.
따라서, 본 발명은 압축 도메인에서 직접 오류 은폐를 수행한다. 특히, 본 발명은 AAC 프레임의 3개의 개별 부분들, 상기 헤더 및 글로벌 이득을 포함하는 중요 데이터 부분, 상기 QMDCT 데이터 및 스케일 인자들에서의 오류들을 은폐한다. 본 발명에 의한 오류 은폐 방법이 도 3의 흐름도(500)에 도시되어 있다. 부호화된 오디오 비트스트림이 비트스트림 역다중화기(도 2)에 의해 분류된 후, AAC 프레임내의 헤더 및 글로벌 이득을 나타내는 데이터(110), 상기 QMDCT 계수들을 나타내는 데이터(112) 및 상기 스케일 인자를 나타내는 데이터(114)가 획득되고 오류 은폐를 위해 검사된다. 단계 510에서, 오류가 상기 헤더 및 글로벌 이득에서 발생하는지를 결정하기 위하여 데이터(110)가 검사된다. 오류가 발생하는 경우, 상기 AAC 비트스트림은 오류 처리기로 라우팅되는데, 상기 헤더/글로벌 이득 오류가 단계 512에서 정정된다. 상기 헤더/글로벌 이득 데이터에 아무런 오류도 존재하지 않는 경우, 단계 520에서 오류가 상기 QMDCT 계수들에서 발생하는지를 결정하기 위하여 데이터(112)가 검사된다. 오류가 발생하는 경우, 상기 AAC 비트스트림은 상기 오류 처리기로 라우팅되고, QMDCT 계수들에서의 오류는 단계 522에서 정정된다. 그다음 단계 530에서, 오류가 상기 스케일 인자들에서 발생하는지를 결정하기 위하여 데이터(114)가 검사된다. 오류가 발생하는 경우, 상기 스케일 인자들에서의 오류는 단계 532에서 정정된다. 상기 오류 은폐 단계들 이후에, 상기 오류 은폐된 AAC 비트스트림은 PCM 샘플들이 되도록 단계 540에서 데이터 복호기에 의해 복호화된다.
현재의 AAC 프레임에서 데이터(110, 112 및 114)내의 오류들을 은폐하기 위하여, 적어도 하나의 이전 프레임내의 대응하는 데이터가 버퍼에 저장되는 것이 바람직하다. 본 발명을 수행할 수 있는 수신기가 도 12에 도시되어 있다.
상기 AAC 헤더 및 글로벌 이득을 나타내는 데이터는 오류 은폐시 가장 중요한 데이터이기 때문에, 상기 중요 데이터의 보호는 강조되어야 한다. 상기 보호는 하기에 설명되는 바와 같이 다수의 방법들로 달성될 수 있다.
1) 상기 중요 데이터는 스트리밍이 시작되기 전에, 미리 전송될 수 있다. 이러한 방식으로, 패킷 손실의 발생은 대부분 상기 QMDCT 데이터 및 상기 스케일 인자들에서 발생할 것 같다.
2) 상기 중요 데이터는 선택적인 재전송 방식에 의해 보호된다. 상기 중요 데이터는 대부분의 AAC 비트스트림들의 10% 미만을 차지하기 때문에, 네트워크 기반 재전송 방식은 전송 대역폭을 상당히 감소시키지 않을 것이다.
3) 상기 중요 데이터는 송신기 측에서 보조 데이터로서 다수의 패킷들에 내장된다.
상기 방법들 중 어떤 하나를 가지고, 하나 이상의 프레임들의 중요 데이터가 상기 수신기 측에 저장될 수 있다. 패킷 손실이 상기 중요 데이터에 존재하는 경우, 상기 중요 데이터의 적어도 일부는 그들의 통계적 특성 및 데이터 구조들에 기반하여 이웃하는 프레임들로부터 획득될 수 있다. 예를 들어, 프레임 n의 MDCT 윈도 시퀀스는 프레임들 n-1 및 n+1내의 대응하는 데이터로부터 결정될 수 있다. 마찬가지로, 윈도 모양은 이웃하는 프레임들로부터 신뢰성있게 추정될 수 있다. 상기 글로벌 이득에 관하여, 이웃 프레임들 n-1 및 n+1내의 글로벌 이득값들 중 작은 이득값이 프레임 n내의 손실 값을 대체하는데 사용될 수 있는 것이 바람직하다. 상기 기준은 딥(dip)을 초래하는 필-인(fill-in) 사운드 세그먼트가 사이코 음향(psychoacoustics)에 따라 서지(surge)의 것보다 지각적으로 더 좋다는 사실을 반영한다. 상기 중요 데이터에서 오류 은폐를 위한 중요 데이터 버퍼가 도 4에 도시되어 있다.
손상된 프레임 n내의 중요 데이터가 프레임 n-1 및 프레임 n+1내의 중요 데이터에 기반하여 획득되고 상기 획득된 중요 데이터가 저장된 후, 상기 필-인을 생성하는 적어도 두가지 방법들이 존재한다:
1. 여기에서 나중에 설명되는 바와 같이 이웃하는 프레임들로부터 프레임 n에 대해 손실 스케일 인자들 및 QMDCT 데이터를 추정한다.
2. 상기 프레임내의 스케일 인자들 및 QMDCT 계수들을 0으로 설정함으로써 압축 도메인에서 전체 프레임 n을 묵음화하고 MDCT 도메인 또는 PCM 도메인에서 오류들을 은폐한다(도 2 및 도 12 참조).
패킷 손실이 AAC 스케일 인자들에서만 존재하는 경우(즉 동일한 프레임내의 상기 AAC 헤더 및 상기 글로벌 이득이 이용가능한 경우), 상기 글로벌 이득 및 호프만 표가 개별 스케일 인자들을 부호화하는데 사용될 수 있다. 더욱이, 0 스케일 인자들을 지닌 섹션들은 각 데이터 섹션에서의 섹션 데이터 및 최대값으로부터 획득될 수 있다. 이와 같이, 개별 DPCM(차분 펄스 부호 변조) 스케일 인자 및 심지어 AAC 프레임내의 전체 스케일 인자들을 추정하는 것이 가능하다. 손실 데이터를 추정하기 위한 기본적인 방법은 부분 패턴 매칭 접근법이다.
스케일 인자들내의 오류들은 상이한 방법들로 발생할 수 있다: 1) AAC 프레임내의 전체 스케일 인자들이 손실된다; 2) 상기 AAC 프레임내의 스케일 인자들의 섹션이 손실된다; 3) 상기 AAC 프레임내의 개별 스케일 인자가 손실된다. AAC 프레임내의 모든 스케일 인자들이 손실되는 경우, 손실 스케일 인자들은 도 5에 도시된 바와 같이, 하나 이상의 이웃하는 프레임들에 기반하여 계산될 수 있다. 도 5는 스테레오 음악이 부호화되는 경우를 도시한 것으로, 따라서 프레임은 두개의 채널들을 지닌다. 각 채널내의 스케일 벡터들을 벡터로 간주함으로써, 이웃하는 벡터들의 컨투어들(contours)은 인터-프레임 또는 인터-채널 상관이 지배적인지를 결정하는데 사용될 수 있다. 인터-채널 상관이 인터-프레임 상관보다 더 높은 경우, 손실 스케일 인자 벡터는 인접한 채널 스케일 인자 벡터로 대체되고, 역도 마찬가지이다. 롱 윈도들의 스케일 인자 벡터들의 치수는 숏 윈도들의 치수와 상이하기 때문에, 오류 은폐를 위하여 롱 및 숏 윈도들 양자에 대해 스케일 인자 벡터들을 저장하는 것이 필요하다는 것은 주목되어야 한다. 도 6 및 도 7은 롱-윈도화된 스케일 인자들의 예들을 도시한 것이고, 도 8은 오디오 비트스트림의 두개의 AAC 프레임들의 숏-윈도화된 스케일 인자들의 예를 도시한 것이다. 도 6, 도 7 및 도 8에서, 제1 스케일 인자는 글로벌 이득을 제공하는데 사용된다. 상기 숏 윈도들의 스케일 인자들이 손실된 경우, 그들은 저장된 숏-윈도화된 스케일 인자들을 사용하여 복구되어야 한다. 마찬가지로, 상기 롱 윈도들의 스케일 인자들이 손실된 경우, 그들은 롱-윈도화된 스케일 인자들을 사용하여 복구되어야 한다.
상기 글로벌 이득인, 상기 제1 스케일 인자를 제외하고, 우리는 두개의 채널들 x, y간의 부분 유클리드 거리(dx,y)를 다음과 같이 계산한다:
상기에서 N은 채널내의 스케일 인자들의 수이고, SCF는 개별 스케일 인자이며, w는 지각 가중 인자이고 c = Gx - Gy이며 Gx, Gy는 채널들 x, y에 대한 글로벌 이득들이다. 더 복잡한 구현을 위해, c는 두개의 채널들간의 최소 거리를 야기하기 위하여 탐색 방법을 사용하여 획득될 수 있다.
예를 들어, 프레임 n의 우측 채널에 대한 스케일 인자들의 모두 또는 한 섹션이 손실된 경우, 인터-채널 상관 또는 인터-프레임 상관이 오류 은폐를 위해 사용되는지를 결정하기 위하여, 프레임 n-1의 좌측 및 우측 채널들간의 부분 유클리드 거리(d1) 및 프레임 n-1의 좌측 채널과 프레임 n의 좌측 채널간의 부분 유클리드 거리(d2)가 계산된다. d1>d2(또는 래그(lag)=2)인 경우, 인터-프레임 상관이 사용되어야 하고 프레임 n의 우측 채널내의 손실된 스케일 인자들은 프레임 n-1의 우측 채널내의 스케일 인자들에 기반하여 복구되어야 한다. d1<d2(또는 래그(lag)=1)인 경우, 인터-채널 상관이 사용되어야 하고 프레임 n의 우측 채널내의 손실된 스케일 인자들은 프레임 n의 좌측 채널내의 스케일 인자들에 기반하여 복구되어야 한다. 손실 스케일 인자들을 저장된 것들로 대체하기 전에, 어떤 거짓 에너지 서지를 막기 위하여 또는 거짓 현저한 주파수 성분들을 생성하는 것을 회피하기 위하여 어떤 조정이 필요할 수 있다. 예를 들어, 두 채널들간의 글로벌 이득 오프셋, c가 고려되어야 한다.
AAC 프레임내의 개별 스케일 인자가 손실되고 그것의 위치가 알려져 있는 경우, 하나 이상의 이웃하는 프레임들내의 스케일 인자들이 손상되지 않으면 손실 DPCM 부호화된 스케일 인자를 추정하는 것이 가능하다. 보편성을 잃지 않고, 우리는 도 9에 도시된 바와 같이, 두개의 개별 스케일 인자들이 손실된다고 가정한다. 도 9에서, 손실 스케일 인자들(x1, x2)은 음영 영역들로 도시되고, 각각은 동일한 프레임내의 손상되지 않은 스케일 인자들의 벡터들(빈 영역들) 사이에 위치해 있다. 우리는 제1 손실 스케일 인자(x1)가 발생할 때까지 상기 프레임내의 스케일 인자들을 복호화할 수 있다. x1 및 x2 사이의 데이터가 정확할지라도, 그들은 DPCM 부호화의 속성 때문에 직접 사용될 수 없다. 하지만, 도 10에 도시된 바와 같이, 손실 스케일 인자(x1)를 추정하는데 탐색 방법이 사용될 수 있다. 상기 탐색은 0에서 시작하는데, 왜냐하면 그것이 손실 스케일 인자(x1)의 가장 가망있는 값이기 때문이고, 상기 탐색은 x2 이전에 상기 스케일 인자에서 정지한다. 각 단계에서, 부분 유클리드 거리가 계산되고, 상기 계산된 값들 중에서, 최소 유클리드 거리가 손실 스케일 인자(x1)를 추정하는데 사용된다. 상기 탐색에서, 도 10에 도시된 바와 같이, 최소 유클리드 거리는 6번째 단계에서 발견되고 상기 손실 스케일 인자(x1)는 3이다. 상기 손실 스케일 인자(x2)는 유사한 방법으로 결정될 수 있다.
패킷 손실에 있어서의 가장 빈번한 경우는 QMDCT 계수들이 손상되거나 손실되지만, 상기 헤더 및 스케일 인자들은 이용가능한 경우이다. 이러한 경우, 상기 부분 패턴 매칭 접근법이 또한 손실된 QMDCT 계수들을 복구하는데 사용될 수 있다. AAC 프레임의 QMDCT 계수들의 예가 도 11a 및 도 11b에 도시되어 있다. 오디오 스트리밍 동안, 수신된 프레임의 QMDCT 계수들에 기반한 특징 벡터(FV: Feature Vector)가 연속적으로 계산된다. 상기 오류 은폐 방법과 함께 사용되는 특징들은 최대 절대값, 평균 절대값 및 대역폭(0이 아닌 값들의 수)이다. AAC 프레임내의 두개의 스테레오 채널들의 QMDCT 계수들은 도 11a 및 도 11b에 개별적으로 도시되어 있다. 도시된 바와 같이, 큰 값들은 보통 저주파수 영역에 집중되어 있다. 프레임내의 손실된 QMDCT 계수들을 복구하기 위하여, 상기 QMDCT 계수들은 그들의 평균 및 분산에 기반하여 두개의 주파수 영역들로 분할된다. 저주파수 영역에서, 일반적으로 큰 값들을 복구하기 위하여 시간 도메인 상관 방법이 사용되는 것이 바람직하다. 예를 들어, 상기 QMDCT 계수들이 손실되는 경우, 그들은 가망있는 상관된 QMDCT 벡터내의 대응하는 계수들로 대체될 수 있다. 여기에서 특징 벡터는 가망있는 상관을 찾는데 사용된다. 하지만, 고주파수 영역에서 상이한 방법이 선호된다.
고주파수 영역에서 QMDCT를 복구하기 위하여, 두개의 상황이 가정된다. 프레임의 전체 QMDCT 계수들(최대 1024)이 손실되는 경우, 버퍼링된 정보만이 손실 QMDCT 계수들을 복구하는데 사용되는 것이 바람직하다. 인터-채널 또는 인터-프레임 상관이 사용되어야 하는지를 결정하기 위하여 이전 프레임내의 특징 벡터들의 자동 상관을 사용하는 래그 값(1 또는 2)이 계산된다. 상기 래그 값에 기반하여, 동일한 프레임의 상이한 채널 또는 상이한 프레임의 동일한 채널이 사용되는지가 결정될 수 있다. 프레임들로부터 계산된 래그 값들을 가지고, 어떤 이전 프레임이 손실 계수들을 대체하는데 사용될 것인지를 결정하는 것이 또한 가능하다. 필-인 QMDCT 계수들이 사용되는 호프만 코드북에 의해 정의된 바와 같은 최대값을 초과하지 못하게 하기 위하여, 상기 필-인 QMDCT 계수들은 클리핑되어야 한다. 전체 필-인 QMDCT 계수들이 상수만큼 감소될 수 있어서, 예를 들어, 상기 필-인 프레임에 에너지 서지가 존재하지 않을 것이다.
고주파수 영역에서의 QMDCT 계수들의 고립된 클러스터만이 손실된 경우(예를 들어 2 또는 4의 클러스터), 오류들을 은폐하는 가장 단순한 방법은 모든 손실 QMDCT 계수들을 0들로 대체하는 것이다.
저주파수 영역에서의 QMDCT 계수들의 고립된 클러스터만이 손실된 경우, 인터-프레임 상관이 이웃하는 프레임들과의 부분 유클리드 거리를 검사하는데 사용될 수 있고, 상기 필-인 계수들은 거짓 에너지 서지가 발생하지 못하게 하기 위하여 감소하는 인자만큼 변경된다.
도 12는 MDCT 도메인에서의 오류 은폐 뿐만 아니라, 본 발명에 따라, 압축 도메인에서 오류 은폐를 수행할 수 있는, 수신기 측에서의 AAC 복호기를 도시한 블록도이다. 더욱이, 그것은 계류중인 미국 특허 출원 번호 10/281,395에서 논의되는 바와 같이, PCM 도메인에서 충격(percussive) 사운드들내의 오류들을 은폐할 수 있다. 도 12에 도시된 바와 같이, 수신기측(5)에서, 패킷 언패킹 모듈(20)은 패킷 데이터(200)를 AAC 비트스트림(210)으로 변환하는데 사용된다. 코드북을 나타내는 정보(202)는 저장을 위해 충격 코드북 버퍼(22)에 제공된다. 동시에, 패킷이 손실되는지를 검사하기 위하여, 패킷 시퀀스 번호를 나타내는 정보(204)가 오류 검사 모듈(24)에 제공된다. 패킷이 손실된 경우, 상기 오류 검사 모듈(24)은 불량 프레임 표시기(28)에게 손실 패킷을 알린다. 상기 불량 프레임 표시기(28)는 또한 충격 코드북내의 어떤 요소가 오류 은폐를 위해 사용되어야 하는지를 나타낸다. 상기 불량 프레임 표시기(28)에 의해 제공된 정보에 기반하여, 압축 도메인 오류 은폐 유닛(30)은 손상되거나 손실된 오디오 프레임들을 나타내는 정보를 AAC 복호기(10)에 제공한다. 병행하여, 상기 복호기(10)에서 비트스트림 오류를 탐지하기 위하여 코드-중복성 검사(CRC) 모듈(26)이 사용된다. 상기 CRC 모듈(26)은 비트스트림 오류를 나타내는 정보를 상기 불량 프레임 표시기(28)에 제공한다. 상기 압축 도메인 오류 은폐 모듈(30)에 동작가능하게 연결된, 복수의 버퍼들(32, 34 및 36)은 헤더 및 글로벌 이득을 나타내는 데이터, 스케일 인자들 및 QMDCT 계수들을 저장하는데 사용된다. AAC 프레임들에서 어떤 데이터 부분들이 손실되는지에 의존하여, 버퍼들(32, 34 및 36)내의 데이터는 상기 손실 데이터 부분들을 획득하거나 계산하는데 사용된다. 유리하게는, MDCT 계수들을 저장하기 위하여 버퍼(42)가 제공되고 상기 불량 프레임의 스케일 인자들 및 QMDCT 데이터가 0으로 설정되는 경우 MDCT 도메인 오류 은폐 모듈(40)이 오류들을 은폐하는데 사용된다.
상기 AAC 비트스트림(210)내의 오류들이 압축 도메인 또는 MDCT 도메인에서 은폐되는 경우, 상기 AAC 복호기(10)는 상기 AAC 비트스트림을 PCM 샘플들(240)로 복호화한다. 재생 버퍼(50)에 의해 제공되는 바와 같이 충격 사운드를 나타내는 정보에 기반하여, PCM 도메인 오류 은폐 유닛(52)은 상기 충격 코드 버퍼(22)에 의해 제공된 코드북 요소(206)를 사용하여 손상되거나 손실된 충격 사운드들을 재구성한다. 상기 오류 은폐된 PCM 샘플들(250)은 재생 장치에 제공된다.
상술된 바와 같이, 오디오 비트스트림에서 손상되거나 손실된 충격 사운드들을 재구성하기 위하여 상기 수신기(5)가 오류 은폐 모듈들 및 버퍼들을 또한 포함한다는 것은 주목되어야 한다. 충격 사운드 복구의 상세는 계류중인 미국 특허 출원 번호 10/281,395에 개시되어 있다. 하지만, 본 발명에 의한 압축 도메인 패킷 손실 은폐를 위한 방법 및 장치는 충격 사운드 복구 방식없이 구현될 수 있다.
상기 오류 은폐 방법 및 장치는 도 13에 도시된 바와 같이 이동 단말기에서 사용될 수 있다. 도 13은 본 발명의 예시적인 일 실시예에 의한 이동 단말기(300)의 블록도를 도시한 것이다. 상기 이동 단말기(300)는 마이크로폰(301), 키패드(307), 디스플레이(306), 송신/수신 스위치(308), 안테나(309) 및 제어 유닛(305)과 같은, 단말기의 전형적인 부분들을 포함한다. 더욱이, 도 13은 이동 단말기의 전형적인 송신기 및 수신기 블록들(304, 311)을 보여준다. 상기 송신기 블록(304)은 음성 신호를 부호화하기 위한 부호기(321)를 포함한다. 상기 송신기 블록(304)은 명확화를 위해 도 13에 도시되지 않은, RF 기능들 뿐만 아니라 채널 부호화, 복호화 및 변조에 필요한 동작들을 또한 포함한다. 상기 수신기 블록(311)은 예를 들어 음악 청취를 위해 압축된 디지털 오디오 데이터를 수신할 수 있는 복호화 블록(320)을 포함한다. 따라서, 상기 복호화 블록(320)은 상기 AAC 복호기(10)와 유사한 복호기 및 도 12에 도시된 바와 같이, 압축 도메인 오류 은폐 모듈(30), MDCT 도메인 오류 은폐 모듈(40)과 버퍼들(32, 34, 36, 42)과 유사한 오류 은폐 모듈들/버퍼들(322)을 포함한다. 상기 마이크로폰(301)으로부터 오고, 증폭단(302)에서 증폭되며 A/D 변환기(303)에서 디지털화된 신호는 상기 송신기 블록(304)에서 취해지는데, 전형적으로 상기 송신기 블록에 의해 포함된 음성 부호화 장치에서 취해진다. 상기 송신기 블록에 의해 처리되고 변조되며 증폭된 송신 신호는 송신/수신 스위치(308)를 통해 안테나(309)에서 취해진다. 수신되는 신호는 안테나로부터 상기 송신/수신 스위치(308)를 통해 수신된 신호를 복조하는 상기 수신기 블록(311)에 서 취해진다. 상기 복호화 블록(320)은 복조되어 수신된 신호내의 패킷 데이터를 복수의 프레임들을 포함하는 AAC 비트스트림으로 변환할 수 있다. 상기 버퍼들에 저장된 데이터에 기반하여, 상기 오류 은폐 모듈들은 결함있는 프레임내의 손실된 데이터를 복구한다. 오류-은폐된 PCM 샘플들은 재생 장치(312)에 공급된다. 상기 제어 유닛(305)은 상기 이동 단말기(300)의 동작을 제어하고, 상기 키패드(307)로부터 사용자에 의해 제공된 제어 명령들을 읽으며 디스플레이(306)를 통해 사용자에게 메시지들을 제공한다.
따라서, 본 발명이 본 발명의 바람직한 실시예에 관하여 설명되었을지라도, 본 발명의 형태 및 상세에서의 상기한 변경들과 다양한 다른 변경들, 생략들 및 변형들이 본 발명의 범위를 벗어나지 않고 행해질 수 있다는 것은 당업자에 의해 이해될 것이다.

Claims (13)

  1. 오디오 신호들을 나타내는 비트스트림에서의 오류 은폐 방법으로서, 상기 비스트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하고, 각 프레임은 압축 도메인에서의 복수의 데이터 부분들을 지니는 방법에 있어서,
    상기 압축 도메인에서의 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하는 단계;
    상기 현재 프레임이 결함이 있는지를 결정하는 단계;
    상기 현재 프레임이 결함이 있는 경우 상기 현재 프레임에서 적어도 하나의 결함있는 데이터 부분을 검출하는 단계; 및
    상기 적어도 하나의 이웃하는 프레임내의 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 적어도 하나의 결함있는 데이터 부분을 복구하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 헤더를 포함하고 상기 복구는 상기 적어도 하나의 이웃하는 프레임내의 저장된 데이터 부분들 중 적어도 한 부분의 헤더와 관련된 통계 특성에 기초하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 윈도 시퀀스를 포함하고, 상기 저장된 데이터 부분들 중 적어도 하나는 상기 현재 프레임내의 상기 적어도 하나의 결함있는 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임에 상기 윈도 시퀀스를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 윈도 모양을 포함하고, 상기 저장된 데이터 부분들 중 적어도 하나는 상기 현재 프레임내의 상기 적어도 하나의 결함있는 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임에 상기 윈도 모양을 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 글로벌 이득값을 포함하고, 상기 저장된 데이터 부분들 중 적어도 하나는 상기 현재 프레임내의 상기 적어도 하나의 결함있는 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임에 상기 글로벌 이득값을 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 글로벌 이득값을 포함하고, 상기 적어도 하나의 이웃하는 프레임은 제1 글로벌 이득값을 지닌 제1 프레임 및 상기 제1 글로벌 이득값보다 작은 제2 글로벌 이득값을 지닌 제2 프레임을 포함하며, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 상기 제2 글로벌 이득값에 기초하여 복구되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 하나 이상의 스케일 인자들을 포함하고, 상기 저장된 데이터 부분들 중 적어도 하나는 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임에 하나 이상의 스케일 인자들을 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분은 복수의 변환 계수들을 포함하고 상기 저장된 데이터 부분들 중 적어도 하나는 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 적어도 하나의 이웃하는 프레임에 상기 복수의 변환 계수들을 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 변환 계수들은 QMDCT 계수들을 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 QMDCT 계수들은 고주파수 영역 및 저주파수 영역의 계수들을 포함하고, 상기 결함있는 데이터 부분의 저주파수 영역의 계수들은 상기 적어도 하나의 이웃하는 프레임내의 상기 저주파수 영역의 대응하는 계수들에 기초하여 복구되는 것을 특징으로 하는 방법.
  11. 변조 도메인에서의 오디오 데이터를 제공하기 위하여 오디오 신호들을 나타내는 비트스트림을 복호화하기 위한 오디오 복호기로서, 상기 비트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하고, 각 프레임은 복수의 데이터 부분들을 포함하며, 상기 복호기는 압축 도메인에서의 상기 복수의 데이터 부분들을 나타내는 신호를 제공하기 위하여 상기 각각의 프레임을 복호화하기 위한 제1 모듈을 포함하는 오디오 복호기에 있어서,
    상기 신호에 응답하여, 상기 압축 도메인에서의 상기 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하기 위한 제2 모듈; 및
    상기 적어도 하나의 이웃하는 프레임내의 상기 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여, 상기 현재 프레임이 결함이 있는 경우 상기 압축 도메인에서의 적어도 하나의 결함있는 데이터 부분을 검출하기 위한 제3 모듈을 포함하는 것을 특징으로 하는 오디오 복호기.
  12. 오디오 스트리밍으로 패킷 데이터를 수신하기에 적합한 오디오 수신기로서, 상기 수신기는 상기 수신된 패킷 데이터를 오디오 신호들을 나타내는 비트스트림으로 언패킹하기 위한 언패킹 모듈을 포함하고, 상기 비트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하며, 각 프레임은 복수의 데이터 부분들을 지니는 오디오 수신기에 있어서,
    압축 도메인에서의 상기 복수의 데이터 부분들을 나타내는 신호를 제공하기 위하여 상기 각 프레임을 복호화하기 위한 복호화 모듈;
    상기 신호에 응답하여, 상기 압축 도메인에서의 상기 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하기 위한 저장 모듈; 및
    상기 적어도 하나의 이웃하는 프레임내의 상기 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 현재 프레임이 결함이 있는 경우 상기 현재 프레임에서 적어도 하나의 데이터 부분을 검출하기 위한 오류 은폐 모듈을 포함하는 것을 특징으로 하는 오디오 수신기.
  13. 안테나 및
    상기 안테나에 연결되고 오디오 스트리밍으로 패킷 데이터를 수신하기 위한 오디오 수신기를 포함하는 이동 단말기로서, 상기 수신기는 수신된 패킷 데이터를 오디오 신호들을 나타내는 비트스트림으로 언패킹하기 위한 언패킹 모듈을 포함하고, 상기 비트스트림은 현재 프레임 및 적어도 하나의 이웃하는 프레임을 포함하며, 각 프레임은 복수의 데이터 부분들을 지니는 이동 단말기에 있어서,
    상기 수신기는,
    압축 도메인에서의 상기 복수의 데이터 부분들을 나타내는 신호를 제공하기 위하여 상기 각 프레임을 복호화하기 위한 복호화 모듈;
    상기 신호에 응답하여, 상기 압축 도메인에서의 상기 복수의 데이터 부분들을 상기 적어도 하나의 이웃하는 프레임에 저장하기 위한 저장 모듈; 및
    상기 적어도 하나의 이웃하는 프레임내의 상기 저장된 데이터 부분들 중 적어도 하나에 기초하여 상기 현재 프레임내의 상기 적어도 하나의 결함있는 데이터 부분을 복구하기 위하여 상기 현재 프레임이 결함이 있는 경우 상기 현재 프레임에서 적어도 하나의 데이터 부분을 검출하기 위한 오류 은폐 모듈을 더 포함하는 것을 특징으로 하는 이동 단말기.
KR1020057012261A 2002-12-31 2003-12-29 압축-도메인 패킷 손실 은폐를 위한 방법 및 장치 KR100747716B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/335,543 US6985856B2 (en) 2002-12-31 2002-12-31 Method and device for compressed-domain packet loss concealment
US10/335,543 2002-12-31

Publications (2)

Publication Number Publication Date
KR20050091034A true KR20050091034A (ko) 2005-09-14
KR100747716B1 KR100747716B1 (ko) 2007-08-08

Family

ID=32655380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012261A KR100747716B1 (ko) 2002-12-31 2003-12-29 압축-도메인 패킷 손실 은폐를 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US6985856B2 (ko)
EP (1) EP1579425B1 (ko)
KR (1) KR100747716B1 (ko)
CN (1) CN100545908C (ko)
AT (1) ATE537535T1 (ko)
AU (1) AU2003298476A1 (ko)
WO (1) WO2004059894A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228165B1 (ko) * 2008-06-13 2013-01-30 노키아 코포레이션 프레임 에러 은폐 방법, 장치 및 컴퓨터 판독가능한 저장 매체
US9293144B2 (en) 2013-02-05 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment
US9478221B2 (en) 2013-02-05 2016-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced audio frame loss concealment
US9847086B2 (en) 2013-02-05 2017-12-19 Telefonaktiebolaget L M Ericsson (Publ) Audio frame loss concealment
WO2022181912A1 (ko) * 2021-02-23 2022-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054744A1 (en) * 2000-12-29 2002-07-11 Nokia Corporation Audio signal quality enhancement in a digital network
KR100567921B1 (ko) * 2001-06-04 2006-04-05 마츠시타 덴끼 산교 가부시키가이샤 콘텐츠 제공 및 보호용의 유연 및 공통 ｉｐｍｐ 시스템의장치 및 방법
US7970618B2 (en) * 2004-04-02 2011-06-28 Kddi Corporation Content distribution server for distributing content frame for reproducing music and terminal
JP2005292702A (ja) * 2004-04-05 2005-10-20 Kddi Corp オーディオフレームに対するフェードイン／フェードアウト処理装置及びプログラム
JP4473869B2 (ja) * 2004-05-10 2010-06-02 日本電信電話株式会社 音響信号のパケット通信方法、送信方法、受信方法、これらの装置およびプログラム
EP1746751B1 (en) * 2004-06-02 2009-09-30 Panasonic Corporation Audio data receiving apparatus and audio data receiving method
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
US20060133621A1 (en) * 2004-12-22 2006-06-22 Broadcom Corporation Wireless telephone having multiple microphones
US20070116300A1 (en) * 2004-12-22 2007-05-24 Broadcom Corporation Channel decoding for wireless telephones with multiple microphones and multiple description transmission
US8509703B2 (en) * 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
TWI335146B (en) * 2005-10-31 2010-12-21 Sk Telecom Co Ltd Audio data packet format, method for decoding audio data packet format, method for correcting codec setup error, and mobile communication terminal adapted to correct codec setup error
KR100706968B1 (ko) * 2005-10-31 2007-04-12 에스케이 텔레콤주식회사 오디오 데이터 패킷 생성 장치 및 이의 복조 방법
EP1970899A4 (en) * 2005-12-21 2009-05-06 Nec Corp CODE CONVERTING DEVICE, CODE CONVERTING METHOD USED THEREFOR, AND CORRESPONDING PROGRAM
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
JP2008047223A (ja) * 2006-08-17 2008-02-28 Oki Electric Ind Co Ltd オーディオ再生回路
JP2008076847A (ja) * 2006-09-22 2008-04-03 Matsushita Electric Ind Co Ltd 復号器及び信号処理システム
KR101291193B1 (ko) 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8428661B2 (en) * 2007-10-30 2013-04-23 Broadcom Corporation Speech intelligibility in telephones with multiple microphones
KR101073813B1 (ko) 2008-01-30 2011-10-14 주식회사 코아로직 비트스트림 오류 보완방법, 비트스트림 오류 보완전처리기, 및 그 전처리기를 포함하는 디코딩 장치
CN101552008B (zh) * 2008-04-01 2011-11-16 华为技术有限公司 语音编码方法及装置、语音解码方法及装置
CN101616059B (zh) * 2008-06-27 2011-09-14 华为技术有限公司 一种丢包隐藏的方法和装置
CN101308660B (zh) * 2008-07-07 2011-07-20 浙江大学 一种音频压缩流的解码端错误恢复方法
TWI392252B (zh) * 2009-01-21 2013-04-01 Mstar Semiconductor Inc 可適性差分脈衝碼調變－解調變系統與方法
CN101604523B (zh) * 2009-04-22 2012-01-04 网经科技（苏州）有限公司 在g.711语音编码中隐藏冗余信息的方法
US8352252B2 (en) * 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
US20110257964A1 (en) * 2010-04-16 2011-10-20 Rathonyi Bela Minimizing Speech Delay in Communication Devices
US8612242B2 (en) * 2010-04-16 2013-12-17 St-Ericsson Sa Minimizing speech delay in communication devices
CN101937679B (zh) * 2010-07-05 2012-01-11 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码装置
CN101894558A (zh) * 2010-08-04 2010-11-24 华为技术有限公司 丢帧恢复方法、设备以及语音增强方法、设备和系统
CN102063906B (zh) * 2010-09-19 2012-05-23 北京航空航天大学 一种aac音频实时解码容错控制方法
US9177570B2 (en) 2011-04-15 2015-11-03 St-Ericsson Sa Time scaling of audio frames to adapt audio processing to communications network timing
US20130191120A1 (en) * 2012-01-24 2013-07-25 Broadcom Corporation Constrained soft decision packet loss concealment
CN103325373A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 用于传送和接收音频信号的方法和设备
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
KR101987894B1 (ko) * 2013-02-12 2019-06-11 삼성전자주식회사 보코더 잡음 억제 방법 및 장치
CN103280222B (zh) * 2013-06-03 2014-08-06 腾讯科技（深圳）有限公司 音频编码、解码方法及其系统
JP6228298B2 (ja) * 2013-06-21 2017-11-08 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器
CN104299614B (zh) * 2013-07-16 2017-12-29 华为技术有限公司 解码方法和解码装置
CN108364657B (zh) * 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
JP5744992B2 (ja) * 2013-09-17 2015-07-08 株式会社Ｎｔｔドコモ 音声信号出力装置、音声信号出力方法および音声信号出力プログラム
BR122022008597B1 (pt) 2013-10-31 2023-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro que modifica um sinal de excitação de domínio de tempo
PT3285254T (pt) * 2013-10-31 2019-07-09 Fraunhofer Ges Forschung Descodificador de áudio e método para fornecer uma informação de áudio descodificada utilizando uma ocultação de erro com base num sinal de excitação no domínio de tempo
CN104751849B (zh) 2013-12-31 2017-04-19 华为技术有限公司 语音频码流的解码方法及装置
CN107369453B (zh) * 2014-03-21 2021-04-20 华为技术有限公司 语音频码流的解码方法及装置
CN106683681B (zh) 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
KR102547480B1 (ko) * 2014-12-09 2023-06-26 돌비 인터네셔널 에이비 Ｍｄｃｔ-도메인 에러 은닉
CN104978967B (zh) * 2015-07-09 2018-11-13 武汉大学 用于降低空间参数误码率的三维音频编码方法及装置
US10784988B2 (en) 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
US10803876B2 (en) * 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
WO2020165262A2 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
WO2020164752A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111131C2 (de) * 1991-04-06 2001-08-23 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen digitalisierter Tonsignale
JP2746033B2 (ja) * 1992-12-24 1998-04-28 日本電気株式会社 音声復号化装置
JPH08328599A (ja) * 1995-06-01 1996-12-13 Mitsubishi Electric Corp Ｍｐｅｇオーディオ復号器
JP2927242B2 (ja) * 1996-06-28 1999-07-28 日本電気株式会社 音声符号データの誤り処理装置及び誤り処理方法
FI963870A (fi) * 1996-09-27 1998-03-28 Nokia Oy Ab Virheiden piilottaminen digitaalisessa audiovastaanottimessa
CA2262894C (en) * 1997-06-19 2004-08-03 Kabushiki Kaisha Toshiba Information data multiplexing transmission system, multiplexer and demultiplexer used therefor, and error correcting encoder and decoder
US6327689B1 (en) * 1999-04-23 2001-12-04 Cirrus Logic, Inc. ECC scheme for wireless digital audio signal transmission
WO2001041436A1 (en) * 1999-12-03 2001-06-07 Sony Corporation Recording apparatus and method, and reproducing apparatus and method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101228165B1 (ko) * 2008-06-13 2013-01-30 노키아 코포레이션 프레임 에러 은폐 방법, 장치 및 컴퓨터 판독가능한 저장 매체
US9293144B2 (en) 2013-02-05 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment
US9478221B2 (en) 2013-02-05 2016-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Enhanced audio frame loss concealment
US9721574B2 (en) 2013-02-05 2017-08-01 Telefonaktiebolaget L M Ericsson (Publ) Concealing a lost audio frame by adjusting spectrum magnitude of a substitute audio frame based on a transient condition of a previously reconstructed audio signal
US9847086B2 (en) 2013-02-05 2017-12-19 Telefonaktiebolaget L M Ericsson (Publ) Audio frame loss concealment
US10332528B2 (en) 2013-02-05 2019-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment
US10339939B2 (en) 2013-02-05 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Audio frame loss concealment
US10559314B2 (en) 2013-02-05 2020-02-11 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment
US11437047B2 (en) 2013-02-05 2022-09-06 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for controlling audio frame loss concealment
US11482232B2 (en) 2013-02-05 2022-10-25 Telefonaktiebolaget Lm Ericsson (Publ) Audio frame loss concealment
WO2022181912A1 (ko) * 2021-02-23 2022-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
AU2003298476A1 (en) 2004-07-22
AU2003298476A8 (en) 2004-07-22
WO2004059894A3 (en) 2005-05-06
US6985856B2 (en) 2006-01-10
US20040128128A1 (en) 2004-07-01
CN100545908C (zh) 2009-09-30
ATE537535T1 (de) 2011-12-15
WO2004059894A2 (en) 2004-07-15
EP1579425A4 (en) 2006-03-08
EP1579425B1 (en) 2011-12-14
CN1732512A (zh) 2006-02-08
KR100747716B1 (ko) 2007-08-08
EP1579425A2 (en) 2005-09-28

Similar Documents

Publication Publication Date Title
KR100747716B1 (ko) 압축-도메인 패킷 손실 은폐를 위한 방법 및 장치
US7069208B2 (en) System and method for concealment of data loss in digital audio transmission
US7447639B2 (en) System and method for error concealment in digital audio transmission
JP4456601B2 (ja) 音声データ受信装置および音声データ受信方法
KR101160218B1 (ko) 일련의 데이터 패킷들을 전송하기 위한 장치와 방법, 디코더, 및 일련의 데이터 패킷들을 디코딩하기 위한 장치
EP1946517B1 (en) Audio data packet format and decoding method thereof and method for correcting mobile communication terminal codec setup error and mobile communication terminal performing same
US8787490B2 (en) Transmitting data in a communication system
JP2000165349A (ja) 送信機およびデジタル信号を受信機に送信するための方法
JP2004048281A (ja) 伝送路符号化方法、復号化方法、及び装置
JPH02504337A (ja) 副帯域符号化におけるエネルギー情報を保護する装置
JP2005049794A (ja) データ埋め込み装置及びデータ抽出装置
US20070143118A1 (en) Apparatus and method for lossless audio signal compression/decompression through entropy coding
JP3583551B2 (ja) 誤り補償装置
EP2200025B1 (en) Bandwidth scalable codec and control method thereof
US8407536B2 (en) Voice processing apparatus and method for detecting and correcting errors in voice data
KR101073409B1 (ko) 디코딩 장치 및 디코딩 방법
Korhonen et al. Schemes for error resilient streaming of perceptually coded audio
Geiser et al. Steganographic Packet Loss Concealment forWireless VoIP
KR100744563B1 (ko) 패킷 단위로 수신된 임베디드 코덱의 비트 스트림 처리장치 및 방법
KR20050027272A (ko) 스피치 프레임들의 에러 경감을 위한 스피치 통신 유닛 및방법
JP2002196795A (ja) 音声復号装置及び音声符号化・復号装置
JP2000244460A (ja) 伝送路誤り符号付加・検出装置
JPWO2003021573A1 (ja) コーデック
JPH08274726A (ja) 音響信号符号化復号化方法及びその装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20120727

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130723

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140722

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160720

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee