KR100998430B1 - 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법및 장치 - Google Patents

상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법및 장치 Download PDF

Info

Publication number
KR100998430B1
KR100998430B1 KR1020080059133A KR20080059133A KR100998430B1 KR 100998430 B1 KR100998430 B1 KR 100998430B1 KR 1020080059133 A KR1020080059133 A KR 1020080059133A KR 20080059133 A KR20080059133 A KR 20080059133A KR 100998430 B1 KR100998430 B1 KR 100998430B1
Authority
KR
South Korea
Prior art keywords
band signal
frame
pitch period
signal
repetition
Prior art date
Application number
KR1020080059133A
Other languages
English (en)
Other versions
KR20090028676A (ko
Inventor
지안팽 허
레이 미아오
첸 후
큉 창
리징 허
웨이 리
챙총 두
이 양
팽얀 퀴
워초우 쟌
동퀴 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20090028676A publication Critical patent/KR20090028676A/ko
Application granted granted Critical
Publication of KR100998430B1 publication Critical patent/KR100998430B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Error Detection And Correction (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)
  • Extrusion Moulding Of Plastics Or The Like (AREA)

Abstract

본 발명은 하위대역 시그널에 관하여 상위대역 시그널의 주기적 강도를 계산하는 단계; 상기 상위대역 시그널의 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하는 단계, 만약 상기 상위대역 시그널의 상기 주기적 강도가 상기 미리 설정된 임계값과 동일하거나 높다면, 현재 손실된 프레임의 상기 상위대역 시그널에 대해 프레임 손실 은닉을 수행하기 위하여 피치 주기 반복 기반 방법을 사용하는 단계, 및 만약 상기 상위대역 시그널의 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대한 상기 프레임 손실 은닉을 수행하기 위하여 이전 프레임 데이터 반복 방법을 사용하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법을 개시한다. 본 발명은 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 장치 및 음성 디코더를 더 개시한다. 상기 음성 시그널의 품질이 낮아지는 문제는 회피된다.
프레임, 손실, 은닉

Description

상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법 및 장치{method and device for performing frame erasure concealment to higher-band signal}
본 출원은 2007년 9월 15일 제출된 "상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법 및 장치"이라는 명칭의 중국출원번호 200710153955.0 및 2007년 11월 24일 제출된 "상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법 및 장치"이라는 명칭의 중국출원번호 200710194570.9에 우선권을 청구하며, 본 출원에서 완전히 참조로서 통합된다.
본 발명은 시그널 디코딩 기술들에 관한 것으로, 특히 상위대역 시그널(higher-band signal)에 대한 프레임 손실 은닉(frame erasure concealment)을 수행하는 방법 및 장치에 관한 것이다.
대부분의 전통적인 음성 코덱들에서, 음성 시그널의 대역폭(bandwidth)은 낮다. 단지 몇몇의 음성 코덱들이 광대역폭(wide bandwidth)을 가진다. 네트웍 기술의 발전으로, 네트웍 전송율은 증가하고 상기 광대역 코덱(wideband codec)에 대한 요구는 점점 더 높아지고 있다. 선택적으로, 상기 음성 코덱의 대역폭은 초 광대역(ultra-wideband)(50Hz-14000Hz) 및 전 대역(fullband)(20Hz-20000Hz)에 이르는 것이 바람직하다.
상기 광대역 음성 코덱이 상기 전통적인 음성 코덱과 양립할 수 있도록 하기 위하여, 음성 코덱은 다수의 계층들로 분할될 수도 있다. 이하의 설명은 두개의 계층들을 포함하는 상기 음성 코덱을 예시로 주어질 것이다.
첫째, 두개의 계층들을 포함하는 상기 음성 코덱은 상기 코딩 측(coding side)에서 분해 직교-미러 필터뱅크(analysis Quadrature-Mirror Filterbank)를 이용하여 상기 입력 시그널들을 상위대역 시그널들 및 하위대역 시그널들로 분리한다. 상기 하위대역 시그널은 코딩(coding)를 위한 하위대역 코더(lower-band coder)로 입력되고 상기 상위대역 시그널은 코딩을 위해 상위대역 코더(higher-band coder)로 입력된다. 상기 획득된 하위대역 데이터 및 상위대역 데이터는 비트스트림 멀티플렉서(bitstream multiplexer)를 통해 비트스트림으로 합성되고 상기 비트스트림은 송신된다. 상기 하위대역 시그널은 주파수가 상기 시그널을 위한 대역폭의 하위 대역(lower band)에 있는 시그널을 지칭하고 상기 상위대역 시그널은 주파수가 상기 시그널을 위한 대역폭의 상위 대역(higher band)에 있는 시그널을 지칭한다. 예를 들어, 입력 시그널의 대역폭이 50Hz-7000Hz일 때, 상기 하위대역 시그널의 대역폭은 50Hz-4000Hz일 수도 있고 상기 상위대역 시그널의 대역폭은 4000Hz-7000Hz일 수도 있다. 상기 디코딩(decoding)은 상기 디코딩 측(decoding side)에서 수행된다. 상기 비트스트림은 하위대역 비트스트림 및 상위대역 비트스트림으로 분할되고, 상기 하위대역 비트스트림 및 상기 상위대역 비트스트림은 디코딩을 위해 각각 상기 하위대역 디코더(lower-band decoder) 및 상위대역 디코 더(higher-band decoder)로 입력된다. 따라서, 상기 하위대역 시그널 및 상기 상위대역 시그널은 획득된다. 상기 하위대역 시그널 및 상기 상위대역 시그널은 합성 직교-미러 필터뱅크(synthesis Quadrature-Mirror Filterbank)를 이용하여 출력될 수 있도록 상기 음성 시그널로 합성된다.
현재, VoIP(Voice over IP)의 응용 및 상기 무선 네트웍 음성의 응용은 더욱 더 대중화되고 있다. 상기 음성 전송은 작은 데이터 패킷(small data packet)을 실시간으로 확실하게 전송하는 것을 요구한다. 음성 프레임(voice frame)이 상기 전송 중에 손실될 때, 상기 손실된 음성 프레임을 재송신하기 위한 시간은 없다. 비슷하게, 만약 상기 음성 프레임이 재생되어야 할 때 음성 프레임이 긴 경로(long routing)를 통과하고 제시간에 도달할 수 없다면, 상기 음성 프레임은 손실된 프레임(lost frame)과 동등하다. 따라서, 상기 음성 시스템에서, 만약 음성 프레임이 도달할 수 없거나 제시간에 도달할 수 없다면, 상기 음성 프레임은 손실된 프레임으로 간주된다.
만약, 어떤 처리도 상기 손실된 프레임에 대해 수행되지 않는다면, 상기 음성은 간헐적으로 중단되고 상기 음질은 크게 영향을 받는다. 따라서, 상기 손실된 프레임에 대해, 프레임 손실 은닉(frame erasure concealment) 처리가 요구된다. 다시 말해서, 상기 손실된 음성 데이터는 추정되고 상기 추정된 데이터는 상기 손실된 데이터를 대체하기 위해 사용된다. 따라서, 프레임 손실 환경에서 더 좋은 음질이 획득될 수 있다. 상기 입력 시그널을 상기 상위대역 시그널 및 상기 하위대역 시그널로 분할하는 상기 음성 코덱에 관해서, 상기 프레임 손실 은닉은 상기 프레 임 손실 은닉 동안에 상기 하위대역 시그널 및 상기 상위대역 시그널에 대해 각가 수행되고, 상기 프레임 손실 은닉 후 획득된 상기 상위대역 시그널 및 상기 하위대역 시그널은 상기 합성 직교-미러 필터뱅크를 통해 출력되도록 음성 시그널로 합성된다.
상기 프레임 손실 은닉 방법은 삽입 방법(insertion method), 보간 방법(interpolation method) 및 재생산 방법(regeneration method)을 포함한다.
상기 프레임 손실 은닉을 위한 삽입 방법은 스프라이싱(splicing), 묵음 대체(silence replacement), 노이즈 대체(noise replacement) 및 이전 프레임 반복(previous frame repetition)을 포함한다.
상기 프레임 손실 은닉을 위한 보간 방법은 파형 대체(waveform replacement), 피치 반복(pitch repetition) 및 시간 도메인 파형 교정(time domain waveform revision)을 포함한다.
상기 재생산 방법은 코더 파라미터 보간(coder parameter interpolation) 및 모델 기반 재생산 방법(model-based regeneration method)을 포함한다.
상기 모델-기반 재생산 방법은 가장 우수한 음질과 가장 높은 알고리즘 복잡도를 가지고, 상기 이전 프레임 반복 방법은 좋은 음질과 높지 않은 알고리즘 복잡도를 가진다.
상기 하위대역 시그널에 의한 상기 음질에 대한 영향들은 상기 상위대역 시그널에 의한 것보다 더 높기 때문에, 높은 복잡도와 높은 음질을 가진 프레임 손실 은닉 알고리즘(예를 들어, 피치 반복, 시간 도메인 파형 교정, 코더 파라미터 보간 및 모델-기반 재생산 방법)은 상기 하위대역 시그널에 대해 사용된다. 낮은 복잡도 및 낮은 음질을 가진 프레임 손실 은닉 알고리즘은 상기 상위대역 시그널에 대해 사용된다. 따라서, 상기 음질과 복잡도 사이의 절충이 이루어진다.
종래 기술의 음성 디코더에서, 상기 피치 반복(pitch repetition)은 상기 프레임 손실 은닉을 수행하기 위하여 상기 하위대역 시그널에 대해 사용된다. 반면 상기 이전 프레임 반복(previous frame repetition) 및 감쇠(attenuation) 방법은 상기 프레임 손실 은닉을 수행하기 위하여 상기 상위대역 시그널에 대해 사용된다.
상기 이전 프레임 반복 및 감쇠 방법을 기반으로 상기 상위대역 시그널을 복구하기 위한 공식은 다음과 같다.
shb(n)=shb(n-N)·α, n=0,....,N-1
상기 공식에서, shb(n), n=0,....,N-1은 상기 손실된 프레임의 상기 복구된 상위대역 시그널을 나타내고, N은 프레임의 샘플들의 수를 나타낸다; 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수(nonnegative)이다. 상기 감쇠 계수 α는 0.8과 같은 상수 또는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수가 될 수도 있다. 예를 들어, 제1 손실 프레임은 0.9와 같은 더 큰 감쇠 계수가 곱해진다. 반면에 제2 손실 프레임 및 이어지는 프레임들은 0.7과 같은 더 작은 감쇠 계수가 곱해진다.
본 발명은 구현하기 위한 과정에서, 발명자는 상기 시그널이 강한 주기성(strong periodicity)을 가질 때 상기 상위대역 시그널은 정확하게 복구될 수 없 고, 상기 하위대역 시그널 및 상기 상위대역 시그널이 일관된 주기성을 가질 때 상기 상위대역 시그널의 최초 주기성은 상기 프레임 손실 은닉이 종래 기술으로 상기 상위대역 시그널에 대해 수행될 때 파괴되며, 따라서, 상기 음성 디코더로부터 출력되는 상기 음성 시그널의 품질은 더 낮아지는 것을 알았다.
본 발명의 일 실시예는 음성 디코더로부터 출력되는 음성 시그널의 품질을 향상시키기 위하여 상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 방법을 제공한다.
본 발명의 다른 실시예는 상기 음성 디코더로부터 출력되는 음성 시그널의 품질을 향상시키기 위하여 상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 장치를 제공한다.
본 발명의 또 다른 실시예는 상기 음성 디코더로부터 출력되는 음성 시그널의 품질을 향상시키기 위한 음성 디코더를 제공한다.
본 발명의 실시예들에 따른 기술적 해결방법들은 상술한 목적들을 달성하기 위하여 다음과 같이 수행된다.
상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법은
하위대역 시그널의 피치 주기 정보에 관하여 상위대역 시그널의 주기적 강도를 계산하는 단계;
상기 주기적 강도가 미리 설정된 임계값과 동일하거나 높은지 여부를 판단하는 단계, 만약 상기 주기적 강도가 상기 미리 설정된 임계값과 동일하거나 높다면, 피치 주기 반복 기반 방법으로 현재 손실된 프레임의 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 단계, 만약 상기 주기적 강도가 상기 미리 설정된 임 계값보다 낮다면, 이전 프레임 데이터 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대한 상기 프레임 손실 은닉을 수행하는 단계를 포함한다.
상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 장치는
하위대역 시그널의 피치 주기 정보에 관하여 상위대역 시그널의 주기적 강도를 계산하고, 상기 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하고, 만약 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 더 높다면, 현재 손실된 프레임의 상기 상위대역 시그널을 피치 주기 반복 모듈로 전송하고, 만약 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널을 이전 프레임 데이터 반복 모듈로 전송하는데 적합한 주기적 강도 계산 모듈;
피치 주기 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하는데 적합한 상기 피치 주기 반복 모듈; 및
이전 프레임 데이터 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하는데 적합한 상기 이전 프레임 데이터 반복 모듈을 포함한다.
음성 디코더는
입력된 비트스트림을 하위대역 비트스트림 및 상위대역 비트스트림으로 다중 수신하는데 적합한 비트스트림 디멀티플렉스 모듈;
상기 하위대역 비트스트림 및 상기 상위대역 비트스트림을 각각 하위대역 시그널 및 상위대역 시그널로 디코딩하는데 적합한 하위대역 디코더 및 상위대역 디코더;
상기 하위대역 시그널의 피치 주기를 획득하기 위하여 상기 하위대역 시그널에 대한 프레임 손실 은닉을 수행하는데 적합한 하위대역 시그널에 대한 프레임 손실 은닉 장치;
상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도를 계산하고, 상기 상위대역 시그널의 상기 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하고, 만약 상기 상위대역 시그널의 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높다면, 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하기 위하여 피치 주기 반복 기반 방법을 사용하고, 만약 상기 상위대역 시그널의 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하기 위하여 이전 프레임 데이터 반복 기반 방법을 사용하는데 적합한 상위대역 시그널에 대한 프레임 손실 은닉 방법; 및
상기 프레임 손실 은닉 후 상기 하위대역 시그널 및 상기 상위대역 시그널을 출력되는 음성 시그널로 합성하는데 적합한 합성 직교-미러 필터뱅크를 포함한다.
종래 기술과 비교할 때, 본 발명의 일 실시예에 따른 기술적 해결방법에서, 상기 하위대역 시그널의 상기 피치 주기에 관하여 상기 상위대역 시그널의 상기 주 기적 강도가 계산된다. 그리고, 상기 하위대역 시그널의 상기 피치 주기 정보에 관하여 상기 상위대역 시그널의 상기 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부가 판단된다. 상기 주기적 강도가 상기 임계값과 같거나 높을 때, 상기 피치 주기 반복 기반 방법은 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하기 위해 사용된다. 따라서, 상기 상위대역 시그널이 강한 주기성을 가질 때, 상기 상위대역 시그널의 주기성은 파괴되지 않는 반면에 상기 상위대역 시그널의 주기성. 따라서, 상기 상위대역 시그널의 주기성이 파괴되기 때문에 상기 음성 시그널의 품질이 낮아지는 문제점은 회피될 수 있다. 상기 상위대역 시그널의 상기 주기적 강도가 상기 임계값보다 낮고 상기 상위대역 시그널의 주기적 강도가 약하다고 판단될 때, 상기 이전 프레임 데이터 반복 기반 방법은 상기 현재 손실된 프레임에 대해 상기 프레임 손실 은닉을 수행하기 위하여 사용된다. 상기 상위대역 시그널의 상기 주기적 강도가 약할 때, 상기 고 주파수 노이즈가 도입된다. 따라서, 상기 고 주파수 노이즈가 도입되기 때문에 상기 음성 시그널의 음질이 낮아지는 문제점은 회피될 수 있다. 이러한 방법으로, 본 발명의 일 실시예에 따라 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하는 기술적 해결방법은 상기 음성 디코더로부터 출력된 상기 음성 시그널의 품질을 향상시킬 수 있다.
본 발명은 이하의 상세한 실시예들과 첨부된 도면을 참조하여 상세히 설명될 것이다.
도 1은 본 발명의 실시예에 따른 음성 디코더의 구조도이다. 도 1에 도시된 바와 같이, 음성 디코더(speech decoder)는 비트스트림 디멀티플렉스 모듈(bitstream demultiplex module), 하위대역 디코더(lower-band decoder), 상위대역 디코더(higher-band decoder), 하위대역 시그널(lower-band signal)에 대한 프레임 손실 은닉 장치(frame erasure concealment device), 상위대역 시그널(higher-band signal)에 대한 프레임 손실 은닉 장치 및 합성 직교-미러 필터뱅크(synthesis Quadrature-Mirror Filterbank)를 포함한다.
상기 비트스트림 디멀티플렉스 모듈은 입력된 비트스트림은 하위대역 비트스트림과 상위대역 비트스트림으로 다중수신(demultiplex)하는데 적합하다. 상기 하위대역 시그널 및 상위대역 시그널은 상기 하위대역 디코더 및 상위대역 디코더 각각으로 상기 하위대역 비트스트림 및 상위대역 비트스트림을 디코딩함으로써 획득된다. 상기 하위대역 시그널 및 상위대역 시그널은 상기 하위대역 시그널에 대한 프레임 손실 은닉 장치 및 상기 상위대역 시그널에 대한 프레임 손실 은닉 장치 각각에 의해 처리되고, 상기 합성 직교-미러 필터뱅크에 의해 출력되는 음성 시그널로 합성된다.
상기 하위대역 시그널에 대한 프레임 손실 은닉 장치는 상기 하위대역 시그널의 프레임 손실 은닉을 처리하고 상기 하위대역 시그널의 피치 주기(pitch period)를 상기 상위대역 시그널에 대한 프레임 손실 은닉 장치에게 제공한다.
상기 상위대역 시그널에 대한 프레임 손실 은닉 장치는 본 발명의 일 실시예에 따른 상기 상위대역 시그널에 대한 프레임 손실 은닉 방법을 수행한다. 본 발명 의 일 실시예에 따른 상기 상위대역 시그널에 대한 프레임 손실 은닉 방법은 하위대역 시그널의 피치 주기 정보(pitch period information)에 관하여 상위대역 시그널의 주기적 강도(periodic intensity)를 계산하는 단계; 상기 상위대역 시그널의 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하는 단계; 만약 상기 상위대역 시그널의 주기적 강도가 상기 미리 설정된 임계값과 같거나 높은 경우 현재 손실된 프레임의 상위대역 시그널에 대한 상기 프레임 손실 은닉을 수행하기 위하여 피치 주기 반복 기반 방법(pitch period repetition based method)을 사용하고, 만약 상기 상위대역 시그널의 주기적 강도가 상기 미리 설정된 임계값보다 낮다면 상기 현재 손실된 프레임의 상위대역 시그널에 대한 상기 프레임 손실 은닉을 수행하기 위하여 이전 프레임 데이터 반복 기반 방법(previous frame data repetition based method)을 사용하는 단계를 포함한다.
도 2는 본 발명의 일 실시예에 따른 상위대역 시그널에 대한 프레임 손실 은닉 방법을 보여주는 흐름도이다. 도 3은 본 발명의 일 실시예에 따른 상위대역 시그널에 대한 프레임 손실 은닉 장치의 구조도이다. 도 2와 도 3을 참조하여, 본 발명의 일 실시예에 따른 프레임 손실 은닉을 수행하기 위한 기술적 해결방법의 상세한 설명들은 다음과 같이 주어질 것이다.
도 2에 도시된 바와 같이, 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행하기 위한 방법은 다음의 단계들을 포함한다.
단계 700: 하위대역 시그널에 관하여 상위대역 시그널의 주기적 강도는 상기 하위대역 시그널의 프레임 손실 은닉을 통해 획득된 하위대역 시그널 피치 주 기(lower-band signal pitch period)에 따라 계산된다.
단계 700에서, 상기 하위대역 시그널의 프레임 손실 은닉은 피치 반복 기반 방법(pitch repetition based method), 모델-기반 재생산 기반 방법(model-based regeneration based method) 및 코더 파라미터 보간 기반 방법(coder parameter interpolation based method)과 같은 상기 피치 주기를 획득할 수도 있는 프레임 손실 은닉 방법을 사용하고, 상기 코더 파라미터는 피치 주기 파라미터를 포함한다. 예를 들어, 상기 모델-기반 재생산 기반 방법은 선형 예측 모델(linear predictive model)에 기반한 재생산을 수행하는 프레임 손실 은닉 방법일 수도 있다.
단계 700에서, 상기 상위대역 시그널에 대한 프레임 손실 은닉 장치는 우선 상기 하위대역 시그널 tlb의 피치 주기를 계산하기 위하여 상기 하위대역 시그널에 대한 상기 시그널 프레임 손실 은닉을 사용하고, tlb에 관하여 상기 상위대역 시그널의 주기적 강도 r(tlb)를 계산하기 위하여 상기 상위대역 시그널 shb(n)의 히스토리 버퍼 시그널(history buffer signal)을 사용한다.
일반적으로, 시그널의 주기적 강도를 평가하는 것에 따른 함수는 자기상관 함수(autocorrelation function) 및 정규 상관 함수(normalized correlation function)를 포함한다.
상기 하위대역 시그널의 피치 주기는 상기 하위대역 시그널에 대한 자기상관 함수를 계산하는 것에 의해 획득될 수도 있다. 상기 상관 함수의 공식은 다음과 같 다.
Figure 112008044859989-pat00001
상기 공식에서, r(i)는 i에 관한 상관 함수을 나타낸다. slb(j)는 하위대역 시그널들을 나타낸다. N은 프레임의 음성 시그널에 대한 샘플들의 수와 같은 상관 함수를 계산하기 위한 윈도우(window)의 길이를 나타낸다. min_pitch는 상기 피치 주기를 검색하기 위한 하위 한계이고 max_pitch는 상기 피치 주기를 검색하기 위한 상위 한계이다. 따라서, 상기 하위대역 시그널의 피치 주기는 다음과 같다.
Figure 112008044859989-pat00002
다시 말해서, tlb는 r(i)가 최대값을 가질 때 i의 값과 같다.
상기 자기상관 함수로 시그널의 주기적 강도를 계산하기 위한 공식은 다음과 같다.
Figure 112008044859989-pat00003
상기 공식에서, shb(n), n=-M,...,-1은 상기 상위대역 시그널의 상기 히스토리 버퍼 시그널을 나타내고 M은 상기 상위대역 시그널의 상기 히스토리 버퍼 시그널의 샘플들의 수를 나타낸다. N은 프레임의 상기 상위대역 시그널에 대한 샘플들의 수와 같은 일정한 양수를 나타낸다.
상기 정규 상관 함수로 시그널의 주기적 강도를 계산하기 위한 공식은 다음과 같다.
Figure 112008044859989-pat00004
상기 공식에서, N은 프레임의 상기 상위대역 시그널에 대한 샘플들의 수와 같은 일정한 양수를 나타낸다.
도 3을 참조하면, 도 3에 도시된 상기 상위대역 시그널에 대한 프레임 손실 은닉 장치는 주기적 강도 계산 모듈(periodic intensity calculating module), 피치 주기 반복 모듈(pitch period repetition module) 및 이전 프레임 데이터 반복 모듈(previous frame data repetition module)을 포함한다. 단계 700에서, 상기 주기적 강도 계산 모듈은 상기 하위대역 시그널에 대한 상기 시그널 프레임 손실 은닉으로 상기 하위대역 시그널 피치 주기를 계산하고 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도를 계산한다.
단계 700에서, 상기 하위대역 시그널 tlb의 피치 주기 뿐만 아니라, 상기 하위대역 시그널의 피치 주기 정보는 상기 하위대역 시그널 tlb의 피치 주기 근처의 값을 포함할 수도 있다. 상기 상위대역 시그널에 대한 프레임 손실 은닉 장치는 우선 상기 하위대역 시그널에 대한 시그널 프레임 손실 은닉으로 상기 하위대역 시그널 tlb의 피치 주기를 계산할 수도 있다. 상기 상위대역 시그널의 피치 주기를 검색 하는 복잡도를 감소시키고 상기 상위대역 시그널의 피치 주기에 대한 정확도를 향상시키기 위해서, [max(tlb-m,pit_min),min(tlb+m,pit_max)]와 같은 상기 하위대역 시그널 tlb의 피치 주기의 간격은 상기 상위대역 시그널에 대한 정규 상관 함수를 계산하기 위하여 사용될 수도 있다. 상기 상위대역 시그널 shb(n)의 히스토리 버퍼 시그널은 [max(tlb-m,pit_min),min(tlb+m,pit_max)]에 관하여 상기 상위대역 시그널 r(tlb)의 주기적 강도를 계산하기 위하여 사용된다.
Figure 112008044859989-pat00005
상기 공식에서, m은 3 또는 3과 같거나 작은 어떤 다른 값과 같은 검색 간격의 반경(radius)이다. 실험 결과들에 따라, 상기 m이 더 클수록 상기 정확도가 더 높아지고 상기 알고리즘 복잡도가 더 커진다. 본 실시예에서, m은 3과 같다. pit_min은 최소 피치 주기이다. 본 실시예에서, pit_min=16. pit_max는 최대 피치 주기이다. 본 실시예에서, pit_max=144. 다른 실시예에서, pit_min=20 및 pit_mzx=143 또는 pit_min=16 및 pit_max=160은 허용된다. 상위대역 시그널 thb의 피치 주기는 다음과 같다.
Figure 112008044859989-pat00006
결과적으로, 정규 상관 함수는 다음과 같다.
Figure 112008044859989-pat00007
따라서, 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도는 획득된다.
단계 701에서, 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부가 판단된다. 만약 상기 하위대역 시그널의 피치 주기에 관하여 상기 상위대역 시그널의 주기적 강도가 미리 설정된 임계값과 같거나 높다면, 단계 702가 수행된다. 그렇지 않으면 단계 703이 수행된다.
단계 701에서, 상기 상관 함수로 상기 주기적 강도를 계산하는 방법에서, 임계값 R은 많은 수의 테스트를 통해 선택될 수도 있다. 예를 들어, 시뮬레이션에서, 본 발명의 일 실시예에 따라 상기 상위대역 시그널에 대한 프레임 손실 은닉 방법을 수행하기 위한 음성 디코더는 상이한 임계값들로 출력되는 음성 시그널들을 획득하기 위해 사용될 수도 있다. 그러면 상기 음성 시그널들의 노이즈 대비 시그널 비(SNR)들은 계산된다. 그리고, 최대 SNR을 갖는 음성 시그널에 대응하는 임계값은 단계 701에서 선택된 임계값으로 선택된다. 선택적으로, 단계 701에서 선택된 임계값은 경험적인 값에 따라 판단될 수도 있다. 만약 r(tlb)≥R 이라면, 상기 상위대역 시그널 shb(n)의 히스토리 버퍼 시그널이 tlb에 관하여 강한 주기적 강도를 가진 것 으로 판단된다. 그렇지 않으면, 상기 상위대역 시그널 shb(n)의 히스토리 버퍼 시그널이 tlb에 관하여 강한 주기적 강도를 가지지 않은 것으로 판단된다
상기 정규 상관 함수로 상기 주기적 강도를 계산하는 방법에서, 상기 임계값은 0부터 1까지 범위의 비음수가 될 수도 있다. 0.7과 같은 상기 Rnor은 많은 수의 테스트를 통해 선택될 수도 있다. 절차들은 상기 상관 함수로 상기 주기적 강도를 계산하는 방법에서의 그것들과 동일하다. 선택적으로, 경험적인 값이 선택될 수도 있다. 만약, rnor(ttb)≥Rnor 또는 rnor_max≥Rnor이라면, 상기 상위대역 시그널 shb(n)의 히스토리 버퍼 시그널이 상기 하위대역 시그널의 피치 주기 정보에 관하여 강한 주기적 강도를 가진 것으로 판단된다. 그렇지 않으면, 상기 상위대역 시그널 shb(n)의 히스토리 버퍼 시그널이 상기 하위대역 시그널의 피치 주기 정보에 관하여 강한 주기적 강도를 가지지 않은 것으로 판단된다
도 3에 도시된 바와 같은 상기 상위대역 시그널에 대한 프레임 손실 은닉 장치에서, 상기 주기적 강도 계산 모듈은 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도를 계산하고, 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 계산된 주기적 강도가 상기 주기적 강도 계산 모듈에 미리 설정된 임계값과 같거나 높은지 여부를 판단한다. 만약, 상기 계산된 주기적 강도가 상기 임계값과 같거나 높다면, 상기 피치 주기 반복 모듈은 수반되는 절차들을 수행하고, 그렇지 않다면 상기 이전 프레임 데이터 반복 모듈이 수반되는 절차들을 수행한다.
단계 702에서, 상기 피치 주기 반복 방법은 상기 손실된 프레임의 상기 상위대역 시그널의 프레임 손실 은닉을 수행하기 위해 사용된다.
단계 702에서, 상기 피치 주기 반복 방법은 피치 반복 방법(pitch repetition method), 모델-기반 재생산 기반 방법(model-based regeneration based method) 또는 피치 반복 및 감쇠 기반 방법(pitch repetition and attenuation based method)을 포함한다.
단계 702에서, 예를 들어, 상기 피치 반복이 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행하기 위해 사용될 때, 다음의 공식은 상기 손실된 프레임의 상위대역 시그널를 재생산하기 위해 사용된다.
Figure 112008044859989-pat00008
상기 공식에서, shb(n), n=0,...,N-1은 상기 손실된 프레임의 복구된 상위대역 시그널을 나타내고, N은 프레임에 포함된 샘플들의 수를 나타낸다. shb(n), n=-M,...,-1은 상기 상위대역 시그널의 히스토리 버퍼 시그널을 나타내고 M은 상기 상위대역 시그널의 히스토리 버퍼 시그널의 샘플들의 수를 나타낸다.
상기 프레임 손실 은닉이 상기 주기성을 단순히 반복하는 것에 의해 상기 상위대역 시그널에 대해 수행될 때, 많은 수의 계속적으로 손실된 프레임들의 경우, 과도한 주기성을 갖는 시그널이 유발될 수도 있다. 상기 효과를 강화하기 위하여, 상기 복구된 시그널들은 감쇠 계수 α가 곱해진다. 상기 피치 주기 반복 방법은 상기 피치 반복 및 감쇠 기반 방법을 포함한다. 상기 프레임 손실 은닉은 현재 손실된 프레임의 상위대역 시그널에 대해 수행된다. 상기 획득된 상위대역 시그널은 다음과 같다.
Figure 112008044859989-pat00009
상기 공식에서, N은 프레임의 샘플들의 수를 나타낸다; 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수이다. 상기 감쇠 계수 α는 0.8과 같은 상수 또는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수가 될 수도 있다. 예를 들어, 제1 손실 프레임에 대해, 0.9와 같은 큰 감쇠 계수가 곱해진다. 제2 손실 프레임 및 그 다음의 프레임들에 대해, 0.7과 같은 작은 감쇠 계수가 곱해진다. 또한, 상기 임계값을 판단하는 방법은 상기 감쇠 계수를 판단하기 위해 사용될 수도 있고 그것의 반복된 설명들은 생략된다.
상기 피치 반복 및 감쇠 기반 방법, 상기 프레임 손실 은닉은 상기 현재 손실된 프레임의 상위대역 시그널에 대해 수행되고, 또한, 상기 프레임 손실 은닉이 변형 이산 코사인 변환(MDCT:Modified Discrete Cosine Transform)에 기반한 경우에, 두개의 프레임들의 시그널 shb(n)은 상기 피치 주기 반복을 통해 우선 복제(duplicate)된다.
Figure 112008044859989-pat00010
상기 시그널 s'hb(n)은 사인 곡선 윈도우(sinusoid window) wtdac(n)으로 추가되고 감쇠된다. 그리고, 현재 프레임에 대한 역이산 코사인 변환(IMDCT:Invert Modified Discrete Cosine Transform) 계수의 추정된 값 dcur(n)은 다음과 같이 획득된다.
Figure 112008044859989-pat00011
β는
Figure 112008044859989-pat00012
와 같은 감쇠 팩터이다. dcur(n)은 상기 이전 프레임의 상기 IMDCT 계수 dpre(n)으로 오버랩-추가되고, 감쇠된다. 따라서, 상기 현재 프레임의 출력 시그널은 다음과 같이 획득된다.
Figure 112008044859989-pat00013
상기 이전 프레임의 상기 IMDCT 계수 dpre(n)의 이후 프레임(latter frame)은 상기 이전 프레임의 상기 IMDCT 계수의 후반부(latter part)로 불리워진다. 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수가 될 수도 있다. 상기 감쇠 계수 α는 0.8과 같은 상수 또는 α=1-0.005×(n+1)과 같이 계속적으로 손실되는 패킷들의 수 에 따라 적응적으로 변화하는 변수가 될 수도 있다. 상기 감쇠는 하나 하나 증가되고 따라서 상기 출력 시그널은 더 부드러워진다.
도 4는 피치 주기에 따라 프레임의 시그널을 복제하는데 적합한 반복 모듈(repetition module); 상기 프레임의 복제된 시그널에 사인 곡선 윈도우를 추가하고 상기 프레임에 대한 상기 IMDCT 계수의 추정된 값을 획득하기 위하여 상기 시그널을 감쇠하는데 적합한 감쇠 모듈(attenuation module); 및 이전 프레임의 IMDCT 계수의 이후 프레임으로 현재 프레임의 추정된 값을 오버랩-추가하고 감쇠하는데 적합한 오버랩-추가 모듈(OLA(overlap-add) module)을 포함하는 본 발명의 일 실시예에 따른 피치 주기 반복 모듈(pitch period repetition module)을 보여준다.
단계 702에서, 상기 프레임 손실 은닉이 상기 선형 예측 모델에 기반한 상기 재생산 기반 방법으로 상기 상위대역 시그널에 대해 수행될 때, 다음 공식은 상기 상위대역 나머지(residual) 시그널 ehb(n)에 대해 상기 피치 주기 반복을 수행하기 위해 사용될 수 있다.
Figure 112008044859989-pat00014
상기 공식에서, ehb(n), n=0,...,N-1은 상기 현재 손실된 프레임의 상위대역 나머지 시그널을 나타낸다; 그리고, ehb(n), n=-M,...,-1은 상기 선형 예측 분해(linear predictive analysis)에 관하여 상기 상위대역 시그널의 히스토리 버퍼 시그널의 나머지를 나타낸다.
그러면, 상기 손실 프레임의 상위대역 시그널은 상기 선형 예측 합성기(linear predictive synthesizer)를 통해 상기 상위대역 시그널의 나머지로 획득될 수 있다. 상기 공식은 다음과 같다.
Figure 112008044859989-pat00015
선택적으로, 본질적인 효과를 강화하기 위해서, 상기 복구된 시그널들은 감쇠 계수 α가 곱해지고, 상기 선형 예측 모델에 기반한 상기 재생산 방법으로 상기 프레임 손실 은닉을 수행하는 것에 의해서 획득된 상기 상위대역 시그널은 다음과 같다.
Figure 112008044859989-pat00016
상기 공식에서, shb(n), n=0,...,N-1은 상기 현재 손실된 프레임의 상기 복구된 상위대역 시그널을 나타내고, N은 프레임의 샘플들의 수를 나타낸다. shb(n), n=-M,...,-1은 상기 상위대역 시그널의 히스토리 버퍼 시그널을 나타내고 M은 상위대역 시그널의 샘플들의 수를 나타낸다. 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수가 될 수도 있다. 상기 감쇠 계수 α는 0.8과 같은 상수 또는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수가 될 수도 있다. 예를 들어, 제1 손실 프레임은 0.9와 같은 큰 감쇠 계수가 곱해진다. 반면에 제2 손실 프레임 및 그 다음의 프레임들은 0.7과 같은 작은 감쇠 계수가 곱해진다.
단계 702에서, 도 3에 도시된 피치 주기 반복 모듈은 상기 피치 주기 반복 기반 방법으로 상기 손실된 프레임의 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행한다. 상기 피치 주기 반복 모듈은 상기 피치 반복 기반 방법으로 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행하거나 상기 선형 예측 모델 방법과 같은 모델에 기반한 상기 재생산 기반 방법으로 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행할 수도 있다.
단계 703에서, 상기 이전 프레임 데이터 반복 기반 방법은 상기 손실된 프레임의 상위대역 시그널에 대한 상기 프레임 손실 은닉을 수행하기 위하여 사용될 수도 있다.
단계 703에서, 상기 이전 프레임 데이터 반복 기반 방법은 상기 이전 프레임 반복 기반 방법, 상기 이전 프레임 반복 및 감쇠 기반 방법, 및 상기 코더 파라미터 보간 기반 방법을 포함한다.
단계 703에서, 도 3에 도시된 상기 이전 프레임 데이터 반복 모듈은 상기 이전 데이터 반복 기반 방법으로 상기 손실된 프레임의 상위대역 시그널에 대한 프레임 손실 은닉을 수행한다. 특히, 상기 이전 프레임 반복 기반 방법, 상기 이전 프레임 반복 및 감쇠 기반 방법 또는 상기 코더 파라미터 보간 기반 방법은 사용될 수도 있다.
예를 들어, 상기 이전 프레임 반복 및 감쇠 방법이 사용될 때, 상기 현재 손실된 프레임의 이전 프레임의 시간 도메인 데이터는 상기 현재 손실된 프레임으로 복제되고, 감쇠 계수 α가 곱해진다. 다시 말해서, 다음 공식은 상기 손실된 프레임을 복구하기 위해 사용될 수도 있다.
Figure 112008044859989-pat00017
상기 공식에서, N은 프레임에 포함된 샘플들의 수를 나타낸다. 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수(nonnegative)이다. 상기 감쇠 계수 α는 0.8과 같은 상수 또는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수가 될 수도 있다. 예를 들어, 제1 손실 프레임은 0.9와 같은 큰 감쇠 계수가 곱해질 수 있다. 반면에 제2 손실 프레임 및 이어지는 프레임들은 0.7과 같은 작은 감쇠 계수가 곱해질 수 있다.
도 5는 본 발명의 일 실시예에 따른 이전 프레임 데이터 반복 모듈을 보여준다. 도 5에 도시된 바와 같이, 상기 이전 프레임 데이터 반복 모듈은 상기 이전 프레임의 상위대역 시그널을 상기 현재 손실된 프레임으로 복제하고 상기 복제된 프레임을 감쇠 모듈로 입력하는데 적합한 이전 프레임의 상위대역 시그널에 대한 반복 모듈(repetition module for a higher-band signal of a previous frame); 상기 프레임 손실 은닉 후 상기 상위대역 시그널을 획득하기 위하여 상기 복제된 프레임에 상기 감쇠 계수 α를 곱하는데 적합한 감쇠 모듈을 포함한다.
만약, 상기 상위대역 시그널 디코더의 알고리즘이 주파수 도메인 알고리즘이라면, 상기 이전 프레임 반복 및 감쇠 기반 방법은 상기 이전 프레임의 주파수 도메인 데이터로부터 상기 시간 도메인 데이터를 복구하는 동안 몇몇 매개 데이 터(intermediate data)를 반복하고 감쇠하기 위해 사용되고, 상기 현재 손실된 프레임의 매개 데이터로서 상기 현재 손실된 프레임의 이전 프레임의 주파수 도메인 데이터로부터 시간 도메인 데이터를 복구하는 동안 획득된 매개 데이터를 사용하는 단계 및 상기 매개 데이터를 감쇠하는 단계, 그리고, 상기 현재 손실된 프레임의 매개 데이터로 상기 현재 손실된 프레임의 감쇠된 시간 도메인 데이터를 합성하는 단계; 또는 상기 현재 손실된 프레임의 매개 데이터로서 상기 이전 프레임의 주파수 도메인 데이터로부터 시간 도메인 데이터를 복구하는 동안 획득되고 감쇠된 상기 매개 데이터를 사용하는 단계를 포함한다. 그리고, 상기 손실된 프레임의 시간 도멘인 데이터는 상기 매개 데이터로 합성된다.
예를 들어, 상기 상위대역 디코더는 상기 MDCT에 기반하는 상위대역 디코더이다. 상기 이전 프레임의 IMDCT 계수는 반복되고 상기 현재 손실된 프레임의 IMDCT 계수를 추정하기 위하여 감쇠될 수도 있다. 상기 합성 공식에 따르면, 상기 이전 프레임의 IMDCT 계수 및 상기 현재 손실된 프레임의 IMDCT 계수는 상기 현재 손실된 프레임의 시간 도메인 데이터를 획득하기 위하여 오버랩-추가된다.
상기 현재 손실된 프레임의 IMDCT 계수는 다음 공식으로 추정될 수도 있다.
Figure 112008044859989-pat00018
상기 공식에서, dcur(n)은 상기 현재 손실된 프레임의 IMDCT 계수이고, dpre(n)은 이전 프레임의 IMDCT 계수이고, N은 프레임에 포함된 샘플들의 수를 나타 낸다. 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수이다. 상기 감쇠 계수 α는 0.8과 같은 상수 또는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수가 될 수도 있다. 예를 들어, 제1 손실 프레임은 0.9와 같은 더 큰 감쇠 계수가 곱해질 수 있다. 반면에 제2 손실 프레임 및 이어지는 프레임들은 0.7과 같은 더 작은 감쇠 계수가 곱해질 수 있다.
상기 현재 손실된 프레임의 시간 도메인 데이터는 다음 공식으로 상기 IMDCT 계수에게 상기 OLA를 수행함에 의해 획득된다.
Figure 112008044859989-pat00019
상기 공식에서, shb(n)은 현재 손실된 프레임의 시간 도메인 데이터이고, wtdac(n)은 해밍 윈도우(hamming window) 및 사인 곡선 윈도우(sinusoid window)와 같은 상기 OLA 합성 동안 추가되는 윈도우 함수(window function)이다. 상기 윈도우 함수를 판단하는 방법은 종래 기술에서 shb(n)을 계산하는 동안 윈도우 함수를 판단하는 방법과 동일하다.
도 6은 본 발명의 일 실시예에 따른 다른 이전 프레임 데이터 반복 모듈의 구조도이다. 도 6에 도시된 바와 같이, 상기 이전 프레임 데이터 반복 모듈은 이전 프레임 IMDCT 계수 저장 모듈(previous frame IMDCT coefficient storage module), 감쇠 모듈(attenuation module) 및 OLA 모듈(OLA module)을 포함한다. 상기 이전 프레임 IMDCT 계수 저장 모듈은 상기 주파수 도메인 데이터로부터 상기 시간 도메 인 데이터를 복구하는 동안 IMDCT 계수를 저장하는데 적합하다. 상기 감쇠 모듈은 상기 현재 손실된 프레임의 IMDCT 계수를 획득하기 위하여 상기 IMDCT 계수를 α로 감쇠하는데 적합하다. 상기 이전 프레임의 IMDCT 계수 및 상기 감쇠 이후 획득된 상기 현재 손실된 프레임의 IMDCT 계수는 오버랩-추가를 위해 상기 OLA 모듈에 입력된다. 그러면, 상기 프레임 손실 은닉 후 상기 현재 손실된 프레임의 상위대역 시그널은 획득된다.
만약, 상기 IMDCT 계수 대신 MDCT 계수가 반복되고 감쇠된다면, 상기 IMDCT는 상기 IMDCT 계수를 획득하기 위하여 상기 MDCT 계수에 대해 수행되고, 상기 IMDCT 계수는 감쇠된다. 상기 현재 손실된 프레임의 시간 도메인 데이터는 상기 OLA 절차를 통해 획득된다. 그러나, 상기 IMDCT 절차의 계산량은 더 추가된다. 당업자는 만약 상기 이전 프레임의 IMDCT 계수가 반복되고 직접적으로 감쇠되며 상기 현재 손실된 프레임의 시간 도메인 데이터가 상기 OLA 절차로 합성된다면, 상기 계산량은 감소될 수 있다는 것을 예측할 수 있다.
또한, 예를 들어, 상위대역 디코더가 고속 푸리에 변환(FFT:fast fourier transform)에 기반한 상위대역 디코더일 때, 상기 이전 프레임의 역 고속 푸리에 변환(IFFT:invert fast fourier transform) 계수는 반복되고 상기 현재 손실된 프레임의 IFFT 계수를 추정하기 위하여 감쇠될 수도 있다. 그러면, 상기 OLA는 상기 현재 손실된 프레임의 시간 도메인 데이터를 획득하기 위하여 수행된다.
상기 현재 손실된 프레임의 IFFT 계수는 다음 공식으로 추정될 수도 있다.
Figure 112008044859989-pat00020
상기 공식에서, dcur(n)은 상기 현재 손실된 프레임의 IFFT 계수이고, dpre(n)은 이전 프레임의 IFFT 계수이고, N은 프레임에 의해 요구되는 IFFT 계수들의 수를 나타낸다. 일반적으로, M은 프레임의 샘플들의 수를 나타내는 N보다 크다. 상기 감쇠 계수 α는 0부터 1까지 범위의 비음수이다. 상기 감쇠 계수 α는 0.875와 같은 상수 또는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수가 될 수도 있다. 예를 들어, 제1 손실 프레임은 0.9와 같은 더 큰 감쇠 계수가 곱해질 수 있다. 반면에 제2 손실 프레임 및 이어지는 프레임들은 0.7과 같은 더 작은 감쇠 계수가 곱해질 수 있다.
상기 현재 손실된 프레임 이전의 (M-N) 샘플들은 다음의 OLA 공식으로 복구된다.
Figure 112008044859989-pat00021
상기 공식에서, shb(n)은 현재 손실된 프레임의 시간 도메인 데이터이고, w(n)은 해밍 윈도우 및 사인 곡선 윈도우와 같은 상기 OLA 합성 동안 추가되는 윈도우 함수이다.
상기 현재 손실된 프레임 이후 (2N-M) 샘플들은 다음 공식으로 복구된다.
Figure 112008044859989-pat00022
상기 공식에서, M은 프레임에 의해 요구되는 IFFT 계수의 수이고, N은 프레임의 샘플들의 수이다.
상기 두개의 계층 코덱을 제외하고, 상기 음성 디코더는 코어 계층(core layer) 및 고위 계층(enhance layer)을 포함하는 다층 디코더(multi-layer decoder)를 더 포함할 수도 있다. 상기 코어 코덱은 전통적인 협대역(narrowband) 또는 광대역(wideband) 코덱이다. 몇몇 고위 계층들은 상기 코어 코덱의 코어 계층에 기반하여 연장된다. 따라서, 상기 코어 계층은 대응하는 전통적인 음성 코덱과 직접적으로 서로 통신할 수도 있다. 상기 고위 계층은 하위대역 음성 시그널의 음질을 향상시키는데 적합한 하위대역 고위 계층(lower-band enhance layer) 및 상기 음성 대역폭을 확장시키는데 적합한 상위대역 고위 계층(higher-band enhance layer)를 포함한다. 예를 들어, 상기 협대역 시그널은 상기 광대역 시그널로 확장된다. 또는 상기 광대역 시그널은 상기 초 광대역(ultra-wideband) 시그널로 확장된다. 또는 상기 초 광대역 시그널은 상기 전대역(fullband) 시그널로 확장된다. 그러나, 적어도 두개의 계층들을 포함하는 상기 음성 디코더는 상기 하위대역 시그널 및 상위대역 시그널로 디코딩된 상이한 계층들의 시그널들을 합성하고 상기 프레임 손실 은닉 처리를 각각 수행한다. 따라서, 상기 음성 디코더로부터 출력되는 음성 시그널은 획득된다. 따라서, 본 발명의 일 실시예에 따라 상기 상위대역 시그 널에 대해 프레임 손실 은닉을 수행하는 기술적 해결방법은 상기 코어 계층 및 고위 계층을 포함하는 다층 디코더에게 또한 적용 가능하다.
상술한 설명들로부터 알 수 있는 바와 같이, 본 발명의 일 실시예에 따라 제공된 기술적 해결방법에 따르면, 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도는 계산된다. 그러면, 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부가 판단된다; 만약 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높다면, 상기 피치 주기 반복 기반 방법은 상기 현재 손실된 프레임의 상위대역 시그널에 대해 프레임 손실 은닉을 수행하기 위해 사용된다. 따라서, 상기 상위대역 시그널이 강한 주기성을 가질 때, 상기 상위대역 시그널의 주기성은 파괴되지 않는다. 반면에 상기 상위대역 시그널의 주기성은 파괴된다. 따라서, 상기 상위대역 시그널이 파괴되기 때문에 상기 음성 시그널의 품질이 낮아지는 문제는 회피될 수 있다.
더더욱, 본 발명의 일 실시예에 따르면, 상기 하위대역 시그널의 피치 주기는 상기 프레임 손실 은닉이 상기 하위대역 시그널에 대해 수행될 때 획득되고, 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도는 계산된다. 따라서, 상기 주기성 강도 계산 모듈을 구성하는 단계의 하드웨어 오버헤드(hardware overhead)는 감소될 수 있다.
상기 상위대역 시그널의 주기적 강도가 상기 임계값보다 낮고 상기 상위대역 시그널의 주기적 강도가 약하다고 판단될 때, 상기 이전 프레임 데이터 반복 기반 방법은 상기 현재 손실된 프레임에 대해 프레임 손실 은닉을 수행하기 위해 사용된다. 상기 상위대역 시그널의 주기적 강도가 약할 때, 상기 고 주파수 노이즈(high frequency noise)가 도입된다. 따라서, 상기 고주파수 노이즈가 도입되기 때문에 상기 음성 시그널의 음질이 낮아지는 문제는 회피될 수 있다. 이러한 방법으로, 본 발명의 일 실시예에 따라 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 기술적 해결방법은 상기 음성 디코더로부터 출력되는 상기 음성 시그널의 품질을 향상시킬 수 있다.
더더욱, 상기 상위대역 시그널 디코더의 알고리즘이 주파수 도메인 알고리즘일 때, 상기 이전 프레임의 주파수 도메인 데이터로부터 상기 시간 도메인 데이터를 복구하는 동안 매개 데이터는 상기 현재 손실된 프레임의 상위대역 시그널에 대해 프레임 손실 은닉을 수행하기 위하여 사용될 수도 있다. 상기 상위대역 시그널이 상기 MDCT에 기반하여 인코딩(encode)될 때, 상기 디코더로부터 획득된 IMDCT 계수는 반복되고 감쇠될 수도 있다. 그러면, OLA 절차는 상기 현재 손실된 프레임의 시간 도메인 데이터를 복구하기 위하여 수행된다. 따라서, 계산량은 감소될 수 있다.
당업자는 본 발명이 하드웨어, 또는 소프트웨어, 또는 모두를 사용하여 수행될 수도 있다는 것을 쉽게 이해할 것이다. 또한, 본 발명의 범위 내의 실시예들은 컴퓨터로 실행 가능한 지시들, 컴퓨터로 읽을 수 있는 지시들을 운반하거나 가지기 위한 컴퓨터로 읽을 수 있는 매체 또는 그 안에 저장된 데이터 구조들을 포함한다. 그러한 컴퓨터로 읽을 수 있는 매체는 RAM, ROM, 그 밖에 다른 광 디스크 저장매 체, 또는 마그네틱 디스크 저장매체와 같은 물리적 저장 매체를 포함할 수 있다. 상기 컴퓨터로 읽을 수 있는 매체에 저장된 지시들의 프로그램은 방법을 수행하기 위하여 기계에 의해 수행된다. 상기 방법은 본 발명의 방법 실시예들의 어느 하나의 단계들을 포함할 수도 있다.
상술한 실시예들은 단지 설명을 위해 제공된다. 실시예들의 순서는 실시예들을 평가하는 기준으로 고려될 수 없다. 또한, 실시예들에서 표현 "단계"는 여기서 설명된 바와 같은 순서로 본 발명을 수행하기 위한 단계들의 순서로 제한되지 않는다.
추가적인 장점들 및 변형들은 당업자에게 쉽게 생각되어질 것이다. 따라서, 더 넓은 관점에서 본 발명은 여기서 설명되고 보여진 상세한 설명 및 대표적인 실시예들에 제한되지 않는다. 따라서, 다양한 변형들 및 변화들은 첨부된 특허청구범위 및 그것들의 균등물들에 의해 정의된 본 발명의 범위로부터 벗어남없이 만들어질 수 있다.
도 1은 본 발명의 실시예에 따른 음성 디코더의 구조도이다.
도 2는 본 발명의 일 실시예에 따른 상위대역 시그널에 대한 프레임 손실 은닉 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 상위대역 시그널에 대한 프레임 손실 은닉 장치의 구조도이다.
도 4는 본 발명의 일 실시예에 따른 피치 주기 반복 모듈의 구조도이다.
도 5는 본 발명의 일 실시예에 따른 이전 프레임 데이터 반복 모듈의 구조도이다.
도 6은 본 발명의 일 실시예에 따른 다른 이전 프레임 데이터 반복 모듈의 구조도이다.

Claims (18)

  1. 하위대역 시그널의 피치 주기 정보에 관하여 상위대역 시그널의 주기적 강도를 계산하는 단계;
    상기 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하는 단계, 만약 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높다면, 피치 주기 반복 기반 방법으로 현재 손실된 프레임의 상기 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 단계, 및 만약 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 이전 프레임 데이터 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대한 상기 프레임 손실 은닉을 수행하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  2. 제 1항에 있어서,
    상기 하위대역 시그널의 피치 주기 정보는 상기 하위대역 시그널의 피치 주기 및 상기 하위대역 시그널의 피치 주기의 간격, 최소 피치 주기 및 상기 하위대역 시그널의 피치 주기로부터 m을 빼는 것에 의해 획득되는 값 중 더 큰 값이되는 상기 간격의 제1경계, 최대 피치 주기 및 상기 하위대역 시그널의 피치 주기로부터 m을 더하는 것에 의해 획득되는 값 중 더 작은 값이되는상기 간격의 제2경계, 및 3과 동일하거나 더 작은 m을 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 하위대역 시그널의 피치 주기는 상기 하위대역 시그널의 프레임 손실 은닉 절차를 통해 획득되는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  4. 제 1항에 있어서,
    상기 하위대역 시그널의 피치 주기 정보에 관하여 상위대역 시그널의 주기적 강도를 계산하는 단계는 현재 손실된 프레임의 상기 상위대역 시그널의 히스토리 버퍼 시그널으로 자기 상관 함수 및 정규 상관 함수를 통해 상기 하위대역 시그널의 상기 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도를 계산하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  5. 제 1항 또는 제 4항에 있어서,
    상기 피치 주기 반복 기반 방법은 피치 반복 기반 방법, 피치 반복 및 감쇠 기반 방법 및 모델-기반 재생산 방법을 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  6. 제 5항에 있어서,
    상기 피치 반복 및 감쇠 기반 방법으로 상기 현재 손실된 프레임의 상기 상 위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하는 단계는 상기 피치 주기에 기반한 상기 상위대역 시그널의 히스토리 버퍼 시그널을 복제하는 단계, 사인 곡선 윈도우를 복제된 시그널에 추가하는 단계 및 상기 현재 프레임의 IMDCT(역 변형 이산 코사인 변환) 계수의 추정된 값을 획득하기 위하여 윈도우된 시그널을 감쇠하는 단계; 이전 프레임의 IMDCT의 후반부로 상기 추정된 값을 오버랩-추가하고 감쇠하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  7. 제 6항에 있어서,
    상기 이전 프레임의 IMDCT 계수의 후반부로 상기 추정된 값을 오버랩-추가하고 감쇠하기 위한 감쇠 계수는 계속적으로 손실된 패킷들의 수에 따라 적응적으로 변화하는 변수인 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  8. 제 1항에 있어서,
    상기 이전 프레임 데이터 반복 기반 방법은 이전 프레임 반복 기반 방법, 이전 프레임 반복 및 감쇠 기반 방법 및 코더 파라미터 보간 기반 방법을 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  9. 제 8항에 있어서,
    이전 프레임 데이터 반복 및 감쇠 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하는 단계는 상기 현재 프레임의 시간 도메인 데이터로서 상기 현재 손실된 프레임의 이전 프레임의 시간 도메인 데이터를 사용하는 단계 및 상기 시간 도메인 데이터를 감쇠하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  10. 제 8항 또는 제 9항에 있어서,
    상기 이전 프레임 반복 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하는 단계는
    상기 현재 손실된 프레임의 매개 데이터로서 상기 현재 손실된 프레임의 상기 이전 프레임의 주파수 도메인 데이터로부터 시간 도메인 데이터를 복구하는 동안 획득된 매개 데이터를 사용하는 단계 및 상기 매개 데이터를 감쇠하는 단계, 및 상기 현재 손실된 프레임의 상기 감쇠된 시간 도메인 데이터를 상기 현재 손실된 프레임의 상기 매개 데이터와 합성하는 단계; 또는, 상기 현재 손실된 프레임의 상기 매개 데이터로서 상기 이전 프레임의 상기 주파수 도메인 데이터로부터 상기 시간 도메인 데이터를 복구하는 동안 획득되고 감쇠된 상기 매개 데이터를 사용하는 단계; 및 상기 현재 손실된 프레임의 상기 시간 도메인 데이터를 상기 현재 손실된 프레임의 상기 매개 데이터와 합성하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  11. 제 10항에 있어서,
    상기 매개 데이터가 IMDCT(Invert Modified Discrete Cosine Transform, 역 변형 이산 코사인 변환) 계수일 때, 상기 현재 손실된 프레임의 상기 시간 도메인 데이터를 상기 현재 손실된 프레임의 상기 매개 데이터와 합성하는 단계는
    상기 현재 손실된 프레임의 상기 시간 도메인 데이터를 획득하기 위하여 상기 현재 손실된 프레임의 상기 IMDCT 계수 및 상기 이전 프레임의 상기 IMDCT 계수를 오버랩-추가하는 단계를 포함하는 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법.
  12. 하위대역 시그널의 피치 주기 정보에 관하여 상위대역 시그널의 주기적 강도를 계산하고, 상기 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하고, 만약 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높다면, 현재 손실된 프레임의 상기 상위대역 시그널을 피치 주기 반복 모듈로 전송하고, 만약 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널을 이전 프레임 데이터 반복 모듈로 전송하도록 구성된 주기적 강도 계산 모듈;
    피치 주기 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하도록 구성된 상기 피치 주기 반복 모듈; 및
    이전 프레임 데이터 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하도록 구성된 상기 이전 프레임 데이터 반복 모듈을 포함하는 상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 장치.
  13. 제 12항에 있어서,
    상기 이전 프레임 데이터 반복 모듈은:
    상기 이전 프레임의 상기 상위대역 시그널을 상기 현재 손실된 프레임으로 복제하도록 구성된 이전 프레임의 상위대역 시그널에 대한 반복 모듈; 및
    상기 이전 프레임의 상위대역 시그널에 대한 반복 모듈에 의해 복제된 상기 이전 프레임의 상기 상위대역 시그널에 상기 프레임 손실 은닉 후 상기 상위대역 시그널을 획득하기 위하여 감쇠 계수를 곱하도록 구성된 감쇠 모듈을 포함하는 상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 장치.
  14. 제 12항에 있어서,
    상기 이전 프레임 데이터 반복 모듈은:
    상기 이전 프레임의 주파수 도메인 데이터로부터 시간 도메인 데이터를 복구하는 동안 IMDCT(역 변형 이산 코사인 변환) 계수를 저장하도록 구성된 이전 프레임 IMDCT 계수 저장 모듈;
    상기 현재 손실된 프레임의 상기 IMDCT 계수를 획득하기 위하여 상기 이전 프레임 IMDCT 계수 저장 모듈의 상기 IMDCT 계수를 감쇠하도록 구성된 감쇠 모듈;
    상기 현재 손실된 프레임의 상기 시간 도메인 데이터를 획득하기 위하여, 상기 이전 프레임 IMDCT 계수 저장 모듈의 상기 이전 프레임의 상기 IMDCT 계수 및 상기 감쇠 모듈에 의해 획득된 상기 현재 손실된 프레임의 상기 IMDCT 계수를 오버랩-추가하도록 구성된 OLA(OverLap-Add) 모듈을 포함하는 상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 장치.
  15. 제 12항에 있어서,
    상기 피치 주기 반복 모듈은:
    피치 주기에 따라 현재 프레임의 시그널을 복제하도록 구성된 반복 모듈;
    사인 곡선 윈도우를 복제된 시그널에 추가하고 상기 현재 프레임의 IMDCT(Invert Modified Discrete Cosine Transform, 역 변형 이산 코사인 변환) 계수의 추정된 값을 획득하기 위하여 윈도우된 시그널을 감쇠하도록 구성된 감쇠 모듈; 및
    상기 이전 프레임의 상기 IMDCT 계수의 후반부로 상기 추정된 값을 오버랩-추가하고 감쇠하도록 구성된 OLA(OverLap-Add) 모듈을 포함하는 상위대역 시그널에 대해 프레임 손실 은닉을 수행하는 장치.
  16. 입력된 비트스트림을 하위대역 비트스트림 및 상위대역 비트스트림으로 다중 수신하도록 구성된 비트스트림 디멀티플렉스 모듈;
    상기 하위대역 비트스트림 및 상기 상위대역 비트스트림을 각각 하위대역 시그널 및 상위대역 시그널로 디코딩하도록 구성된 하위대역 디코더 및 상위대역 디코더;
    상기 하위대역 시그널의 피치 주기를 획득하기 위하여 상기 하위대역 시그널에 대한 프레임 손실 은닉을 수행하도록 구성된 하위대역 시그널에 대한 프레임 손실 은닉 장치;
    상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 주기적 강도를 계산하고, 상기 상위대역 시그널의 상기 주기적 강도가 미리 설정된 임계값과 같거나 높은지 여부를 판단하고, 만약 상기 상위대역 시그널의 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높다면, 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하기 위하여 피치 주기 반복 기반 방법을 사용하고, 만약 상기 상위대역 시그널의 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하기 위하여 이전 프레임 데이터 반복 기반 방법을 사용하도록 구성된 상위대역 시그널에 대한 프레임 손실 은닉 장치; 및
    상기 프레임 손실 은닉 후 상기 하위대역 시그널 및 상기 상위대역 시그널을 출력되는 음성 시그널로 합성하도록 구성된 합성 직교-미러 필터뱅크를 포함하는 음성 디코더.
  17. 제 16항에 있어서,
    상기 상위대역 시그널에 대한 상기 프레임 손실 은닉 장치는:
    상기 현재 손실된 프레임의 상기 하위대역 시그널의 피치 주기 정보에 관하여 상기 상위대역 시그널의 상기 주기적 강도를 계산하고, 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높은지 여부를 판단하고, 만약 상기 주기적 강도가 상기 미리 설정된 임계값과 같거나 높다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널을 피치 주기 반복 모듈로 전송하고, 만약 상기 주기적 강도가 상기 미리 설정된 임계값보다 낮다면, 상기 현재 손실된 프레임의 상기 상위대역 시그널을 이전 프레임 데이터 반복 모듈로 전송하도록 구성된 주기적 강도 계산 모듈;
    피치 주기 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하도록 구성된 상기 피치 주기 반복 모듈;
    이전 프레임 데이터 반복 기반 방법으로 상기 현재 손실된 프레임의 상기 상위대역 시그널에 대해 상기 프레임 손실 은닉을 수행하도록 구성된 상기 이전 프레임 데이터 반복 모듈을 포함하는 음성 디코더.
  18. 삭제
KR1020080059133A 2007-09-15 2008-06-23 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법및 장치 KR100998430B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN200710153955.0 2007-09-15
CN200710153955 2007-09-15
CN200710194570.9 2007-11-24
CNB2007101945709A CN100524462C (zh) 2007-09-15 2007-11-24 对高带信号进行帧错误隐藏的方法及装置

Publications (2)

Publication Number Publication Date
KR20090028676A KR20090028676A (ko) 2009-03-19
KR100998430B1 true KR100998430B1 (ko) 2010-12-03

Family

ID=39898258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080059133A KR100998430B1 (ko) 2007-09-15 2008-06-23 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법및 장치

Country Status (9)

Country Link
US (3) US8200481B2 (ko)
EP (2) EP2068306B1 (ko)
JP (2) JP4603091B2 (ko)
KR (1) KR100998430B1 (ko)
CN (2) CN100524462C (ko)
AT (2) ATE485581T1 (ko)
DE (2) DE602008003085D1 (ko)
ES (1) ES2328649T3 (ko)
WO (1) WO2009033375A1 (ko)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239190B2 (en) * 2006-08-22 2012-08-07 Qualcomm Incorporated Time-warping frames of wideband vocoder
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
CN101325631B (zh) * 2007-06-14 2010-10-20 华为技术有限公司 一种估计基音周期的方法和装置
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
KR100922897B1 (ko) * 2007-12-11 2009-10-20 한국전자통신연구원 Ｍｄｃｔ 영역에서 음질 향상을 위한 후처리 필터장치 및필터방법
KR100998396B1 (ko) * 2008-03-20 2010-12-03 광주과학기술원 프레임 손실 은닉 방법, 프레임 손실 은닉 장치 및 음성송수신 장치
ATE536614T1 (de) * 2008-06-10 2011-12-15 Dolby Lab Licensing Corp Verbergen von audioartefakten
US8706479B2 (en) * 2008-11-14 2014-04-22 Broadcom Corporation Packet loss concealment for sub-band codecs
US8280725B2 (en) * 2009-05-28 2012-10-02 Cambridge Silicon Radio Limited Pitch or periodicity estimation
CN101615910B (zh) 2009-05-31 2010-12-22 华为技术有限公司 压缩编码的方法、装置和设备以及压缩解码方法
CN101958119B (zh) * 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
US8326607B2 (en) * 2010-01-11 2012-12-04 Sony Ericsson Mobile Communications Ab Method and arrangement for enhancing speech quality
CN101937679B (zh) * 2010-07-05 2012-01-11 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码装置
JP2012032713A (ja) * 2010-08-02 2012-02-16 Sony Corp 復号装置、復号方法、およびプログラム
EP2458585B1 (en) * 2010-11-29 2013-07-17 Nxp B.V. Error concealment for sub-band coded audio signals
SG185519A1 (en) 2011-02-14 2012-12-28 Fraunhofer Ges Forschung Information signal representation using lapped transform
ES2529025T3 (es) 2011-02-14 2015-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para procesar una señal de audio decodificada en un dominio espectral
MX2013009304A (es) 2011-02-14 2013-10-03 Fraunhofer Ges Forschung Aparato y metodo para codificar una porcion de una señal de audio utilizando deteccion de un transiente y resultado de calidad.
ES2639646T3 (es) 2011-02-14 2017-10-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de posiciones de impulso de pistas de una señal de audio
CA2827000C (en) * 2011-02-14 2016-04-05 Jeremie Lecomte Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)
TWI488177B (zh) 2011-02-14 2015-06-11 Fraunhofer Ges Forschung 使用頻譜域雜訊整形之基於線性預測的編碼方案
WO2013060223A1 (zh) * 2011-10-24 2013-05-02 中兴通讯股份有限公司 语音频信号的丢帧补偿方法和装置
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
CN103426441B (zh) * 2012-05-18 2016-03-02 华为技术有限公司 检测基音周期的正确性的方法和装置
ES2960089T3 (es) * 2012-06-08 2024-02-29 Samsung Electronics Co Ltd Procedimiento y aparato para la ocultación de errores de trama y procedimiento y aparato para la decodificación de audio
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
WO2014054556A1 (ja) * 2012-10-01 2014-04-10 日本電信電話株式会社 符号化方法、符号化装置、プログラム、および記録媒体
CN103854649B (zh) * 2012-11-29 2018-08-28 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
PL3098811T3 (pl) * 2013-02-13 2019-04-30 Ericsson Telefon Ab L M Ukrywanie błędu ramki
KR101788484B1 (ko) 2013-06-21 2017-10-19 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. Ｔｃｘ ｌｔｐ를 이용하여 붕괴되거나 붕괴되지 않은 수신된 프레임들의 재구성을 갖는 오디오 디코딩
CN104240715B (zh) * 2013-06-21 2017-08-25 华为技术有限公司 用于恢复丢失数据的方法和设备
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
CN104301064B (zh) 2013-07-16 2018-05-04 华为技术有限公司 处理丢失帧的方法和解码器
CN103489448A (zh) * 2013-09-03 2014-01-01 广州日滨科技发展有限公司 语音数据处理方法及系统
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
PT3285255T (pt) 2013-10-31 2019-08-02 Fraunhofer Ges Forschung Descodificador de áudio e método para fornecer uma informação de áudio descodificada utilizando uma ocultação de erro baseada num sinal de excitação no domínio de tempo
JP6306177B2 (ja) * 2013-10-31 2018-04-04 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 時間ドメイン励振信号を修正するエラーコンシールメントを用いて、復号化されたオーディオ情報を提供する、オーディオデコーダおよび復号化されたオーディオ情報を提供する方法
CN104751849B (zh) 2013-12-31 2017-04-19 华为技术有限公司 语音频码流的解码方法及装置
EP2922056A1 (en) * 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation
EP2922054A1 (en) * 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation
CN107369453B (zh) * 2014-03-21 2021-04-20 华为技术有限公司 语音频码流的解码方法及装置
FR3020732A1 (fr) * 2014-04-30 2015-11-06 Orange Correction de perte de trame perfectionnee avec information de voisement
PL3367380T3 (pl) * 2014-06-13 2020-06-29 Telefonaktiebolaget Lm Ericsson (Publ) Obsługa sekwencji błędów ramki
CN106683681B (zh) 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
EP4336493A3 (en) * 2014-07-28 2024-06-12 Samsung Electronics Co., Ltd. Method and apparatus for packet loss concealment, and decoding method and apparatus employing same
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
TWI602172B (zh) 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
TW202242853A (zh) 2015-03-13 2022-11-01 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
US9978400B2 (en) * 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
US9837094B2 (en) * 2015-08-18 2017-12-05 Qualcomm Incorporated Signal re-use during bandwidth transition period
WO2017129270A1 (en) * 2016-01-29 2017-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal
CN106291205B (zh) * 2016-10-14 2019-04-16 广州视源电子科技股份有限公司 一种血氧探头故障诊断方法及装置
CN108011686B (zh) * 2016-10-31 2020-07-14 腾讯科技（深圳）有限公司 信息编码帧丢失恢复方法和装置
CN106898356B (zh) * 2017-03-14 2020-04-14 建荣半导体（深圳）有限公司 一种适用于蓝牙语音通话的丢包隐藏方法、装置及蓝牙语音处理芯片
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
CN111383643B (zh) * 2018-12-28 2023-07-04 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机
WO2020164753A1 (en) 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
US11646042B2 (en) * 2019-10-29 2023-05-09 Agora Lab, Inc. Digital voice packet loss concealment using deep learning
US11429830B2 (en) 2020-03-05 2022-08-30 Fasteners For Retail, Inc. Security tag holder and assembly for use with package having curved surfaces
USD956607S1 (en) 2020-04-16 2022-07-05 Fasteners For Retail, Inc. Security tag holder
US12000178B2 (en) 2020-05-18 2024-06-04 Fasteners For Retail, Inc. Security tag holder
CN113035208B (zh) * 2021-03-04 2023-03-28 北京百瑞互联技术有限公司 一种音频解码器的分级错误隐藏方法、装置及存储介质
CN114299994B (zh) * 2022-01-04 2024-06-18 中南大学 激光多普勒远距离侦听语音的爆音检测方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084692A (ja) * 2003-09-10 2005-03-31 Microsoft Corp デジタルオーディオ信号の高品質の伸張および圧縮を提供するシステムおよび方法
WO2005106848A1 (ja) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3111459B2 (ja) * 1990-06-11 2000-11-20 ソニー株式会社 音声データの高能率符号化方法
US5943347A (en) 1996-06-07 1999-08-24 Silicon Graphics, Inc. Apparatus and method for error concealment in an audio stream
US5907822A (en) 1997-04-04 1999-05-25 Lincom Corporation Loss tolerant speech decoder for telecommunications
JP3134817B2 (ja) * 1997-07-11 2001-02-13 日本電気株式会社 音声符号化復号装置
US6952668B1 (en) 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
DE19959038A1 (de) 1999-12-08 2001-06-28 Bosch Gmbh Robert Verfahren zur Dekodierung von digitalen Audiodaten
US6691085B1 (en) 2000-10-18 2004-02-10 Nokia Mobile Phones Ltd. Method and system for estimating artificial high band signal in speech codec using voice activity information
US6968309B1 (en) 2000-10-31 2005-11-22 Nokia Mobile Phones Ltd. Method and system for speech frame error concealment in speech decoding
ATE319162T1 (de) 2001-01-19 2006-03-15 Koninkl Philips Electronics Nv Breitband-signalübertragungssystem
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
DE60222445T2 (de) * 2001-08-17 2008-06-12 Broadcom Corp., Irvine Verfahren zum verbergen von bitfehlern für die sprachcodierung
KR20030044292A (ko) 2001-11-29 2003-06-09 주식회사 현대시스콤 음성 시스템에서 피치 파라미터 탐색 장치 및 방법
US20030163304A1 (en) 2002-02-28 2003-08-28 Fisseha Mekuria Error concealment for voice transmission system
US20040002856A1 (en) 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
US20030220787A1 (en) * 2002-04-19 2003-11-27 Henrik Svensson Method of and apparatus for pitch period estimation
CA2388439A1 (en) 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
US6985856B2 (en) 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
JP2004302259A (ja) * 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 音響信号の階層符号化方法および階層復号化方法
JP2004361731A (ja) * 2003-06-05 2004-12-24 Nec Corp オーディオ復号装置及びオーディオ復号方法
KR100587953B1 (ko) 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
WO2005086138A1 (ja) 2004-03-05 2005-09-15 Matsushita Electric Industrial Co., Ltd. エラー隠蔽装置およびエラー隠蔽方法
FI119533B (fi) 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
KR20070007851A (ko) * 2004-04-28 2007-01-16 마츠시타 덴끼 산교 가부시키가이샤 계층 부호화 장치 및 계층 부호화 방법
EP1750397A4 (en) * 2004-05-26 2007-10-31 Nippon Telegraph & Telephone SOUND PACKET PLAY PROCESS, SOUND PACKET PLAYER, SOUNDPACK PLAYBACK PROGRAM AND RECORDING MEDIUM
EP1785984A4 (en) 2004-08-31 2008-08-06 Matsushita Electric Ind Co Ltd AUDIOCODING DEVICE, AUDIO DECODING DEVICE, COMMUNICATION DEVICE AND AUDIOCODING METHOD
EP1808684B1 (en) 2004-11-05 2014-07-30 Panasonic Intellectual Property Corporation of America Scalable decoding apparatus
SG124307A1 (en) 2005-01-20 2006-08-30 St Microelectronics Asia Method and system for lost packet concealment in high quality audio streaming applications
US7519535B2 (en) 2005-01-31 2009-04-14 Qualcomm Incorporated Frame erasure concealment in voice communications
US7930176B2 (en) 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
WO2007000998A1 (ja) * 2005-06-27 2007-01-04 Tohoku University ビス(アリールメチリデン)アセトン化合物、抗癌剤、発癌予防剤、Ki-Ras、ErbB2、c-Myc及びCyclinD1の発現抑制剤、β-カテニン分解剤並びにp53の発現増強剤
WO2007000988A1 (ja) * 2005-06-29 2007-01-04 Matsushita Electric Industrial Co., Ltd. スケーラブル復号装置および消失データ補間方法
US20070078645A1 (en) 2005-09-30 2007-04-05 Nokia Corporation Filterbank-based processing of speech signals
JP4876574B2 (ja) 2005-12-26 2012-02-15 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
US7457746B2 (en) 2006-03-20 2008-11-25 Mindspeed Technologies, Inc. Pitch prediction for packet loss concealment
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8280728B2 (en) 2006-08-11 2012-10-02 Broadcom Corporation Packet loss concealment for a sub-band predictive coder based on extrapolation of excitation waveform
DE602007004502D1 (de) 2006-08-15 2010-03-11 Broadcom Corp Neuphasierung des status eines dekodiergerätes nach einem paketverlust
US8239190B2 (en) 2006-08-22 2012-08-07 Qualcomm Incorporated Time-warping frames of wideband vocoder
US20080071550A1 (en) 2006-09-18 2008-03-20 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode audio signal by using bandwidth extension technique
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
KR20090076797A (ko) 2007-09-15 2009-07-13 후아웨이 테크놀러지 컴퍼니 리미티드 고역 시그널에 대한 프레임 삭제 은폐 수행 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084692A (ja) * 2003-09-10 2005-03-31 Microsoft Corp デジタルオーディオ信号の高品質の伸張および圧縮を提供するシステムおよび方法
WO2005106848A1 (ja) * 2004-04-30 2005-11-10 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および拡張レイヤ消失隠蔽方法

Also Published As

Publication number Publication date
ES2328649T3 (es) 2009-11-16
EP2068306A1 (en) 2009-06-10
EP2037450A1 (en) 2009-03-18
JP2009538460A (ja) 2009-11-05
CN100524462C (zh) 2009-08-05
US7552048B2 (en) 2009-06-23
CN101231849A (zh) 2008-07-30
ATE485581T1 (de) 2010-11-15
US8200481B2 (en) 2012-06-12
JP4603091B2 (ja) 2010-12-22
EP2037450B1 (en) 2009-08-05
DE602008003085D1 (de) 2010-12-02
ATE438910T1 (de) 2009-08-15
WO2009033375A1 (fr) 2009-03-19
US20090076805A1 (en) 2009-03-19
KR20090028676A (ko) 2009-03-19
EP2068306B1 (en) 2010-10-20
US20090076807A1 (en) 2009-03-19
DE602008000072D1 (de) 2009-09-17
JP2009109977A (ja) 2009-05-21
EP2068306A4 (en) 2009-12-02
CN101542594B (zh) 2012-01-25
US20090076808A1 (en) 2009-03-19
CN101542594A (zh) 2009-09-23

Similar Documents

Publication Publication Date Title
KR100998430B1 (ko) 상위대역 시그널에 대한 프레임 손실 은닉을 수행하는 방법및 장치
CN105765651B (zh) 使用错误隐藏提供经解码的音频信息的音频解码器及方法
JP6201043B2 (ja) エラー封じ込め中の切替音声符号化システムについての向上した信号フェードアウトのための装置及び方法
JP6306177B2 (ja) 時間ドメイン励振信号を修正するエラーコンシールメントを用いて、復号化されたオーディオ情報を提供する、オーディオデコーダおよび復号化されたオーディオ情報を提供する方法
KR102250472B1 (ko) 하이브리드 은닉 방법: 오디오 코덱들에서 주파수 및 시간 도메인 패킷 손실 은닉의 결합
TWI612518B (zh) 編碼模式決定方法、音訊編碼方法以及音訊解碼方法
KR101409305B1 (ko) 정보의 부재 시에 디코더측에서의 여기를 생성하기 위한 과유성음화의 감쇄
KR20090076797A (ko) 고역 시그널에 대한 프레임 삭제 은폐 수행 방법 및 장치
JP7504216B2 (ja) 低域ポストフィルタの低コストな適応化

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 10