KR20030076576A - 고주파 복원 방법을 이용하는 코딩 시스템의 성능 향상방법 및 시스템 - Google Patents

고주파 복원 방법을 이용하는 코딩 시스템의 성능 향상방법 및 시스템 Download PDF

Info

Publication number
KR20030076576A
KR20030076576A KR10-2003-7006583A KR20037006583A KR20030076576A KR 20030076576 A KR20030076576 A KR 20030076576A KR 20037006583 A KR20037006583 A KR 20037006583A KR 20030076576 A KR20030076576 A KR 20030076576A
Authority
KR
South Korea
Prior art keywords
frequency
crossover
crossover frequency
signal
value
Prior art date
Application number
KR10-2003-7006583A
Other languages
English (en)
Other versions
KR100551862B1 (ko
Inventor
프레드릭 헨
Original Assignee
코딩 테크놀러지스 스웨덴 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코딩 테크놀러지스 스웨덴 에이비 filed Critical 코딩 테크놀러지스 스웨덴 에이비
Publication of KR20030076576A publication Critical patent/KR20030076576A/ko
Application granted granted Critical
Publication of KR100551862B1 publication Critical patent/KR100551862B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Optical Communication System (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
  • Transmitters (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

본 발명은 고주파 복원(HFR) 방법을 채용하는 디지털 오디오 코딩 시스템에 관한 것이다. 코어 코덱에 의해 코딩된 저대역과 HFR 시스템에 의해 코딩된 고대역간의 크로스오버 주파수의 시간에 따른 적응에 의해 이러한 시스템의 전체 성능을 향상시키는 방법을 제시한다. 크로스오버 주파수의 순시 최적 선택을 확립하는 다른 방법이 도입된다.

Description

고주파 복원 방법을 이용하는 코딩 시스템의 성능 향상 방법 및 시스템{ENHANCING THE PERFORMANCE OF CODING SYSTEMS THAT USE HIGH FREQUENCY RECONSTRUCTION METHODS}
음원 코딩 기술은 자연음 코딩과 음성 코딩의 2가지로 분류될 수 있다. 자연음 코딩은 일반적으로 음악 또는 중간 비트 레이트들에서의 임의의 신호에 사용된다. 음성 코덱은 기본적으로 음성 재생에 제한되지만, 한편으로 매우 낮은 비트 레이트들에서 이용될 수 있다. 각 분류 둘다에 있어서, 신호는 일반적으로 2개의 주신호 성분, 스펙트럼 포락선, 그리고 대응 잔여 신호로 분류된다. 이러한 분류를 사용하는 코덱은, 스펙트럼 포락선이 잔여 신호(residual signal)보다 더 효과적으로 코딩될 수 있다는 사실을 잘 이용하고 있다. 고주파 복원 방법이 사용되는 시스템에서, 고대역에 대응하는 잔여 신호는 전혀 전송되지 않는다. 대신에, 고대역은 코어 코덱에 의해 커버되는 저대역으로부터 디코더측에서 발생되고, 원하는 고대역 스펙트럼 포락선을 얻을 수 있게 한다. 싱글-엔디드(single-ended) HFR 시스템에서는 고대역 포락선이 저대역으로부터 도출되고, 더블-엔디드(double-ended) HFR 시스템에서는 상위 주파수 범위에 대응하는 포락선 데이터가 전송된다. 각각의 경우에, 종래기술의 오디오 코덱은 코어 코덱 주파수 범위와 HFR 주파수 범위사이의 시불변 크로스오버 주파수를 적용한다. 그러므로, 주어진 비트 레이트에서 크로스오버 주파수는 인공음들이 도입된 코어 코덱과 인공음들이 도입된 HFR 시스템 사이의 양호한 평균치(trade-off)로 선택되고, 이는 일반적인 프로그램 머티어리얼(material)에서 성취될 수 있다. 명확히 말하면, 이러한 정적 셋팅은 임의의 신호에 대해서는 최선의 것이 아닐 수 있다: (크로스오버 주파수가) 코어 코덱이 필요한 저대역 인공음보다 높아지게 되면서, HFR 방법에 고질적인 것으로 고대역의 품질을 저하시키는 과도한 강세가 주어지거나, (크로스오버 주파수가) 필요한 HFR 주파수의 범위보다 광범위하게 적용되어 모든 포텐셜이 사용되지 않게 될 수 있다. 그러므로, 결합 코딩 시스템의 최대 성능은 종래 기술의 시스템서는 우연에 의해서만 성취된다. 또한, 음조 및 잡음유사 영역들과 같은 이종 스펙트럼 특성을 갖는 영역들 사이의 변이들에 크로스오버를 부여시키는 가능성은 이용되지 않는다.
발명의 개요
본 발명은 고주파 복원 방법(HFR)이 사용되는 코딩 시스템의 향상을 위한 신규한 방법 및 장치를 제공한다. 본 발명은 저대역 코덱 및 HFR 시스템 각각에 의해 도입된 인공음 사이의 최적 트레이드오프를 산출하는 크로스오버 주파수의 연속적인 평가 및 적용을 수행한다. 이로써 본 발명은, 종래의 코딩 기구(MPEG 층-3 또는 AAC)가 이용되는 저대역 및 HFR 코딩 기구가 이용되는 고대역 사이의 고정 크로스오버 주파수를 사용하는 전통적인 방법과 구별되는 것이다. 본 발명에 따르면, (크로스오버 주파수의) 선택은 코어 코덱에서의 신호 인코딩의 난이도, 단시간 비트 요구 검출(short-time bit demand detection) 그리고 스펙트럼 음색 분석, 또는 그것들의 어떤 임의의 조합에 기초할 수 있다. 난이도는 지각 엔트로피(perception entropy)나 사이코음향적으로(psychoacoustically) 상당하는 코어 코덱의 왜곡으로부터 도출될 수 있다. 최적의 선택은 시간에 따라 빈번히 변화하는 것이므로, 가변 크로스오버 주파수의 적용은 프로그램 머티어리얼(program material)의 특성에 덜 의존하는 실질적으로 향상된 오디오 품질을 얻을 수 있게 한다. 본 발명은 싱글-엔디드와 더블-엔디드 HFR 시스템에 적용될 수 있다.
본 발명은 고주파 복원(HFR) 방법을 채용하는 디지털 오디오 코딩 시스템에 관한 것이다. 본 발명은 코어 코덱 성능을 보다 일관되게 향상시키며, 결합된 코어 코덱 및 HFR 시스템의 향상된 오디오 품질이 성취되게 한다.
본 발명은 첨부된 도면을 참조하여 예시적인 예에 의해 설명되지만, 본 발명의 사상 및 범위를 제한하는 것은 아니다.
도 1 은 저대역, 고대역, 그리고 크로스오버 주파수를 예시적으로 설명하는 그래프이다.
도 2 는 코어 코덱 워크로드 측정(workload measure)을 예시적으로 설명하는 그래프이다.
도 3 은 일정 비트 레이트 코덱의 단시간 비트 요구 변화들을 예시적으로 설명하는 그래프이다.
도 4 는 신호를 음조 및 잡음유사 주파수 범위의 구획을 예시적으로 설명하는 그래프이다.
도 5 는 크로스오버 주파수 제어 모듈에 의해 성능이 향상된 HFR에 기초한 인코더의 예시 블록도이다.
도 6 은 크로스오버 주파수 제어 모듈의 세부를 예시적으로 설명하는 블록도이다.
도 7 은 대응 HFR에 기초한 디코더의 예시 블록도이다.
이하의 실시예는 본 발명을 예시하는 것이다. 여기에 기재되는 구성 및 세부 사항의 수정 및 변경은 이 분야에서 통상의 지식을 가진 자에게는 명백하다는 것을 알아야 한다. 따라서, 여기의 실시예의 기재 및 설명을 통하여 제시된 특정 사항들에 의해서가 아니라 첨부된 특허청구범위에 의해서만 제한되는 것이다.
도 1에 도시된 바와 같이, 저대역 또는 저주파수 범위(101)가 코어 코덱에 의해 인코딩되고, 고대역 또는 고주파수 범위(102)가 적절한 HFR 방법에 의해 커버되는 시스템에서, 그 두 범위들 사이 경계는 크로스오버 주파수(103)로서 정의될 수 있다. 인코딩 체계들이 프레임에 기초하여 블록으로 프레임상에서 동작하므로, 처리되는 모든 프레임에 대ㅐ 크로스오버 주파수를 변경하는 것이 자유롭다. 본 발명에 따르면, 결합된 코딩 시스템에 대한 최적의 품질이 성취되도록 크로스오버 주파수를 적응시키는 검출 알고리즘을 셋업할 수 있다. 그 구현을 이하에서는 크로스오버 주파수 제어 모듈이라 한다.
코어 코덱의 오디오 품질이 또한 복원 고대역의 품질의 기본이 된다는 것을 고려하면, 저대역 범위에서의 양호하고 항상적인 오디오 품질이 요청된다는 것은명백하다. 크로스오버 주파수를 낮춤으로써, 코어 코덱이 처리해야 하는 주파수 범위가 더 작아진다. 따라서, 인코드하기가 더 쉽다. 그러므로, 프레임의 인코딩난이도를 측정하고 그에 대응하도록 크로스오버 주파수를 조절함으로써, 코어 인코더의 훨씬 더 항상적인 오디오 품질이 성취될 수 있다.
난이도를 측정하는 방법에 대한 예로서, 지각 엔트로피[ISO/IEC 13818-7, Annex B.2.1]가 이용될 수 있다: 여기서, 스펙트럼 분석에 기초한 사이코음향 모델(psychoacoustic model)이 적용된다. 일반적으로 분석 필터 뱅크의 스펙트럼 라인들은 대역들로 그룹화되고, 한 대역내의 라인의 수는 대역 중심 주파수에 의존하고 공지의 바크(bark) 스케일에 따라 선택되는데, 이는 모든 대역에 대해 지각적으로(perceptually) 일관된 주파수 분석을 얻는 것을 목적으로 한다. 스펙트럼 또는 일시 마스킹(temperal masking) 등의 효과를 이용하는 사이코음향 모델을 사용하여, 모든 대역에 대한 가청도의 문턱값이 얻어진다. 하나의 대역내의 지각 엔트로피(perceptual entropay)는
에 의해 주어진다.
여기서,
이고,
i=현재 대역내의 스펙트럼 라인 인덱스
s(i)= 라인 i의 스펙트럼 값
L(b)=현재 대역의 라인수
t(b)=현재 대역의 사이코음향 문턱값
b=대역 인덱스
l=r(i)>0 이 되도록 하는 현재 대역의 라인수이고,
오직 r(i)>1.0의 범위 항목만이 합산에 이용된다.
저대역 주파수 범위에서 코딩되어야 하는 모든 대역의 지각 엔트로피를 합산함으로써, 현재 프레임에 대한 인코딩 난이도가 얻어진다.
유사한 접근법은
에 따라 모든 대역의 왜곡 에너지를 합산함으로써, 코어 코덱 인코딩 프로세스의 마지막에서 왜곡 에너지를 산출하는 것이다.
여기서,
이고
nq(b)= 양자화 잡음 에너지
t(b)= 사이코음향 문턱값
b= 대역 인덱스
B= 대역수
또한, 그 사이코음향 관련성에 실제 왜곡을 가중시키기 위하여, 왜곡 에너지는 소리의 세기 곡선만큼 가중될 수 있다. 예로서, 식 2 의 합산은
으로 변경될 수 있다.
여기서, 지커(Zwicker)에 따른 소리의 크기 함수의 간략화가 사용된다 ["Psychoacoustics", Eberhard Zwicker and Hugo Fastl, Springer-Verlag, Berlin 1990].
인코딩의 난이도 또는 워크로드 측정(workload measure)은 전체 왜곡의 함수로서 정의될 수 있다. 도 2 는 지각 오디오 코덱의 왜곡 에너지(distortion energy)와 대응하는 워크로드(workload) 측정의 일예를 나타내고, 여기서 비선형 회귀는 워크로드를 산출하는데 사용되어 왔다. 워크로드는 시간에 따른 높은 편차를 가지며 입력 머티어리얼(material) 특성에 의존하는 것이 관찰된다.
높은 지각 엔트로피 또는 높은 왜곡 에너지는, 신호가 제한되는 비트 레이트에서 사이코음향적으로 코딩하기 어렵고 저대역의 가청 인공음이 나타나기 쉽다는 것을 가리킨다. 이 경우, 지각 오디오 인코더(the perceptual audio encoder)가 주어진 신호에 처리하기 쉽도록 하기 위하여, 크로스오버 주파수 제어 모듈은 낮은 크로스오버 주파수를 이용하기 위한 신호를 보낼 것이다. 동시에, 낮은 지각 엔트로피 또는 낮은 왜곡 에너지는 코딩 용이 신호를 가리킨다. 그러므로, 크로스오버 주파수는, 저대역에 대해 더 넓은 주파수 범위를 허용하기 위하여, 높게 선택될 것이며 그에 의해 임의의 현존하는 HFR 방법의 제한된 능력으로 인해 고대역에 발생되는 인공음을 감소시킨다. 크로스오버 주파수의 조절이 분석 단계에서 수행되면, 이 두가지 접근법은 또한 현재의 프레임을 재인코딩함으로써 분석-합성 접근법(analysis-synthesis approach)의 사용을 허용한다. 그러나, 오버랩 변환은 대부분 최신식 오디오 코덱에서 사용되므로, 시스템의 성능은 시 분석 입력 파라미터들의 평탄화(smoothing)를 적용함으로써 개선될 수 있으며, 이는 블로킹(blocking) 효과를 일으킬 수 있는 크로스오버 주파수의 너무 빈번한 스위칭을 회피하기 위한 것이다. 실재의 구현물이 처리 지연의 관점에서 최적화될 필요가 없다면, 검출 알고리즘(detection algorithm)은 적시의 더 광범위한 룩어헤드(look-ahead) 사용으로 훨씬 더 개선될 수 있어, 최소 스위칭 인공음들로 쉬프트가 수행될 수 있는 적시점을 찾을 가능성을 제공한다. 비실시간 응용들은 이러한 특수한 경우를 나타내며, 원한다면 인코딩될 전체 파일이 분석될 수 있다.
일정한 비트 레이트(CBR) 오디오 코덱의 경우에 있어서, 단시간 비트 요구 변화 분석은 크로스오버 결정에서 추가의 입력 파라미터로서 사용된다: MPEG 층-3 또는 MPEG-2 AAC 등의 최신식 오디오 인코더는 프레임당 이용가능한 비트의 평균수로부터의 단시간 피크 비트 요구 편차(short-time peak bit demand deviations)를 보상하기 위하여 비트 저장소 기술을 이용한다. 이러한 비트 저장소의 포화는 코어 인코더가 발생될 프레임 인코딩 난이를 잘 처리할 수 있는지 여부를 가리킨다.사용된 프레임당 비트수의 실제예와 시간에 따른 비트 저장소 포화는 도 3 에 도시되어 있다. 그러므로, 비트 저장소 포화가 높으면, 코어 인코더는 난이한 프레임을 처리할 수 있을 것이며, 낮은 크로스오버 주파수를 선택할 필요가 없다. 동시에, 비트 저장소 포화가 낮으면, 그 다음 프레임들에서 크로스오버 주파수를 낮추는 것에 의해, 이는 비트 저장소가 인코딩되어야 하는 더 작은 주파수 범위에 의해 포화시키는 것과 같은 코어 인코더의 비트 요구를 감소시키기 위한 것이며, 결과적인 오디오 품질은 실질적으로 향상될 수 있다. 또한, 비트 저장소 포화 행위는 미리 예측될 수 있기 때문에, 광범위한 룩어헤드는 검출 방법을 향상시킬 수 있다.
현재 프레임의 인코딩 난이 외에, 크로스오버 주파수의 선택에 기초가 되는 또다른 중요한 파라미터는 다음과 같다: 음성 또는 몇개의 음악 기구 등의 많은 오디오 신호는, 스펙트럼 범위의 피치(pitched)/음조 범위와 잡음유사 범위로 분리될 수 있는 특성을 나타낸다. 도 4 는 이 특성을 명확하게 하는 오디오 입력 신호의 스펙트럼을 나타낸다. 스펙트럼 영역의 음색 및/또는 잡음 분석을 이용하여, 각각 음조 및 잡음유사로 분류될 수 있는 두 범위가 검출될 수 있다. 음색은 예를 들어 AAC-표준[ISO/IEC 13818-7:1997(E), pp.96-98, section B.2.1.4 "Step in threshold calculation"]으로서 산출될 수 있다. 스펙트럼 평탄도 등의 다른 공지의 음색 또는 잡음 검출 알고리즘은 또한 그 목적에 적합하다. 그러므로, 이들 범위간의 크로스오버 주파수는, HFR 방법을 사용하여 음조 및 잡음유사 스펙트럼 범위를 더 분리하고 이들을 코더 인코더로 각각 개별적으로 공급하기 위하여, 본 발명에 의하는 크로스오버 주파수로서 사용된다. 그러므로, 결합된 코덱 시스템의전반저긴 오디오 품질은 이 경우 실질적으로 향상될 수 있다.
명확히 말하면, 상술한 방법은 더블-엔디드 및 싱글-엔디드 HFR 시스템에 동등하게 적용될 수 있다. 후자의 경우, 코어 코덱에 의해 인코딩된 가변 대역폭의 저대역만이 전송된다. HFR 디코더는 저대역 차단 주파수로부터의 포락선을 상방으로 연장한다(extrapolate). 또한, 본 발명은 저대역의 코딩을 위하여 사용되는 것과 다른 임의의 방법으로 고대역을 발생시키는 시스템들에 적용될 수 있다.
저대역 신호의 가변 대역폭에 HFR 개시 주파수를 적응시키는 것은 주파수 변환 등의 종래의 변환(translation) 방법을 적용할때 매우 지루한 작업이 될 것이다. 이들 방법은 일반적으로, 시간 영역에서 후속으로 변조되는 저역통과 또는 대역통과 신호를 추출하기 위해, 주파수 쉬프트를 일으키며 저대역 신호를 필터링하는 것을 포함한다. 그러므로, 적응은 저역통과필터 또는 대역통과 필터의 스위칭 및 변조 주파수에서의 변화를 포함할 수 있다. 또한, 필터의 변화는 윈도윙 기술(windowing techniques)의 이용을 강제하는 출력 신호에서의 단절을 일으킬 수 있다. 그러나, 필터 뱅크에 기초한 시스템에서는, 필터링은 한셋트의 연속적인 필터밴드들로부터 부대역 신호들의 추출에 의해 자동적으로 성취될 수 있다. 시간 영역 변조의 동등물이 필터뱅크내에서 추출 부대역 신호들을 재패칭하는 것에 의해 얻어진다. 재패칭은 가변 크로스오버 주파수에 용이하게 적응되고, 상술한 윈도윙(windowing)은 부대역 영역에서 고유하여, 변이 파라미터들(translation parameters)의 변경은 복잡도의 추가가 거의 없이 성취된다.
도 5 는 본 발명에 따라 성능이 향상된 HFR에 기초한 코덱의 인코더측의 일예를 나타낸다. 아날로그 입력 신호는 A/D 컨버터(501)에 공급되어, 디지털 신호를 생성한다. 디지털 오디오 신호는 음원 코딩이 수행되는 코어 인코더(502)로 공급된다. 또한, 디지털 신호는 HFR 포락선 인코더(503)에 공급된다. HFR 포락선 인코더의 출력은 도 1 에 예시된 바와 같이 크로스오버 주파수(103)에서 시작하는 고대역(102)을 커버하는 포락선 데이터를 나타낸다. 포락선 인코더의 포락선 데이터에 필요한 비트수는, 주어진 프레임에 대한 모든 이용가능 비트로부터 감산되도록 코어 인코더로 전달된다. 코어 인코더는 크로스오버 주파수까지에 이르는 잔여의 저대역 주파수 범위를 인코딩할 것이다. 본 발명에 따르면, 크로스오버 주파수 제어 모듈(504)이 인코더에 추가되어진다. 코어 코덱 상태 신호들 뿐만 아니라 입력 신호의 시간 및/또는 주파수 영역 표시는 크로스오버 주파수 제어 모듈에 공급된다. 크로스오버 주파수의 최적 선택 형태의 모듈(504)의 출력은 인코딩될 주파수 범위들을 신호로 보내기 위하여 코어 및 포락선 인코더로 공급된다. 두개의 코딩 체계의 각각을 위한 대한 주파수 범위는 예를 들어 효과적인 테이블 검색 체계(table lookup scheme)에 의해 인코딩된다. 후속하는 두개의 프레임 사이의 주파수 범위가 변하지 않으면, 이것은 비트 레이트 오버헤드가 가능한한 작아지게 하기 위해 하나의 단일 비트에 의해 신호를 보낼 수 있다. 그러므로, 주파수 범위는 공시적으로 모든 프레임에서 전송될 필요가 없다. 양 인코더들의 인코딩된 데이터는 멀티플렉서에 공급되어 전송 또는 저장되는 시리얼 비트 스트림을 생성한다.
도 6 은 각각의 크로스오버 주파수 제어 모듈(504, 601) 내의 하위 시스템의일예를 나타낸다. 인코더 워크로드 측정 분석 모듈(602)은, 상술한 바와 같이 지각 엔트로피 또는 왜곡 에너지 접근의 예를 이용하여 현재의 프레임이 코어 인코더에 대하여 코딩의 난이도를 검출한다. 코어 코덱이 비트 저장소를 채용하면, 버퍼 포화 분석 모듈(603)이 포함될 수 있다. 음색 분석 모듈(604)은, 적용 가능시 음조/잡음 전이 주파수에 대응하는 해당(target) 크로스오버 주파수를 보낸다. 결합 결정 모듈(606)로의 모든 입력 파라미터들은, 최대 포괄적인 성능을 구하기 위하여, 사용할 크로스오버 주파수를 산출할 때, 사용되는 코어 및 HFR 코덱의 실제 구현에 따라 결합되고 균형이 맞추어진다.
대응하는 디코더측은 도 7 에 도시되어 있다. 디멀티플렉서(701)는 비트스트림 신호들을 코어 디코더(702)에 공급되는 코어 코덱 데이터와, HFR 포락선 디코더(703)에 공급되는 포락선 데이터로 분리한다. 코어 디코더는 저대역 주파수 범위를 커버하는 신호를 생성한다. 마찬가지로, HFR 포락선 디코더는 데이터를 고대역 주파수 범위에 대한 스펙트럼 포락선의 표현으로 디코딩한다. 디코딩된 포락선 데이터는 이득 제어 모듈(704)로 공급된다. 코어 디코더로부터의 저대역 신호는, 크로스오버 주파수에 기초하여 저대역으로부터 복제된 고대역 신호를 발생시키는 전위 모듈(705)로 보내진다. 고대역 신호는 고대역 스펙트럼 포락선을 전송된 포락선으로 조절하기 위하여 이득 제어 모듈로 공급된다. 그러므로, 출력은 포락선 조절 고대역 오디오 신호이다. 이 신호는 저대역 오디오 신호가 공급되는 지연 유닛(706)으로부터의 출력에 더해지고, 지연은 고대역 신호의 처리 시간을 보상한다. 마지막으로, 얻어진 디지털 광대역 신호는 D/A 컨버터(707)에서 아날로그 오디오신호로 변환된다.

Claims (9)

  1. 크로스오버 주파수까지에 이르는 저주파수 대역의 코딩을 위한 코어 코덱과, 상기 크로스오버 주파수에서 시작하는 고주파수 대역의 발생을 위한 HFR 시스템을 포함하여,
    인코더에서, 시간에 따라 적응적으로 상기 크로스오버 주파수의 값을 선택하는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  2. 제 1 항에 있어서,
    상기 값은 상기 코어 코덱으로 신호를 인코딩 난이도를 측정하는 것으로부터 도출되어, 고 난이도에서 상기 값을 낮추고, 저 난이도에서 상기 값을 증가시키는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  3. 제 2 항에 있어서, 상기 측정은 신호의 지각 엔트로피에 기초하는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  4. 제 2 항에 있어서,
    상기 측정은 상기 코어 코덱으로 코딩한 후의 왜곡 에너지에 기초하는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  5. 제 2 항에 있어서,
    상기 측정은 상기 코어 코덱과 관련된 비트 저장소의 상태에 기초하는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  6. 제 2 항 내지 제 5 항중 어느 한 항에 있어서,
    상기 지각 엔트로피, 상기 코어 코덱 왜곡, 및 상기 코어 코덱 비트 저장소 상태의 임의의 결합이 상기 값을 구하는데 사용되는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  7. 제 1 항에 있어서,
    입력 신호의 음조 및 잡음 주파수 범위간의 경계가 검출되고, 상기 값은 상기 경계에 대응하는 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  8. 제 1 항, 제 2 항, 또는 제 7 항에 있어서,
    상기 값은 상기 신호의 인코딩 난이도 측정 및 상기 음조 및 잡음 주파수 범위간의 경계의 결합에 기초한 것을 특징으로 하는 자연음 코딩 시스템의 성능 향상 방법.
  9. 크로스오버 주파수까지에 이르는 저주파수 대역을 코딩하는 수단과 상기 크로스오버 주파수에서 시작하는 고주파수 대역의 고주파수 복원을 위한 수단을 포함하며,
    상기 원음 코딩 시스템의 인코더는 시간에 따라 적응적으로 상기 크로스오버 주파수의 값을 선택하는 수단을 구비하는 것을 특징으로 하는 자연음 코딩 시스템.
KR1020037006583A 2000-11-15 2001-11-14 고주파 복원 방법을 이용하는 코딩 시스템의 성능 향상방법 및 시스템 KR100551862B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0004187-1 2000-11-15
SE0004187A SE0004187D0 (sv) 2000-11-15 2000-11-15 Enhancing the performance of coding systems that use high frequency reconstruction methods
PCT/SE2001/002533 WO2002041302A1 (en) 2000-11-15 2001-11-14 Enhancing the performance of coding systems that use high frequency reconstruction methods

Publications (2)

Publication Number Publication Date
KR20030076576A true KR20030076576A (ko) 2003-09-26
KR100551862B1 KR100551862B1 (ko) 2006-02-13

Family

ID=20281835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037006583A KR100551862B1 (ko) 2000-11-15 2001-11-14 고주파 복원 방법을 이용하는 코딩 시스템의 성능 향상방법 및 시스템

Country Status (15)

Country Link
US (1) US7050972B2 (ko)
EP (1) EP1334484B1 (ko)
JP (6) JP3983668B2 (ko)
KR (1) KR100551862B1 (ko)
CN (1) CN1232950C (ko)
AT (1) ATE267445T1 (ko)
AU (1) AU2002215282A1 (ko)
DE (1) DE60103424T2 (ko)
DK (1) DK1334484T3 (ko)
ES (1) ES2218462T3 (ko)
HK (1) HK1058096A1 (ko)
PT (1) PT1334484E (ko)
SE (1) SE0004187D0 (ko)
TR (1) TR200401631T4 (ko)
WO (1) WO2002041302A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099655B2 (en) 2002-05-13 2006-08-29 Samsung Electronics Co., Ltd. Method for providing broadcast service in a CDMA mobile communication system
CN110010140A (zh) * 2013-04-05 2019-07-12 杜比国际公司 立体声音频编码器和解码器

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR433901A0 (en) 2001-04-10 2001-05-17 Lake Technology Limited High frequency signal construction method
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
US7469206B2 (en) 2001-11-29 2008-12-23 Coding Technologies Ab Methods for improving high frequency reconstruction
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
US7318027B2 (en) 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
JP2004309921A (ja) * 2003-04-09 2004-11-04 Sony Corp 符号化装置、符号化方法及びプログラム
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
DE10328777A1 (de) * 2003-06-25 2005-01-27 Coding Technologies Ab Vorrichtung und Verfahren zum Codieren eines Audiosignals und Vorrichtung und Verfahren zum Decodieren eines codierten Audiosignals
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
US20050018796A1 (en) * 2003-07-07 2005-01-27 Sande Ravindra Kumar Method of combining an analysis filter bank following a synthesis filter bank and structure therefor
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
DE102004009949B4 (de) * 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
EP1864281A1 (en) * 2005-04-01 2007-12-12 QUALCOMM Incorporated Systems, methods, and apparatus for highband burst suppression
PL1875463T3 (pl) 2005-04-22 2019-03-29 Qualcomm Incorporated Układy, sposoby i urządzenie do wygładzania współczynnika wzmocnienia
JP4907522B2 (ja) * 2005-04-28 2012-03-28 パナソニック株式会社 音声符号化装置および音声符号化方法
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US20080109215A1 (en) * 2006-06-26 2008-05-08 Chi-Min Liu High frequency reconstruction by linear extrapolation
JP2010503881A (ja) * 2006-09-13 2010-02-04 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 音声・音響送信器及び受信器のための方法及び装置
JP4918841B2 (ja) * 2006-10-23 2012-04-18 富士通株式会社 符号化システム
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
KR101355376B1 (ko) * 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
MX2010001394A (es) * 2007-08-27 2010-03-10 Ericsson Telefon Ab L M Frecuencia de transicion adaptiva entre llenado de ruido y extension de anchura de banda.
KR101235830B1 (ko) * 2007-12-06 2013-02-21 한국전자통신연구원 음성코덱의 품질향상장치 및 그 방법
EP2077551B1 (en) 2008-01-04 2011-03-02 Dolby Sweden AB Audio encoder and decoder
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
WO2010003521A1 (en) 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and discriminator for classifying different segments of a signal
ES2396927T3 (es) * 2008-07-11 2013-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para decodificar una señal de audio codificada
EP3246918B1 (en) 2008-07-11 2023-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, method for decoding an audio signal and computer program
MX2011000367A (es) 2008-07-11 2011-03-02 Fraunhofer Ges Forschung Un aparato y un metodo para calcular una cantidad de envolventes espectrales.
US8326640B2 (en) * 2008-08-26 2012-12-04 Broadcom Corporation Method and system for multi-band amplitude estimation and gain control in an audio CODEC
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
PL4224475T3 (pl) 2008-12-15 2024-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
JP5446258B2 (ja) * 2008-12-26 2014-03-19 富士通株式会社 オーディオ符号化装置
BR122019023704B1 (pt) 2009-01-16 2020-05-05 Dolby Int Ab sistema para gerar um componente de frequência alta de um sinal de áudio e método para realizar reconstrução de frequência alta de um componente de frequência alta
JP4977157B2 (ja) * 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
CN105225667B (zh) 2009-03-17 2019-04-05 杜比国际公司 编码器系统、解码器系统、编码方法和解码方法
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US11657788B2 (en) 2009-05-27 2023-05-23 Dolby International Ab Efficient combined harmonic transposition
TWI643187B (zh) * 2009-05-27 2018-12-01 瑞典商杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
CN102754159B (zh) 2009-10-19 2016-08-24 杜比国际公司 指示音频对象的部分的元数据时间标记信息
JP5554876B2 (ja) * 2010-04-16 2014-07-23 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． ガイドされた帯域幅拡張およびブラインド帯域幅拡張を用いて広帯域信号を生成するため装置、方法およびコンピュータプログラム
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
BR112012024360B1 (pt) * 2010-07-19 2020-11-03 Dolby International Ab sistema configurado para gerar uma pluralidade de sinais de áudio de sub-banda de alta frequência, decodificador de áudio, codificador, método para gerar uma pluralidade de sinais de sub-banda de alta frequência, método para decodificar um fluxo de bits, método para gerar dados de controle a partir de um sinal de áudio e meio de armazenamento
EP2466580A1 (en) * 2010-12-14 2012-06-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Encoder and method for predictively encoding, decoder and method for decoding, system and method for predictively encoding and decoding and predictively encoded information signal
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
US9437213B2 (en) * 2012-03-05 2016-09-06 Malaspina Labs (Barbados) Inc. Voice signal enhancement
TWI591620B (zh) 2012-03-21 2017-07-11 三星電子股份有限公司 產生高頻雜訊的方法
EP2682941A1 (de) * 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
WO2014068817A1 (ja) * 2012-10-31 2014-05-08 パナソニック株式会社 オーディオ信号符号化装置及びオーディオ信号復号装置
WO2014118152A1 (en) 2013-01-29 2014-08-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low-frequency emphasis for lpc-based coding in frequency domain
KR101632238B1 (ko) * 2013-04-05 2016-06-21 돌비 인터네셔널 에이비 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더
TWI546799B (zh) * 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
WO2014202770A1 (en) * 2013-06-21 2014-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for obtaining spectrum coefficients for a replacement frame of an audio signal, audio decoder, audio receiver and system for transmitting audio signals
RU2665281C2 (ru) 2013-09-12 2018-08-28 Долби Интернэшнл Аб Временное согласование данных обработки на основе квадратурного зеркального фильтра
CN104681029B (zh) * 2013-11-29 2018-06-05 华为技术有限公司 立体声相位参数的编码方法及装置
US20150194157A1 (en) * 2014-01-06 2015-07-09 Nvidia Corporation System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals
BR112018067944B1 (pt) * 2016-03-07 2024-03-05 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V Unidade de ocultação de erro, método de ocultação de erro,decodificador de áudio, codificador de áudio, método para fornecer uma representação de áudio codificada e sistema
EP4091332A1 (en) 2020-01-15 2022-11-23 Dolby International AB Adaptive streaming of media content with bitrate switching
MX2023001152A (es) * 2020-07-30 2023-04-05 Fraunhofer Ges Forschung Aparato, metodo y programa de computadora para codificar una se?al de audio o para decodificar una escena de audio codificada.

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4158751A (en) * 1978-02-06 1979-06-19 Bode Harald E W Analog speech encoder and decoder
JPS595297A (ja) * 1982-07-01 1984-01-12 日本電気株式会社 帯域分割型ボコ−ダ
NL8700985A (nl) * 1987-04-27 1988-11-16 Philips Nv Systeem voor sub-band codering van een digitaal audiosignaal.
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
JP3297750B2 (ja) * 1992-03-18 2002-07-02 ソニー株式会社 符号化方法
JP3218679B2 (ja) * 1992-04-15 2001-10-15 ソニー株式会社 高能率符号化方法
US5404377A (en) * 1994-04-08 1995-04-04 Moses; Donald W. Simultaneous transmission of data and audio signals by means of perceptual coding
JP3277692B2 (ja) * 1994-06-13 2002-04-22 ソニー株式会社 情報符号化方法、情報復号化方法及び情報記録媒体
JP3557674B2 (ja) * 1994-12-15 2004-08-25 ソニー株式会社 高能率符号化方法及び装置
US5646961A (en) * 1994-12-30 1997-07-08 Lucent Technologies Inc. Method for noise weighting filtering
JPH09172376A (ja) * 1995-12-20 1997-06-30 Hitachi Ltd 量子化ビット割当て装置
JP3255022B2 (ja) * 1996-07-01 2002-02-12 日本電気株式会社 適応変換符号化方式および適応変換復号方式
US6490562B1 (en) * 1997-04-09 2002-12-03 Matsushita Electric Industrial Co., Ltd. Method and system for analyzing voices
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US5928342A (en) * 1997-07-02 1999-07-27 Creative Technology Ltd. Audio effects processor integrated on a single chip with a multiport memory onto which multiple asynchronous digital sound samples can be concurrently loaded
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
US6385548B2 (en) * 1997-12-12 2002-05-07 Motorola, Inc. Apparatus and method for detecting and characterizing signals in a communication system
US6757395B1 (en) * 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
US20020116197A1 (en) * 2000-10-02 2002-08-22 Gamze Erten Audio visual speech processing

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099655B2 (en) 2002-05-13 2006-08-29 Samsung Electronics Co., Ltd. Method for providing broadcast service in a CDMA mobile communication system
CN110010140A (zh) * 2013-04-05 2019-07-12 杜比国际公司 立体声音频编码器和解码器
US11631417B2 (en) 2013-04-05 2023-04-18 Dolby International Ab Stereo audio encoder and decoder
CN110010140B (zh) * 2013-04-05 2023-04-18 杜比国际公司 立体声音频编码器和解码器

Also Published As

Publication number Publication date
WO2002041302A1 (en) 2002-05-23
DE60103424T2 (de) 2005-06-16
PT1334484E (pt) 2004-09-30
JP6592148B2 (ja) 2019-10-16
SE0004187D0 (sv) 2000-11-15
DE60103424D1 (de) 2004-06-24
AU2002215282A1 (en) 2002-05-27
ES2218462T3 (es) 2004-11-16
JP4991397B2 (ja) 2012-08-01
JP3983668B2 (ja) 2007-09-26
HK1058096A1 (en) 2004-04-30
DK1334484T3 (da) 2004-08-09
KR100551862B1 (ko) 2006-02-13
JP2007293354A (ja) 2007-11-08
JP5933965B2 (ja) 2016-06-15
CN1232950C (zh) 2005-12-21
EP1334484B1 (en) 2004-05-19
JP2018185530A (ja) 2018-11-22
JP6207404B2 (ja) 2017-10-04
JP2016189015A (ja) 2016-11-04
EP1334484A1 (en) 2003-08-13
ATE267445T1 (de) 2004-06-15
JP2012093774A (ja) 2012-05-17
JP6368740B2 (ja) 2018-08-01
JP2014089472A (ja) 2014-05-15
JP2004514180A (ja) 2004-05-13
US20020103637A1 (en) 2002-08-01
US7050972B2 (en) 2006-05-23
TR200401631T4 (tr) 2004-09-21
CN1475010A (zh) 2004-02-11

Similar Documents

Publication Publication Date Title
KR100551862B1 (ko) 고주파 복원 방법을 이용하는 코딩 시스템의 성능 향상방법 및 시스템
JP4511443B2 (ja) 情報源符号化システムの性能向上装置
KR101278546B1 (ko) 대역폭 확장 출력 데이터를 생성하기 위한 장치 및 방법
CA3080907C (en) Controlling bandwidth in encoders and/or decoders
AU2013257391B2 (en) An apparatus and a method for generating bandwidth extension output data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130125

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170126

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180126

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190124

Year of fee payment: 14