KR20070085721A - 다중채널 오디오 신호들의 인코딩 및 디코딩 - Google Patents

다중채널 오디오 신호들의 인코딩 및 디코딩 Download PDF

Info

Publication number
KR20070085721A
KR20070085721A KR1020077012575A KR20077012575A KR20070085721A KR 20070085721 A KR20070085721 A KR 20070085721A KR 1020077012575 A KR1020077012575 A KR 1020077012575A KR 20077012575 A KR20077012575 A KR 20077012575A KR 20070085721 A KR20070085721 A KR 20070085721A
Authority
KR
South Korea
Prior art keywords
signal
signals
residual
unit
units
Prior art date
Application number
KR1020077012575A
Other languages
English (en)
Other versions
KR101183859B1 (ko
Inventor
게라드 에이치. 호토
프랑소와 피. 마이버그
더크 제이. 브레바르트
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070085721A publication Critical patent/KR20070085721A/ko
Application granted granted Critical
Publication of KR101183859B1 publication Critical patent/KR101183859B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

제 1 수(M)의 입력 오디오 채널들을 제 2의 보다 작은 수(N)의 출력 오디오 채널들로 변환하는 인코딩 장치(1)는 제 1 신호(Lf; Rf; Co) 및 제 2 신호(Lr; Rr; Le)를 제 3 신호(L; R; C) 및 제 4 신호(Ls; Rs; Cs)로 변환하는 적어도 하나의 변환 유닛(12)을 포함한다. 제 3 주요 신호는 제 1 및 제 2 신호들의 신호 에너지 대부분을 포함하는 반면에, 제 4 잔여 신호는 신호 에너지의 나머지를 포함한다. 인코딩 장치는 제 3 신호(L; R; C)를 사용하여 출력 신호를 생성하고 제 4 신호(Ls, Rs; Cs)를 출력하도록 구성된다. 제 1 수(N)의 입력 오디오 채널들을 제 2의보다 큰 수(M)의 출력 오디오 채널들로 변환하는 디코딩 장치(2)는 제 1 신호(L; R; C) 및 제 2 신호(Ld; Rd; Ld)를 제 3 신호(Lf; Rf; Co) 및 제 4 신호(Lr; Rr; Le)로 변환하는 적어도 하나의 변환 유닛(24)을 포함한다. 제 1 주요 신호는 제 3 및 제 4 신호들의 신호 에너지 대부분을 포함하는 반면에, 제 2 잔여 신호는 신호 에너지의 나머지를 포함한다. 인코딩 장치는 적어도 하나의 제 2 신호(Ld,; Rd; Cd)를 수신하도록 구성된다.
다중 채널, 인코딩, 디코딩, 채널 변환, 오디오

Description

다중채널 오디오 신호들의 인코딩 및 디코딩{Encoding and decoding of multi-channel audio signals}
본 발명은 다중채널 인코딩 및 디코딩에 관한 것이다. 특히, 본 발명은 다수의 오디오 채널들을 보다 작은 수의 오디오 채널로 변환하는 장치 및 방법(인코딩), 그리고 다수의 오디오 채널들을 더 많은 다수의 오디오 채널들로 변환하는 장치 및 방법(디코딩)에 관한 것이다.
다중채널을 사용하는 오디오 시스템들은 잘 알려져 있다. 종래의 스테레오 시스템들이 단지 두 개의 오디오 채널만을 사용하는 반면에, 현대의 5.1 시스템들은 6개의 채널, 좌측 전방(lf), 좌측 후방(lr), 우측 전방(rf), 우측 후방(rr), 중심(co) 및 낮은 주파수 효과(lfe 또는 le)를 사용한다. 보다 많은 수의 채널들은 오디오 데이터량의 증가가 저장 및/또는 전송되도록 한다. 이러한 데이터의 증가는 코딩에 의하여 데이터량을 감소시키기 위한 노력을 초래하였다.
이들 코딩 기술들 중 하나는 1992년, 미국 샌프란시스코, the International Conference on Acoustics and Speech Signal Processing(ICASSP)의 회보로, J.D.Johnston and A.J.Ferreira에 의한 문헌, "Sum-difference stereo transform coding", pp.II 569-572 에 기술된 중간/측면(M/S) 코딩 또는 합/차 코딩으로서 알 려져 있다. 중간/측면 코딩은 전형적으로 한 쌍의 스테레오 신호들을 인코딩하기 위하여 사용된다. 제 1 (예컨대, 좌측) 신호 l[n] 및 제 2 (예컨대, 우측) 신호 r[n]로 구성된 M/S 코딩 및 오디오 신호는 합 신호 m[n] 및 차(또는 잔류) 신호 s[n]로서 코딩된다.
m[n] = r[n] + l[n]
s[n] = r[n] - l[n] 식(1)
(거의) 동일한 신호들 l[n] 및 r[n]에 대하여 이는 대응하는 차 신호 s[n]가 제로(zero)에 근접할 때 큰 코딩 이득을 제공하는 반면에, 합 신호는 실제적으로 모든 신호 에너지를 포함한다. 그러므로, 이러한 상황에서, 합 및 차 신호들을 코딩하는데 요구된 비트율은 단지 신호 채널을 코딩하는데 필요한 비트율에 근접한다.
선택적으로, 식(1)의 중간/측면 코딩 프로세스는 회전 매트릭스에 의하여 기술될 수 있다.
Figure 112007040653751-PCT00001
식(2)
여기서, 좌측 및 우측 신호는 π/4 의 각도로 회전되었다. 합 신호는 라인 l=r상에 좌측 및 우측 샘플들의 사영(projection)으로서 해석될 수 있는 반면에, 차 (또는 잔여) 신호는 라인 l=-r상에 좌측 및 우측 샘플들의 사영으로서 해석될 수 있다.
이러한 기술은 π/4 와 다른 회전 각도들을 허용함으로써 일반화될 수 있다. 입력 신호들의 넓은 클래스에 대하여 잔여 신호의 신호 전력을 최소화하기 위하여(즉, 코딩 이득을 최대화하기 위하여), 회전 각도는 또한 신호에 종속될 수 있다. 이하의 단위 회전은 한 쌍의 채널들에 적용될 수 있다.
Figure 112007040653751-PCT00002
식(3)
여기서 m'[n] 및 s'[n]은 주요 및 잔여 신호를 각각 나타내며, 각도 α는 잔여 신호의 전력을 최소화하도록 선택되고 따라서 주요 신호의 전력을 최대화한다. 이러한 일반화된 회전 기술은 종종 주성분분석(Principal Component Analysis; PCA)로서 언급된다.
식(3)의 회전이 잔여 신호의 전력을 최소화하기 때문에, 잔여 신호는 특히 보다 높은 주파수에서 지각적 관련 정보를 거의 포함하지 않도록 고려된다. 이러한 이유로, 종래의 인코딩 시스템들은 식(3)의 회전으로 그리고 유사한 변환들로 생성된 잔여 신호들을 폐기한다.
비록 앞서 언급된 기술들이 주로 스테레오 신호들을 목적으로 할지라도, 이것들은 저장 및/또는 전송되는 주요 신호 및 폐기되는 잔여 신호에 대하여 한 쌍의 신호들을 반복적으로 감소시킴으로써 5.1 신호들과 같은, 다중채널들을 가진 오디오 신호들에 적용될 수 있다.
잔여 신호들의 폐기는 데이터 감소를 야기한다. 그러나, 본 발명은 잔여 신호가 비교적 대량의 정보를 포함할 때 단지 유효 데이터 감소만이 달성된다는 것을 실현한다. 이러한 경우에 잔여 신호를 폐기하는 것은 필연적으로 오디오 신호의 바람직하지 않은 지각 왜곡이 발생한다.
디코딩 장치들에 있어서, 앞서 논의된 기술들은 인코딩된 신호들로부터 원시 신호들을 재구성하기 위하여 사용된다. 만일 M/S 인코딩이 사용되면, 예컨대 주요 신호 및 잔여 신호 모두는 역회전에 의하여 원시 신호 쌍을 재생하도록 요구된다. 종래의 디코딩 장치들에 있어서, 잔여 신호들은 수신되지 않으며, 따라서 합성 잔여 신호는 역상관기(decorrelator)를 사용하여 각각의 주요 신호로부터 유도된다. 비록 이것은 원시 신호가 근사될 지라도, 합성 잔여 신호의 파형은 전형적으로 실제 잔여 신호들의 파형과 상이하다. 결과로서, 디코딩된 신호들 및 원시 신호들간의 불일치가 존재할 것이다.
본 발명의 목적은 종래 기술의 이들 및 다른 문제점들을 해결하고 신호 품질을 개선한 인코딩 장치 및 디코딩 장치를 제공하는 데 있다.
따라서, 본 발명은 제 1 수의 입력 오디오 채널들을 제 2 수의 출력 오디오 채널들로 변환하는 인코딩 장치로서, 여기서 제 1 수는 제 2 수보다 크고, 상기 장티는, 제 1 신호 및 제 2 신호를 제 3 신호 및 제 4 신호로 각각 변환하는 적어도 두 개의 변환 유닛들을 포함하며, 상기 제 3 신호는 상기 제 1 및 제 2 신호의 신호 에너지 대부분을 포함하고, 상기 제 4 신호는 상기 신호 에너지의 나머지를 포함하며; 상기 인코딩 장치는 상기 제 3 신호들을 사용하여 출력 신호를 생성하도록 구성되고, 상기 인코딩 장치는 제 4 신호를 출력하도록 또한 구성되는, 인코딩 장치를 제공한다.
적어도 하나의 제 4 신호를 출력함으로써, 즉 앞서 언급된 잔여 신호를 폐기하는 대신에 잔여 신호를 출력함으로써, 원시 신호의 보다 양호한 재구성이 디코더에 의하여 생성될 수 있다.
만일 인코딩 장치가 두 개 이상의 변환 유닛들을 포함하면, 제 4 신호는 바람직하게는 비록 이것이 필수적이지 않고 선택된 변환 유닛들의 제 4 신호가 디코더에서 신호 품질을 강화하기 위하여 사용될 수 있을지라도 각각의 변환 유닛에 대한 출력이다. 변환 유닛들은 병렬 또는 직렬(캐스캐이드)로 배열될 수 있으며 변환 유닛들은 두 개 이상의 채널, 예컨대 3개의 채널을 가질 수 있다는 것에 유의해야 한다.
비록 전체 제 4 신호를, 즉 제 1 및 제 2 신호들의 전체 기간 동안 출력하는 것이 가능할지라도, 제 4 신호가 출력되는 시간 세그먼트들을 선택하는 것이 바람직하다. 특히, 관련 시간 세그먼트(예컨대, 시간 프레임들)를 지각적으로 선택함으로써, 제 4 신호(들)을 전송 또는 저장하는데 필요한 전송 또는 저장 용량은 종래기술에 비하여 유효 신호 품질 개선을 제공하면서 감소된다. 예컨대, 단지 5kHz보다 낮은 주파수를 포함하는 시간 세그먼트들은 주파수 종속 선택을 사용하여 선택될 수 있다.
다른 바람직한 실시예에 있어서, 시간 세그먼트들 또는 신호 부분들의 선택은 제 4 (즉, 잔여) 신호들의 관련 부분들을 실제로 지각적으로 전달(passing)하고, 제 4 신호들의 덜 관련된 부분들을 지각적으로 감쇠시키며, 제 4 신호들의 최소 관련 부분들을 억제함으로써 달성된다. 즉, 신호 부분들(또는 프레임들)은 적어도 3개의 그룹으로 분할되는데, 지각적으로 가장 관련된 신호 부분들은 감쇠없이 거의 전달되며, 지각적으로 덜 관련된 신호는 전달되지만 감쇠되며, 지각적으로 최소로 관련된 신호는 억제된다. 이러한 방식에서, 상이한 관련성을 각각 가진 신호 부분들 간의 보다 스무스한 전이가 달성되며 이에 따라 보다 높은 신호 품질이 달성된다.
지각적 관련성은 특정 시간 세그먼트 동안 변환 유닛의 제 4 신호 및 제 3 신호의 비, 예컨대 전력비에 종속적인 가중(즉, 이득 또는 감쇠) 값을 제공하는 가중 함수를 사용함으로써 다수의 방식들로 결정될 수 있다.
각각의 채널들의 시간 및/또는 주파수 세그먼트들의 선택 대신에 또는 이 선택에 부가하여, 제 4 신호가 출력되는 채널들이 또한 선택될 수 있다. 만일 적어도 두 개의 변환 유닛들이 캐스캐이드로 배열되면, 바람직하며 인코딩 장치의 출력 단자에 가장 근접한 변환 유닛은 제 4 신호를 출력하도록 선택되는 반면에, 하나 이상의 변환 유닛들의 제 4 신호(신호 처리 방향에서)는 폐기될 수 있다. 다시 말해서, 변환 유닛들 다운스트림(신호 처리 방향으로)은 그들 각각의 제 4 신호를 출력하기 위하여 다른 변환 유닛들 전에 선택된다. 본 발명자들은 인코딩 장치의 마지막 스테이지들에 있는, 출력 단자에 가장 근접하게 생성된 제 4 신호들이 전형적으로 디코딩 장치의 제 1 스테이지에서 사용되고 따라서 디코딩된 신호의 품질에 대한 가장 큰 관련성을 가진다는 것을 인식하였다. 이러한 이유로, 이들 제 4 신호들은 적은 관련성을 가진 변환 유닛들의 제 4 신호들이 폐기되는 동안, 특히 이용가능한 전송 용량이 모든 제 4 신호들을 전송할 수 없을 때 전송되는 것이 바람직하다.
변환 유닛들의 이러한 선택은 일시적이거나 또는 영구적일 수 있다. 만일 일시적인 경우에, 모든 변환 유닛들에는 이용가능한 전송 용량 또는 다른 인자들에 따라 각각의 제 4 신호를 전달하거나 또는 차단할 수 있는 선택 유닛이 제공될 수 있다. 만일 영구적이면, 통상적으로 장치의 출력 단자로부터 더 멀리 떨어진 특정 변환 유닛들의 선택 유닛들은 생략될 수 있다.
본 발명은 또한 앞서 정의된 인코딩 장치를 사용하여 인코딩되는 디코딩 오디오 신호들에 대한 디코딩 장치를 제공한다. 따라서, 제 1 수의 입력 오디오 채널들을 제 2 수의 출력 오디오 채널들로 변환하는 디코딩 장치로서, 여기서 제 1 수는 제 2 수보다 작고, 상기 장치는 제 1 신호 및 제 2 신호를 제 3 신호 및 제 4 신호로 변환하는 적어도 두 개의 변환 유닛들을 포함하며, 상기 제 1 신호는 상기 제 3 및 제 4 신호의 신호 에너지 대부분을 포함하고, 상기 제 2 신호는 상기 신호 에너지의 나머지를 포함하며; 합성 제 2 신호를 생성하기 위하여 제 1 신호를 역상관하는 적어도 하나의 역상관 유닛을 포함하고; 상기 디코딩 장치는 적어도 하나의 추가 제 2 신호를 수신하도록 구성되는, 디코딩 장치를 제공한다.
추가 제 2 신호(즉, 인코딩 장치에서 제 4 신호로써 언급된 잔여 신호)를 수신함으로서, 디코딩된 오디오 신호의 개선된 품질은 디코딩 장치에서 생성된 임의의 합성 잔여 신호가 통상적으로 원시 잔여 신호와 동일하지 않을 때 달성될 수 있다.
바람직한 실시예에 있어서, 수신된 제 2 신호는 유도된 합성 제 2 신호와 결합되어 변환 유닛에 공급된 제 2 신호가 두 개의 신호들의 결합이도록 한다. 이는 또한 잔여 신호가 전송되지 않는 시간 세그먼트들 동안 합성 잔여 신호가 항상 이용가능한 장점을 가진다. 잔여 신호가 실제로 전송되는 시간 세그먼트들 동안, 변환 유닛에 의하여 사용된 잔여 신호는 전송된 잔여 신호 및 합성 잔여 신호의 결합이며, 따라서 단지 부분적으로 잔여 신호를 구성할 것이다.
바람직한 실시예에 있어서, 디코딩 장치에는 합성 잔여 신호들을 감쇠하기 위하여 수신된 잔여 신호에 의하여 제어되는 감쇠 유닛들이 제공된다. 이는 선택된 및 비선택된 잔여 신호들 사이의 보다 스무스한 전이들을 가능하게 하며 임의의 스위칭 아티팩트들(artifacts)을 방지한다. 특히, 이는 각각의 합성 잔여 신호의 진폭이 대응하는 수신 잔여 신호에 의하여 제어되도록 한다. 따라서, 합성 잔여 신호 및 실제 전송된 잔여 신호의 훨씬 개선된 혼합이 이루어진다.
앞에서는 M/S 및 PCA 인코딩에 대하여 참조하였다. 선택적으로 또는 부가적으로, 진폭-관련 인코딩 기술이 사용될 수 있다.
본 발명은 공간 오디오 코딩, 즉 단지 두 개의 채널들을 포함하는 스테레오 코딩과 대조적으로 두 개 이상의 채널들을 포함하는 오디오 코딩과 관련된다.
본 발명은 제 1 수의 입력 오디오 채널들을 제 2 수의 출력 오디오 채널들로 변환하는 방법으로서, 여기서 제 1 수는 제 2 수보다 크고, 그 방법은, 제 1 신호 및 제 2 신호를 제 3 신호 및 제 4 신호로 변환하는 적어도 두 개의 단계를 포함하며, 상기 제 3 신호는 상기 제 1 및 제 2 신호의 대부분의 신호 에너지를 포함하고, 상기 제 4 신호는 상기 신호 에너지의 나머지를 포함하며; 상기 제 3 신호들을 사용하여 출력 신호를 생성하는 단계; 및 제 4 신호를 출력하는 추가 단계를 포함하는, 변환 방법을 제공한다.
본 발명은 여전히 제 1 수의 입력 오디오 채널들을 제 2 수의 출력 오디오 채널들로 변환하는 방법으로서, 여기서 제 1 수는 제 2 수보다 작고, 상기 방법은, 제 1 신호 및 제 2 신호를 제 3 신호 및 제 4 신호로 변환하는 적어도 두 개의 단계를 포함하며, 상기 제 1 신호는 상기 제 3 및 제 4 신호의 대부분의 신호 에너지를 포함하고, 상기 제 2 신호는 상기 신호 에너지의 나머지를 포함하며; 상기 제 1 신호로부터 제 2 신호들을 유도하는 단계; 및 부가 제 2 신호를 수신하는 추가 단계를 포함하는, 변환 방법을 제공한다.
본 방법은 유도된 합성 제 2 신호를 생성하기 위하여 제 1 신호를 역상관하는 단계를 더 포함할 수 있다. 바람직하게, 본 방법은 합성 제 2 신호를 감쇠시키는 단계를 더 포함하며, 상기 감쇠 단계는 대응하는 수신된 제 2 신호에 의하여 제어된다. 유리하게, 본 방법은 합성 제 2 신호 및 수신된 제 2 신호를 결합하는 단계 및 상기 변환 단계에서 상기 결합 신호를 사용하는 단계를 더 포함한다.
본 발명은 앞서 정의된 인코딩 및/또는 디코딩 방법을 수행하는 컴퓨터 프로그램 제품을 부가적으로 제공한다. 컴퓨터 프로그램 제품은 CD 또는 DVD와 같은 데이터 캐리어 상에 저장된 컴퓨터 실행가능한 명령들의 세트를 포함할 수 있다. 프로그래밍 가능한 컴퓨터가 앞서 정의된 방법들을 수행하도록 하는 컴퓨터 실행가능한 명령들의 세트는 예컨대 인터넷을 통해 원격 서버로부터 다운로드하기 위하여 또한 이용가능할 수 있다.
본 발명은 또한 첨부 도면들에 기술된 전형적인 실시예들과 관련하여 이하에서 설명될 것이다.
도 1 은 본 발명에 따른 인코딩 장치의 부분을 개략적으로 도시한다.
도 2 는 본 발명에 따른 디코딩 장치의 부분을 개략적으로 도시한다.
도 3 은 종래 기술에 따른 신호 선택 기능을 개략적으로 도시한다.
도 4 는 본 발명에 따른 제 1 신호 선택 기능을 개략적으로 도시한다.
도 5는 본 발명에 따른 제 2 신호 선택 기능을 개략적으로 도시한다.
도 6은 종래 기술에 따른 인코딩 장치의 제 1 실시예를 개략적으로 도시한다.
도 7은 종래 기술에 따른 전형적인 디코딩 장치의 제 1 실시예를 도시한 개략도.
도 8은 본 발명에 따른 인코딩 장치의 제 1 실시예를 개략적으로 도시한다. .
도 9는 본 발명에 따른 디코딩 장치의 제 1 실시예를 개략적으로 도시한다.
도 10은 종래 기술에 따른 인코딩 장치의 제 2 실시예를 개략적으로 도시한다.
도 11은 종래 기술에 따른 디코딩 장치의 제 2 실시예를 개략적으로 도시한다.
도 12는 본 발명에 따른 인코딩 장치의 제 2 실시예를 개략적으로 도시한다.
도 13은 본 발명에 따른 디코딩 장치의 제 2 실시예를 개략적으로 도시한다.
도 1에 단순히 비제한적인 예로서 도시된 본 발명의 장치(10)는 2 대 1 변환 유닛(12)과 선택 및 감쇠(S&A) 유닛(15)을 포함한다. 변환 유닛(12)은 신호들의 제 1 쌍을 신호들의 제 2 쌍으로 변환하도록 구성된 종래의 변환 유닛일 수 있으며, 제 2 쌍은 대부분의 신호 에너지를 포함하는 주요 신호 및 나머지 신호 에너지를 포함하는 잔여 신호를 포함한다. 신호들(즉, 주요 신호 및 잔여 신호)의 제 2 쌍은 신호 회전 또는 유사한 기술들을 사용하여, 예컨대 전술한 식(3)을 사용하여 제 1 쌍으로부터 유도될 수 있다.
도 1의 예에서, 변환 유닛(12)은 좌측 신호[k] 및 우측 신호 r[k]를 수신하며, 이들 신호는 스테레오 신호를 함께 구성한다. 인덱스 k는 주파수 대역 또는 빈(bin)을 나타내며, 신호들 l[k] 및 r[k]는 바람직하게는 단시간 푸리에 변환(STFT) 또는 유사한 변환을 사용하여 시간 신호들 l[n] 및 r[n]으로부터 유도된다. 따라서, 신호들 l[k] 및 r[k]는 시간 프레임과 같은 시간 세그먼트의 주파수 구성요소들을 나타낸다.
종래 기술의 구조들에서, 주요 신호 m[k]는 잔여 신호 s[k]가 폐기되는 동안 코딩에 사용되며, 변환 유닛(12)은 변환과 연관된 파라미터들(Pars)의 세트 및 주요 신호 m[k]를 생성한다. 2004년 7월 5일에 출원된 유럽특허 출원번호 EP 04 103168.3(PHNL 04 0762)는 잔여 신호(s[k])의 부분이 사용되는 인코더 구조를 개시 하고 있다. 특히, 상기 이전 특허 출원의 구조에서 무관련 부분들을 지각적으로 폐기하면서 잔여 신호의 관련 부분들을 지각적으로 선택하는 선택기가 사용된다. 따라서, 몇몇 부분들(시간 프레임들의 주파수 표현일 수 있음)은 선택되거나 또는 폐기된다. 유럽특허 출원번호 EP 04 103168.3은 스테레오 인코더 및 디코더에서 잔여 신호의 부분들의 선택을 개시하고 있으며, 본 명세서에 참조문헌으로서 그 전체 콘텐트들이 통합된다. 그러나, 5.1 구조와 같은 다중채널 인코딩 및 디코딩에서 잔여 신호의 부분들의 선택은 개시되어 있지 않다.
앞서 언급된 유럽특허출원에 따른 선택은 가중 함수 W'를 도시한 도 3에 개략적으로 도시된다. 잔여 신호의 부분들에 할당된 가중치 w는 잔여 신호 s[k]의 전력 및 주요 신호의 전력 비, 즉 m:z=P(s[k])/P(m[k])일 수 있는 관련성 인자 z, 또는 특히 주요 신호와 비교하여 잔여 신호의 (상대적인) 지각적 관련성을 나타내는 임의의 다른 인자에 따른다. 잔여 신호의 상대 전력이 특정 임계값 z0을 초과할때, 가중 인자 w는 1이며, 이는 잔여 신호 부분이 완전히 인코딩되어 전송되는 것을 의미한다. 잔여 신호의 상대 전력이 임계값 z0보다 작을 때, 가중 인자 w는 0과 동일하며 잔여 신호의 관련 부분은 폐기된다.
본 발명자들은 이러한 선택이 너무 개략적이어서 가청 스위칭 아티팩트들을 유발한다는 것을 인식하였다. 특히, 디코딩된 신호들의 품질은 전송된 데이터의 양을 현저하게 증가시키지 않고 개선될 수 있다. 따라서, 본 발명은 관련 및 비관련 부분들 사이만을 구별하는 잔여 신호의 (부분들)의 선택을 제공할 뿐만 아니라, 덜 관련된 부분들, 즉 (가장) 관련된 부분들만큼 관련되지 않으나 비관련되지 않은 부분들을 식별한다.
본 발명에 따른 가중 함수 W의 예들은 도 4 및 도 5에 개략적으로 도시되어 있다. 도 4의 예에서, 가중 인자 W는 두 개의 임계값들 z0 및 z1을 가진다. 만일 z가 z0보다 작으면, 가중 인자 w는 제로이다. 만일 z가 z0보다 크지만 z1보다 작으면, 가중 인자 w는 0.5(0.25 또는 0.67과 같은 다른 값들이 사용될 수 있다는 것이 이해되어야 한다)와 동일하다(본 예에서). 만일 z가 z1 보다 크면, w는 1과 동일하다. 따라서, 도 4의 예에서, 3개의 개별적인 가중 인자 값들이 사용된다.
도 5의 예에서, 가중 인자 w는 0(z=z0에서)으로부터 0.5(z=z1에서)를 통해 1.0(z=1에서)으로 점진적으로 증가한다. 결과적으로, 단지 가장 관련있는 신호 부분(z=z0)만이 1과 동일한 가중 인자를 가지며, z0보다 큰 관련성 인자 z를 가진 모든 신호 부분들은 비제로 가중 인자 w를 가진다. 도 5의 예에서, 이론적으로 무한 수의 개별 가중 인자값들이 사용된다. 가중 함수 W의 점진적 증가는 상이한 감쇠 레벨들사이에서 스무스한 스위칭을 야기한다.
물론, 도 4 및 도 5에 기술된 함수들과 다른 함수들이 사용될 수 있다. 일반적으로, 가중 함수는 원시 신호 쌍 l[k], r[k]의 재구성에 큰 공헌을 하지 않는 잔여 신호의 부분들이 제거되고, 중간 관련성을 갖는 잔여 신호의 부분들은 감쇠되며, 매우 중요한 부분들은 실제로 감쇠되지 않고 통과되는 특성들을 가질 것이다.
전력 비 대신에 대역폭과 같은 다른 기준이 사용될 수 있다는 것에 유의해야 한다. 예컨대, 신호 전력과 무관하게 특정 임계 주파수보다 낮은 주파수를 가진 신호 부분들을 선택하는 것이 결정될 수 있다.
도 1에 도시된 본 발명에 따른 선택 및 감쇠(S&A) 유닛(15)은 신호 부분들을 선택할 뿐만 아니라 임의의 선택된 신호 부분들을 감쇠한다. 잔여 신호 s[k]에 부가하여, 선택 및 감쇠 유닛(15)은 주요 신호 m[k]를 수신한다. 도시된 실시예에 있어서, 선택 및 감쇠 유닛(15)은 또한 2-1 변환 유닛(12)에 의하여 생성된 신호 파라미터들(Pars) 및 원시 신호 쌍(l[k] 및 r[k])을 수신한다. 선택 및 감쇠 유닛(15)에 원시 신호 쌍을 공급하는 것은, 주요 신호 및 잔여 신호의 상대 전력들(또는 다른 특징들)에 부가하거나 또는 대신에 선택 및 감쇠 결정시 원시 신호 쌍의 상대 전력들(또는 다른 특징들)을 포함하는 가능성이 제공된다. 선택 및 감쇠 유닛(15)에 신호 파라미터들을 공급하는 것은, 추가 신호 특징이 선택 및 감쇠 프로세스에서 사용되도록 허용한다.
선택 및 감쇠 유닛(15)은 주요 신호 m[k]와 함께 인코딩될 수 있는 가중된 잔여 신호 ws[k]를 출력한다. 가중된 잔여 신호 ws[k]가 원시 잔여 신호 s[k]보다 적은 정보를 포함하고 따라서 코딩된 신호 쌍의 전송에 요구된 비트율을 감소시킨다는 것을 이해할 것이다. 다른 한편으로, 가중된 잔여 신호 ws[k]의 포함은, 잔여 신호가 폐기되는 종래의 구조와 비교하여 신호 품질을 현저하게 개선한다. 선택 및 감쇠 유닛(15)은 도 4 및 도 5에 도시된 가중 함수 W, 또는 잔여 신호 s[k]를 선택하여 적절한 경우에 감쇠하는 임의의 등가 도구를 사용한다.
디코딩 장치에서 사용하는 본 발명에 따른 구조가 도 2에 개략적으로 도시되 어 있다. 단순히 전형적인 구조(20)는 혼합 유닛(24) 및 가중 유닛(29)을 포함한다. 구조(20)는 주요 신호 m[k], 가중된 잔여 신호 ws[k] 및 신호 파라미터들(Pars)을 수신한다. 주요 신호 m[k]는 잔여 신호가 전송되지 않는 종래기술의 구조들에서 수행되는 바와 같이, 합성 잔여 신호 sd[k]를 유도하기 위하여 역상관기(D)(23)에 공급된다. 이러한 합성 잔여 신호 sd[k]는 가중된 잔여 신호 ws[k]의 제어하에서 감쇠되는 감쇠기(26)에 공급된다. 신호 파라미터들은 또한 합성 잔여 신호의 감쇠를 부가적으로 제어하기 위하여 감쇠기(26)에 공급될 수 있다. 결과적인 감쇠된 합성 잔여 신호 및 가중된 잔여 신호는 본 실시예에서 가산기에 의하여 구성되는 결합 유닛들(27)에 결합된다. 결과적인 결합된 잔여 신호 sh[k]는 혼합 유닛(24)의 입력에 공급된다. 주요 신호 m[k]는 혼합 유닛(24)의 다른 입력에 공급되는 반면, 신호 파라미터들(예컨대 IID 및 ICC를 포함함)은 예컨대 상기 식(3)에서 언급된 신호 회전 또는 임의의 다른 적절한 기술에 의하여 신호 쌍 m[k], sh[k]을 신호 쌍 1'[k], r'[k]으로 변환하기 위하여 혼합 유닛(24)의 제어 입력에 공급된다.
따라서, 본 발명의 구조(20)에서, 혼합 유닛(24)에 공급된 잔여 신호 sh[k]는 (디코딩된) 잔여 신호 ws[k] 및 합성 잔여 신호의 감쇠된 버전의 조합이다. 만일 (전송된) 잔여 신호 ws[k]가 이용가능하지 않으면, 역상관된 신호 sd[k]는 실제로 감쇠 없이 사용된다. 만일 잔여 신호 ws[k]가 이용가능하면, 역상관된 신호 sd[k]는 그에 따라 감쇠된다.
본 발명에 따른 인코딩 및 디코딩 장치들은 도 8, 도 9, 도 12 및 도 13을 참조하여 이하에 기술될 것이다. 그러나, 먼저, 종래 기술에 따른 인코딩 장치 및 디코딩 장치는 도 6 및 도 7을 참조하여 논의될 것이다.
종래기술의 인코딩 장치(1')는 소위 5.1 신호와 같은 6개의 채널 오디오 입력 신호를 두 개의 채널 오디오 출력 신호로 인코딩하도록 설계된다. 도시된 예에서, 입력 채널들은 lf(좌측 정면), lr(좌측 후방), rf(우측 정면), rr(우측 후방), co(중심) 및 le(저주파수 효과)이다. 이들 모든 신호들은 디지털 시간 신호들인 것으로 가정되며, lf[n], lr[n] 등으로 기록될 수 있으며, 여기서 n은 샘플 수이다.
오디오 입력 신호들은 예컨대 FFT(고속 푸리에 변환)을 사용하여 주파수 영역으로 변환되는 시간 세그먼트들로 신호들을 분할하는 세그먼트 및 변환(T) 유닛(11)에 입력된다. 시간 신호들이 분할되는 시간 세그먼트들은 종래 잘 알려진 바와 같이 바람직하게는 부분적으로 중첩된다.
세그먼트 및 변환 유닛들(11)은 시간 세그먼트들의 주파수 영역 표현이며 Lf[k], Lr[k] 등으로서 기록될 수 있는 변환된 신호들 Lf, Lr, Rf, Rr, Co 및 Le를 생성하며, 여기서 k는 주파수 인덱스이다. 이들 변환된 신호들은 신호 파라미터들(예컨대, PS1)의 연관된 세트를 생성하면서 입력 신호들(예컨대, Lf 및 Lr)의 각각의 쌍을 주요 신호(예컨대, L) 및 잔여 신호로 변환하는 2 대 1 변환기들(12)에 공급된다. 이러한 변환은 전형적으로 주요 신호가 신호 에너지의 대부분을 포함하는데 반해 잔여 신호가 신호 에너지의 나머지를 포함하도록 신호들의 회전을 포함한다.
도 6의 종래기술 장치에 있어서, 잔여 신호는 주요 신호가 3 대 2 변환 유닛(13)에 공급되는 동안 폐기된다. 도시될 수 있는 바와 같이, 각각의 2 대 1 변환 유닛(12)은 주요 신호(L, R, 및 C) 및 연관된 파라미터 세트(PS1, PS2, 및 PS3)를 각각 생성한다. 파라미터 세트는 회전 각도 α, 인터-채널 강도 차 파라미터 IID 및/또는 인터-채널 상관 파라미터 ICC와 같은, 유닛(12)에 의하여 수행되는 변환과 관련한 파라미터들을 포함한다.
3 대 2 변환 유닛(13)은 연관된 파라미터 세트(PS4)를 생성하면서 3개의 입력 신호들(L, R, 및 C)을 두 개의 출력 신호들(L0, R0)로 변환한다. 입력 신호들(L, R)은 앞서 정의된 제 1 및 제 2 신호로 각각 식별될 수 있는 반면에, 신호들(L0, C0)은 앞서 정의된 제 3 및 제 4 신호로 각각 식별될 수 있다는 것에 유의해야 한다.
(변환 영역) 신호(L0, R0)는 시간-영역 신호들(l0 및 r0 )을 출력하는 역변환(T-1) 및 중첩-및-가산(OLA) 유닛(14)에 공급된다. 역변환은 유닛들(11)의 변환의 대응부이며 전형적으로 역 FFT이다. 중첩-및-가산 연산은 유닛(11)의 세그먼트 연산의 역이며, 부분적으로 중첩하는 시간 프레임들을 가산한다.
따라서, 종래기술의 인코더(1')는 6개의 입력 오디오(시간) 신호들을 두 개 의 출력 오디오(시간) 신호들 + 파라미터들의 4개의 세트로 변환한다. 각각의 변환 유닛(12 또는 13)에서, 출력 신호는 신호들 및 필요한 전송율의 수를 감소시키기 위하여 폐기된다.
종래 기술에 따른 호환가능한 디코딩 장치는 도 7에 도시되어 있다. 두 개의 오디오 입력 채널들을 6개의 오디오 출력 채널들로 변환하도록 구성된, 디코딩 장치(2')는 입력(시간) 신호들(l0 및 r0 )을 분할 및 변환하는 세그먼트 및 변환(T) 유닛(21)을 포함한다. 인코딩 장치에서처럼, 단기간 푸리에 변환(STFT)이 사용될 수 있다. 결과적인(변환 영역) 신호들 L0 및 R0은 (제 4) 파라미터 세트(PS4)(도 6과 비교)가 또한 공급되는 2 대 3 변환 유닛(22)에 공급된다. 2 대 3 변환 유닛(22)은 역상관(D) 유닛(23) 및 혼합(M) 유닛(24)에 각각 공급되는 3개의 신호들(L, R, 및 C)로 두 개의 신호들(L0, R0)을 변환한다. 역상관 유닛들(23)은 신호들(L, R, 및 C)의 역상관된 버전들(Ld, Rd, 및 Cd)을 생성한다. 이들 역상관된 신호들은 인코딩 장치에서 폐기되는 신호들을 효율적으로 대체하는 합성 잔여 신호들로서의 역할을 한다.
3개의 혼합 유닛들(24) 각각은 (상향) 혼합 연산을 제어하는 각각의 파라미터 세트(PS1, PS2, 및 PS3)를 수신한다. 만일 PCA(주성분분석)이 사용되면, 신호 회전은 신호 파라미터 세트들에 포함된 각도 α로 수행된다. 다른 적절한 파라미터들은 예컨대 앞서 언급된 IID 및 ICC이다. 이들 파라미터들의 모두가 필요치 않으며, 각도 α는 다음을 사용하여 파라미터들(IID 및 ICC)로부터 유도될 수 있다.
Figure 112007040653751-PCT00003
식(4)
Figure 112007040653751-PCT00004
식(5)
혼합 유닛들(24)에 의하여 생성된 신호들은 각각 신호 쌍들(Lf 및 Lr, Rf 및 Rr, 및 Co 및 Le)이다. 이들 신호들은 역 FFT와 같은 적절한 역변환을 수행하는 역변환 및 중첩-및-가산 유닛들(25)에 의하여 역 변환되며(T-1) 그 후 시간 신호 쌍(lf 및 lr, rf 및 rr, 및 co 및 le)을 재구성한다. 따라서, 종래기술의 디코더(2')는 오디오 입력 신호들(l0, r0)의 쌍을 6개의 오디오 출력 신호들로 변환한다.
알려진 디코딩 장치(2')의 단점은 출력 신호 품질이 필수적으로 제한된다는 점이다. 더욱이, 이용가능한 전송 용량의 임의의 증가는 출력 신호 품질의 대응 증가를 야기하지 않는다. 이는 주로 혼합 유닛들(24)에 의하여 사용된 잔여 신호들이 합성적인, 즉 주요 신호들로부터 유도된다는 사실 때문이다. 본 발명은 도 1 내지 5를 참조하여 이미 기술된 바와 같이 잔여 신호의 선택된 부분들을 또한 전송함으로써 이들 문제점들을 해결한다.
도 8에 기술된 본 발명에 따른 인코딩 장치(1)는 3개의 2 대 1 유닛들(12) 및 단일 3 대 2 유닛(13)에 의하여 생성된 잔여 신호들의 조절을 제외하고 도 6에 도시된 종래 기술의 인코딩 장치(1')와 유사하다. 종래기술의 장치에 있어서, 유 닛(12)의 신호 처리(전형적으로 신호 회전) 연산들에 의하여 생성된 잔여 신호들은 폐기되며 "2 대 1" 유닛들을 참조한다. 그러나, 본 발명의 장치에 있어서, 이들 잔여 신호들은 폐기되지 않지만 유닛들(12)에 의하여 출력되며, 이어서 선택 및 감쇠 유닛들(15)에 의하여 처리된다. 이는 2 대 1 유닛(12)과 선택 및 감쇠 유닛(15)을 포함하는, 도 1의 구조(10)에 대응한다. 따라서, 세그먼트 및 변환 유닛(11)에 의하여 생성된 변환된 입력 신호들(Lf 및 Lr과 같은) 및 유닛(12)에 의하여 생성된 신호 파라미터들(도 8의 PS1 .. PS3 로 표시됨)은 또한 선택 및 감쇠 유닛(15)에 공급될 수 있다는 것을 이해해야 한다.
각각의 선택 및 감쇠 유닛(15)은 인코더 장치(1)에 의하여 출력되는 각각의 잔여 신호(Ls, Rs, 및 Cs)를 생성한다. 당업자는 이들 잔여 신호들뿐만 아니라 파라미터 세트들(PS1 , ..., PS4)이 인코딩 장치에 의하여 출력되기 전에 적절하게 인코딩 및/또는 양자화될 수 있다는 것을 이해해야 한다.
3 대 2 유닛(1)에 의하여 생성된 추가 잔여 채널(E0)은 또한 선택적으로 출력될 수 있다. 이러한 잔여 채널(E0)은 도 6을 참조하여 언급된 잔여 채널(C0)의 예측 에러를 나타낸다. 예측 에러는 차례로 L0 및 R0의 선형 조합일 수 있는, 잔여 채널(C0) 및 그 예측의 차이와 동일하다. 추가 잔여 채널(E0)은 비록 이것이 확실히 가능할지라도 선택 및 감쇠 연산(유닛들(5))에 영향을 받지 않는 것이 바람직하다. 도시된 실시예에서, 역변환(T-1)과 중첩-및-가산 유닛(14)은 규칙적 출력(시 간) 신호들(l0, r0)외에 잔여(시간) 신호(e0)를 출력한다.
추가 잔여 채널들은 추가 전송 용량(비트 버짓)이 이용가능한 경우에 사용될 수 있다. 따라서, 추가 전송 용량은 모든 추가 잔여 채널들에 걸쳐 분배될 수 있다. 일부 분배 선호도들이 언급될 수 있다.
- 추가 채널들은 좌측 오디오 채널 블록들 및 우측 오디오 채널 블록들(블록은 예컨대 채널과 연관된 다수의 유닛들이다)에 대칭적으로 할당되며;
- 추가 채널들은 우선 인코딩 장치의 출력에 가장 근접한 블록들에 할당되며;
- 이용가능한 전송 용량은 가능한 많은 추가 채널들에 분배된다.
더욱이, 추가 채널들의 대역폭은 예컨대 2 kHz에 제한될 수 있다.
본 발명에 따른 전형적인 호환가능한 디코딩 장치가 도 9에 도시된다. 본 발명의 디코딩 장치(2)는 유닛들(26, 27), 추가 잔여 채널들(Ls, Rs, 및 Cs)의 사용 및 추가 잔여 채널(e0)의 선택적 사용을 제외하고 도 7의 종래기술의 디코딩 장치(2')와 유사하다.
도 9에 도시된 바와 같이, 도 9의 디코딩 장치(2)는 3개의 가중 유닛(도 2의 29)을 포함하며, 각각의 가중 유닛은 역상관 유닛(23), 감쇠 유닛(26) 및 결합 유닛(27)을 포함한다. 이들 가중 유닛들의 각각은 각각의 파라미터 세트(PS1, PS2, 및 PS3)와 함께 각각의 잔여 신호(Ls, Rs, 및 Cs)를 수신한다. 역상관 유닛(23), 제어된 감쇠 유닛(26) 및 결합 유닛(27)을 각각 포함하는 가중 유닛들(29)은 합성 잔여 신호들 및 전송된 잔여 신호들의 가중을 제공함으로써 디코딩된 신호들(lf, lr,...,le)의 품질을 현저하게 개선한다.
디코딩 장치(2)는 도 8의 인코딩 장치(1) 및 잔여 신호들을 생성하는 다른 인코딩 장치들로 인코딩된 신호들을 디코딩할 수 있다는 것을 이해해야 한다. 다시 말해서, 이들 잔여 신호들은 비록 그러한 가중이 유리할지라도 도 1에 기술된 바와 같은 구조(10)로 가중되는 것은 필요치 않다. 따라서, 디코딩 장치(2)는 종래기술의 인코딩 장치들, 예컨대 도 6의 종래기술의 인코딩 장치에 의하여 인코딩된 신호들을 디코딩할 수 있다.
본 발명의 디코딩 장치(2)의 실시예들은 감쇠 유닛들(26)이 생략되고 채널들(L, R, 및 C)의 역상관 버전들이 결합 유닛들(27)에 직접 공급되는 것에 직면할 수 있다. 여전히 본 발명의 범위 내에 있는 이러한 실시예들에 있어서, 추가 잔여 채널들(Ls, Rs, 및 Cs)의 사용은 여전히 도 7에 도시된 종래기술의 디코더(2')와 비교하여 개선된 신호 품질을 제공한다. 그러나, 감쇠 유닛(26)을 제공함으로써, 추가 잔여 채널들(Ls, Rs, 및 Cs)에 대하여 보다 양호한 수행이 이루어진다.
선택적인 추가 잔여 채널(e0)은 제 3 채널로서 2 대 3 유닛(22)에서 사용될 수 있으며 이에 따라 두 개의 입력 채널들 대신에 3개의 입력 채널들을 제공한다. 이는 예컨대 잔여 채널(C0)의 예측을 조절함으로써 (변화된) 입력 채널(L0, R0) 및 파라미터 세트(PS4)로부터 신호들(L, R, 및 C)을 유도할 때 신호 품질을 개선한다.
종래기술의 6 대 1 인코딩 장치(1')가 도 10에 도시된다. 이러한 인코딩 장 치는 3개의 세그먼트 및 변환 유닛들(11), 5개의 2 대 1 유닛들(12, 13a, 및 13b), 및 역변환 및 중첩-및-가산 유닛(14)을 포함한다. 도 6의 종래기술의 인코딩 장치(1')와 비교할 때, 제 1 스테이지들(유닛들 11, 12)은 동일한 반면에 도 6의 3 대 2 유닛(13)은 단일 신호(M) 및 두 개의 파라미터 세트들(PS4, PS5)을 함께 생성하는 두 개의 2 대 1 유닛들(13a, 13b)로 대체된다는 것을 알 수 있다. 단일 (변환 영역) 신호(M)는 역변환되며, 바람직하게는 저장 및/또는 전송될 수 있는 신호 오디오 출력(시간) 신호(m)를 생성하기 위하여 중첩-및-가산 연산이 바람직하게 적용된다.
대응하는 종래기술의 1 대 6 디코딩 장치는 도 11에 도시된다. 도 11의 디코딩 장치(2')는 5개의 상향 혼합(M) 유닛들(22a, 22b, 및 24)을 사용하여 단일 오디오 입력(시간) 신호(m)를 6개의 오디오 출력(시간) 신호들로 디코딩한다. 도 7의 종래기술의 2 대 6 디코딩 장치와 비교할 때, 2 대 3 (상향 혼합) 유닛(22)은 단일 입력 신호(m)를 3개의 중간 신호들(L, R, C)로 변환하기 위하여 각각의 파라미터 세트(PS5, PS4)를 각각 수신하는 상향 혼합 유닛들(22a, 22b)로 대체된다는 것을 알 수 있다.
도 10의 종래기술의 인코딩 장치(1')는 본 발명에 따라 도 12의 본 발명의 6 대 1 인코딩 장치(1)를 생성하도록 수정될 수 있다. 도 12의 단순히 전형적인 실시예에 있어서, 선택 및 감쇠(S&A) 유닛들(15, 16a, 및 16b)은 추가 잔여 채널들(Ls, Rs, Cs, LRs, 및 Ms)를 생성하도록 추가되었다. 따라서, 도 12의 인코딩 장치(1)는 출력 신호(m)에 부가하여, 5개의 파라미터 세트들(PS1 ,...,PS5) 및 5개 의 잔여 채널들(Ls, Rs, Cs, LRs 및 Ms)를 생성하며, 잔여 채널들은 바람직하게 가중된다.
앞서 지시된 바와 같이, 선택 및 감쇠 유닛(15)은 생략될 수 있으며 이에 따라 가중되지 않은 추가 채널들(Ls, Rs, 및 Cs)을 제공한다. 일부 실시예들에 있어서, 선택 및 감쇠 유닛들(16a, 16b)은 생략될 수 있다. 그러나, 모든 S&A 유닛들(15, 16a, 16b)은 도 12에 기술된 바와 같이 제공되는 것이 바람직하다.
예컨대 전송 용량이 불충분할 때 5개의 이용가능 잔여 채널들로부터 잔여 채널들을 선택하는 것이 또한 가능하다. 이 경우에, 인코딩 장치(1)의 출력 단자에 가장 근접한, 즉 변환 유닛(14)에 가장 근접한 잔여 채널들을 선택 및 전송하는 것이 바람직하다. 이들 잔여 채널들은 대응하는 디코딩 장치에 사용될 5개의 채널들이며, 따라서 디코딩 프로세스 및 디코딩된 신호의 품질에 가장 큰 영향을 미친다. 도 12의 예에서, 2 대 1 유닛(13b)에 의하여 생성된 잔여 채널 Ms가 먼저 선택되고, 그 후 2 대 1 유닛(13a)에 의하여 생성된 잔여 채널(LRs)이 선택된다. 단지 더 많은 전송용량이 이용가능할 때, 잔여 채널들(Ls, Rs, 및/또는 Cs)이 선택될 것이다.
호환가능한 1 대 6 디코더는 도 13에 도시된다. 도 13의 단순히 전형적인 실시예에 있어서, 단일 오디오 입력(시간) 채널(m)은 5개의 파라미터 세트들(PS1 ,...,PS5) 및 5개의 잔여 채널(MS, LRs, Ls, Rs, 및 Cs)을 사용하여 6개의 오디오 출력(시간) 채널들로 변환된다. 잔여 채널들의 각각은 도 2에 기술된 바와 같은 구조(20)를 사용하여 처리되며, 각각의 구조는 역상관 유닛(23 (또는 23a/b)), 감 쇠 유닛(26)(또는 26a/b)), 결합 유닛(27) 및 상향 혼합 유닛(22a, 22b, 또는 24)을 포함한다. 감쇠 유닛들 및 결합 유닛들은 잔여 채널들이 합성 잔여 채널들의 진폭을 제어하고 수신된 잔여 채널들 및 합성 잔여 채널들의 적절한 혼합을 제공하도록 한다. 따라서, 기술된 예에서, 각각의 변환 유닛은 대응하는 제 2 신호를 수신하도록 구성된다. 그러나, 이는 필수적인 것이 아니며, 단지 선택된 수의 변환 유닛들(24)만이, 예컨대 변환 유닛들(22a, 22b)만이 제 2 신호를 수신하도록 구성될 수 있다.
본 발명은 인코딩시에 잔여 신호가 적어도 3개의 카테고리, 즉 지각적으로 관련된 카테고리, 덜 관련된 카테고리 및 무관련 카테고리로 재분할될 수 있으며, 이에 따라 잔여 신호가 감쇠될 수 있는 통찰에 기초한다. 본 발명은 디코딩시에 디코딩된 잔여 신호가 재구성된 잔여 신호를 생성하기 위하여 합성 잔여 신호의 감쇠를 제어하도록 사용될 수 있다는 통찰에 기초한다.
본 발명은 인터넷 라디오, 인터넷 스트리밍, 전자 음악 배급(EMD), 고체상태(예컨대, MP3 또는 AAC) 오디오 플레이어, 소비자 오디오 시스템, 전문가 오디오 시스템 등과 같은 오디오 코딩을 포함하는 응용에서 이용될 수 있다.
본 명세서에서 사용된 일부 용어들은 본 발명의 범위를 제한하는 것으로 해석되지 않아야 한다. 특히, 용어 "포함한다"는 상세히 언급되지 않은 임의의 엘리먼트들을 배제하는 것을 의미하지 않는다. 단일(회로) 엘리먼트들은 다중(회로) 엘리먼트들 또는 이들의 균등물들로 대체될 수 있다.
본 발명이 앞서 기술된 실시예들에 제한되지 않고 첨부된 청구항들에 의하여 정의된 본 발명의 범위로부터 벗어나지 않고 많은 수정들 및 추가들이 이루어질 수 있다는 것을 당업자는 이해해야 한다.

Claims (20)

  1. 제 1 수(M)의 입력 오디오 채널들을 제 2 수(N)의 출력 오디오 채널들로 변환하는 인코딩 장치(1)로서, 상기 제 1 수(M)는 상기 제 2 수(N)보다 큰, 상기 인코딩 장치(1)에 있어서,
    상기 인코딩 장치는, 제 1 신호(Lf; Rf; Co) 및 제 2 신호(Lr; Rr; Le)를 제 3 신호(L; R; C) 및 제 4 신호(Ls; Rs; Cs)로 각각 변환하는 적어도 두 개의 변환 유닛들(12)을 포함하며, 상기 제 3 신호는 상기 제 1 및 제 2 신호의 신호 에너지의 대부분을 포함하고, 상기 제 4 신호는 상기 신호 에너지의 나머지를 포함하며; 상기 인코딩 장치(1)는 상기 제 3 신호들(L; R; C)를 사용하여 출력 신호를 생성하도록 구성되며,
    상기 인코딩 장치(1)는 또한 제 4 신호(Ls; Rs; Cs)를 출력하도록 구성되는, 인코딩 장치.
  2. 제 1 항에 있어서,
    상기 제 4 신호가 출력되는 시간 세그먼트들을 선택하는 선택 유닛들(15, 16a, 16b)을 더 포함하는, 인코딩 장치.
  3. 제 2 항에 있어서,
    상기 선택 유닛들(15, 16a, 16b)은 또한 상기 제 4 신호들의 지각적으로 관 련된 부분들을 실질적으로 전달(passing)하고, 상기 제 4 신호들의 지각적으로 덜 관련된 부분들을 감쇠시키며, 상기 제 4 신호들의 최소 관련된 부분들을 억제하도록 구성되는, 인코딩 장치.
  4. 제 1 항에 있어서,
    병렬로 배열된 적어도 3개의 변환 유닛(12)을 포함하며, 상기 각각의 변환 유닛은 변환된 시간 세그먼트들을 생성하기 위하여 각각의 세그먼트 및 변환 유닛(11)과 결합되며,
    상기 장치는 출력 시간 신호(m; l0, r0)를 생성하기 위하여 역변환 및 중첩-및-가산 유닛(14)을 더 포함하는, 인코딩 장치.
  5. 제 1 항에 있어서,
    적어도 두 개의 캐스캐이드 변환 유닛들(12 , 13a, 13b)을 더 포함하며,
    상기 인코딩 장치의 출력 단자에 가장 근접한 상기 변환 유닛(13b)은 상기 제 4 신호(Ms)를 출력하기 위하여 선택되고, 상기 다른 변환 유닛들(12)의 제 4 신호는 폐기되는, 인코딩 장치.
  6. 제 1 수(N)의 입력 오디오 채널들을 제 2 수(M)의 출력 오디오 채널들로 변환하는 디코딩 장치로서, 상기 제 1 수(N)는 상기 제 2 수(M)보다 작은, 상기 디코 딩 장치에 있어서,
    상기 디코딩 장치는, 제 1 신호(L; R; C) 및 제 2 신호(Ld; Rd; Ld)를 제 3 신호(Lf; Rf; Co) 및 제 4 신호(Lr; Rr; Le)로 변환하는 적어도 두 개의 변환 유닛들(24)을 포함하며, 상기 제 1 신호는 상기 제 3 및 제 4 신호의 신호 에너지의 대부분을 포함하고, 상기 제 2 신호는 상기 신호 에너지의 나머지를 포함하며; 상기 장치는 합성 제 2 신호를 생성하기 위하여 제 1 신호를 역상관하는 적어도 하나의 역상관 유닛(23a, 23b, 23)을 더 포함하며;
    상기 디코딩 장치는 또한 적어도 하나의 추가 제 2 신호(Ls; Rs; Cs)를 수신하도록 구성되는, 디코딩 장치.
  7. 제 6 항에 있어서,
    상기 각각의 변환 유닛(24)은 대응하는 제 2 신호를 수신하도록 구성되는, 디코딩 장치.
  8. 제 6 항에 있어서,
    대응하는 합성 제 2 신호를 감쇠시키기 위하여 수신된 제 2 신호에 의하여 제어된 적어도 하나의 감쇠 유닛(26, 26a, 26b)을 더 포함하는, 디코딩 장치.
  9. 제 8 항에 있어서,
    상기 변환 유닛에서 결과적인 결합 신호를 사용하기 위하여 상기 합성 제 2 신호 및 상기 수신된 제 2 신호를 결합하는 적어도 하나의 결합 유닛(27)을 더 포함하는, 디코딩 장치.
  10. 제 6 항에 있어서,
    병렬로 배열된 3개의 변환 유닛들(24)을 더 포함하는, 디코딩 장치.
  11. 제 6 항에 있어서,
    적어도 하나의 세그먼트 및 변환 유닛(21)과 적어도 두 개의 역변환 및 중첩-및-가산 유닛들(25)을 더 포함하는, 디코딩 장치.
  12. 제 1 항에 따른 인코딩 장치(1)를 포함하는 오디오 시스템.
  13. 제 6 항에 따른 디코딩 장치(2)를 포함하는 오디오 시스템.
  14. 제 1 수(M)의 입력 오디오 채널들을 제 2 수(N)의 출력 오디오 채널들로 변환하는 방법으로서, 상기 제 1 수(M)는 상기 제 2 수(N)보다 더 큰, 상기 변환 방법에 있어서,
    상기 방법은, 제 1 신호(Lf; Rf; Co) 및 제 2 신호(Lr; Rr; Le)를 제 3 신호(L; R; C) 및 제 4 신호(Ls; Rs; Cs)로 변환하는 적어도 두 개의 단계들로서, 상기 제 3 신호는 상기 제 1 및 제 2 신호의 신호 에너지의 대부분을 포함하고, 상기 제 4 신호는 상기 신호 에너지의 나머지를 포함하는, 상기 변환 단계들, 및
    상기 제 3 신호들(L; R; C)을 사용하여 출력 신호를 생성하는 단계를 포함하고,
    상기 방법은 제 4 신호(Ls; Rs; Cs)를 출력하는 단계를 더 포함하는, 변환 방법.
  15. 제 14 항에 있어서,
    적어도 두 개의 캐스캐이드 변환 단계들을 더 포함하며;
    상기 캐스캐이드의 변환 단계 다운스트림의 상기 제 4 신호(Ms)는 전송되고, 상기 다른 변환 단계들의 제 4 신호들은 폐기되는, 변환 방법.
  16. 제 1 수(N)의 입력 오디오 채널들을 제 2 수(M)의 출력 오디오 채널들로 변환하는 방법으로서, 상기 제 1 수(N)는 상기 제 2 수(M)보다 작은, 상기 변환 방법에 있어서,
    상기 변환 방법은, 제 1 신호(L; R; C) 및 제 2 신호(Ld; Rd; Ld)를 제 3 신호(Lf; Rf; Co) 및 제 4 신호(Lr; Rr; Le)로 변환하는 적어도 두 개의 단계들로서, 상기 제 1 신호는 상기 제 3 및 제 4 신호의 신호 에너지의 대부분을 포함하며, 상기 제 2 신호는 상기 신호 에너지의 나머지를 포함하는, 상기 변환 단계들, 및
    상기 제 1 신호(L; R; C)로부터 제 2 신호들(Ld; Rd; Cd)를 유도하는 단계를 포함하고,
    상기 방법은 추가 제 2 신호(Ls; Rs; Cs)를 수신하는 단계를 더 포함하는, 변환 방법.
  17. 제 16 항에 있어서,
    합성 제 2 신호를 생성하기 위하여 제 1 신호를 역상관하는 단계를 더 포함하는, 변환 방법.
  18. 제 17 항에 있어서,
    상기 합성 제 2 신호를 감쇠시키는 단계를 더 포함하며, 상기 감쇠 단계는 대응하는 수신된 제 2 신호에 의하여 제어되는, 변환 방법.
  19. 제 18 항에 있어서,
    상기 합성 제 2 신호 및 상기 수신된 제 2 신호를 결합하는 단계 및 상기 변환 단계에서 상기 결합 신호를 사용하는 단계를 더 포함하는, 변환 방법.
  20. 제 14 항 또는 제 16 항에 따른 방법을 수행하는 컴퓨터 프로그램 제품.
KR1020077012575A 2004-11-04 2005-10-31 다중채널 오디오 신호들의 인코딩 및 디코딩 KR101183859B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP04105527 2004-11-04
EP04105527.8 2004-11-04
EP05103079 2005-04-18
EP05103079.9 2005-04-18
EP05103443 2005-04-27
EP05103443.7 2005-04-27
PCT/IB2005/053550 WO2006048817A1 (en) 2004-11-04 2005-10-31 Encoding and decoding of multi-channel audio signals

Publications (2)

Publication Number Publication Date
KR20070085721A true KR20070085721A (ko) 2007-08-27
KR101183859B1 KR101183859B1 (ko) 2012-09-19

Family

ID=35478388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077012575A KR101183859B1 (ko) 2004-11-04 2005-10-31 다중채널 오디오 신호들의 인코딩 및 디코딩

Country Status (9)

Country Link
US (1) US7809580B2 (ko)
EP (1) EP1810279B1 (ko)
JP (1) JP5238256B2 (ko)
KR (1) KR101183859B1 (ko)
CN (1) CN101053017B (ko)
BR (1) BRPI0517987B1 (ko)
MX (1) MX2007005262A (ko)
RU (1) RU2407068C2 (ko)
WO (1) WO2006048817A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793125B2 (en) * 2004-07-14 2014-07-29 Koninklijke Philips Electronics N.V. Method and device for decorrelation and upmixing of audio channels
CN101116136B (zh) * 2005-02-10 2011-05-18 皇家飞利浦电子股份有限公司 声音合成的装置和方法
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
WO2007104882A1 (fr) * 2006-03-15 2007-09-20 France Telecom Dispositif et procede de codage par analyse en composante principale d'un signal audio multi-canal
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
CN103151047A (zh) * 2007-10-22 2013-06-12 韩国电子通信研究院 多对象音频解码方法
KR101441897B1 (ko) * 2008-01-31 2014-09-23 삼성전자주식회사 잔차 신호 부호화 방법 및 장치와 잔차 신호 복호화 방법및 장치
KR101428487B1 (ko) * 2008-07-11 2014-08-08 삼성전자주식회사 멀티 채널 부호화 및 복호화 방법 및 장치
ES2875416T3 (es) 2008-12-11 2021-11-10 Fraunhofer Ges Forschung Aparato para generar una señal de audio multicanal
RU2449307C2 (ru) * 2009-04-02 2012-04-27 ОАО "Научно-производственное объединение "ЛЭМЗ" Способ обзорной импульсно-доплеровской радиолокации целей на фоне отражений от земной поверхности
FR2954640B1 (fr) * 2009-12-23 2012-01-20 Arkamys Procede d'optimisation de la reception stereo pour radio analogique et recepteur de radio analogique associe
WO2012169808A2 (ko) * 2011-06-07 2012-12-13 삼성전자 주식회사 오디오 신호 처리방법, 오디오 부호화장치, 오디오 복호화장치, 및 이를 채용하는 단말기
JP5737077B2 (ja) 2011-08-30 2015-06-17 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
US9098576B1 (en) 2011-10-17 2015-08-04 Google Inc. Ensemble interest point detection for audio matching
US8831763B1 (en) 2011-10-18 2014-09-09 Google Inc. Intelligent interest point pruning for audio matching
US8805560B1 (en) 2011-10-18 2014-08-12 Google Inc. Noise based interest point density pruning
US8886543B1 (en) 2011-11-15 2014-11-11 Google Inc. Frequency ratio fingerprint characterization for audio matching
JP5998467B2 (ja) * 2011-12-14 2016-09-28 富士通株式会社 復号装置、復号方法、及び復号プログラム
US9268845B1 (en) 2012-03-08 2016-02-23 Google Inc. Audio matching using time alignment, frequency alignment, and interest point overlap to filter false positives
US9471673B1 (en) 2012-03-12 2016-10-18 Google Inc. Audio matching using time-frequency onsets
US9087124B1 (en) 2012-03-26 2015-07-21 Google Inc. Adaptive weighting of popular reference content in audio matching
US9148738B1 (en) 2012-03-30 2015-09-29 Google Inc. Using local gradients for pitch resistant audio matching
JP5949270B2 (ja) * 2012-07-24 2016-07-06 富士通株式会社 オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
SG11201602628TA (en) * 2013-10-21 2016-05-30 Dolby Int Ab Decorrelator structure for parametric reconstruction of audio signals
KR101453733B1 (ko) 2014-04-07 2014-10-22 삼성전자주식회사 오디오 신호 처리장치
CN105632505B (zh) * 2014-11-28 2019-12-20 北京天籁传音数字技术有限公司 主成分分析pca映射模型的编解码方法及装置
EP3246923A1 (en) * 2016-05-20 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing a multichannel audio signal
US10580420B2 (en) * 2017-10-05 2020-03-03 Qualcomm Incorporated Encoding or decoding of audio signals
US10535357B2 (en) * 2017-10-05 2020-01-14 Qualcomm Incorporated Encoding or decoding of audio signals
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals
CN110556116B (zh) * 2018-05-31 2021-10-22 华为技术有限公司 计算下混信号和残差信号的方法和装置
CN114708874A (zh) 2018-05-31 2022-07-05 华为技术有限公司 立体声信号的编码方法和装置
EP4138396A4 (en) * 2020-05-21 2023-07-05 Huawei Technologies Co., Ltd. AUDIO DATA TRANSMISSION METHOD AND DEVICE ASSOCIATED

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2149235T3 (es) * 1993-01-22 2000-11-01 Koninkl Philips Electronics Nv Transmision digital en 3 canales de señales estereofonicas izquierda y derecha y una señal central.
US6611212B1 (en) * 1999-04-07 2003-08-26 Dolby Laboratories Licensing Corp. Matrix improvements to lossless encoding and decoding
JP4618873B2 (ja) 2000-11-24 2011-01-26 パナソニック株式会社 オーディオ信号符号化方法、オーディオ信号符号化装置、音楽配信方法、および、音楽配信システム
CN1311426C (zh) * 2002-04-10 2007-04-18 皇家飞利浦电子股份有限公司 立体声信号的编码、解码方法和装置及其传输设备
US20040086130A1 (en) * 2002-05-03 2004-05-06 Eid Bradley F. Multi-channel sound processing systems
DE60317203T2 (de) * 2002-07-12 2008-08-07 Koninklijke Philips Electronics N.V. Audio-kodierung
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
MXPA06011396A (es) * 2004-04-05 2006-12-20 Koninkl Philips Electronics Nv Metodos de codificacion y decodificacion de senales estereofonicas y aparatos que utilizan los mismos.
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
BRPI0608753B1 (pt) * 2005-03-30 2019-12-24 Koninl Philips Electronics Nv codificador de áudio, decodificador de áudio, método para codificar um sinal de áudio de multicanal, método para gerar um sinal de áudio de multicanal, sinal de áudio de multicanal codificado, e meio de armazenamento

Also Published As

Publication number Publication date
EP1810279B1 (en) 2013-12-11
JP2008519307A (ja) 2008-06-05
BRPI0517987B1 (pt) 2021-04-27
CN101053017B (zh) 2012-10-10
MX2007005262A (es) 2007-07-09
CN101053017A (zh) 2007-10-10
WO2006048817A1 (en) 2006-05-11
RU2407068C2 (ru) 2010-12-20
BRPI0517987A8 (pt) 2018-07-31
EP1810279A1 (en) 2007-07-25
BRPI0517987A (pt) 2008-10-21
US7809580B2 (en) 2010-10-05
US20090055194A1 (en) 2009-02-26
JP5238256B2 (ja) 2013-07-17
KR101183859B1 (ko) 2012-09-19
RU2007120528A (ru) 2008-12-10

Similar Documents

Publication Publication Date Title
KR101183859B1 (ko) 다중채널 오디오 신호들의 인코딩 및 디코딩
AU2006233504B2 (en) Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
JP5645951B2 (ja) ダウンミックス信号表現に基づくアップミックス信号を提供する装置、マルチチャネルオーディオ信号を表しているビットストリームを提供する装置、方法、コンピュータプログラム、および線形結合パラメータを使用してマルチチャネルオーディオ信号を表しているビットストリーム
KR100924577B1 (ko) 오디오 소스의 파라메트릭 조인트 코딩
US8843378B2 (en) Multi-channel synthesizer and method for generating a multi-channel output signal
US7693721B2 (en) Hybrid multi-channel/cue coding/decoding of audio signals
RU2625444C2 (ru) Система обработки аудио
US7292901B2 (en) Hybrid multi-channel/cue coding/decoding of audio signals
JP5883561B2 (ja) アップミックスを使用した音声符号器
US8271289B2 (en) Methods and apparatuses for encoding and decoding object-based audio signals
EP1803117B1 (en) Individual channel temporal envelope shaping for binaural cue coding schemes and the like
JP4664431B2 (ja) アンビエンス信号を生成するための装置および方法
CN110890101B (zh) 用于基于语音增强元数据进行解码的方法和设备
JP2008519306A (ja) 信号の組のエンコード及びデコード
RU2607266C2 (ru) Устройство, способ и компьютерная программа для формирования с использованием среднего значения параметров сигнала, подстроенных для обеспечения представления микшированного с повышением сигнала на базе представления микшированного с понижением сигнала и параметрической сторонней информации, связанной с представлением микшированного с понижением сигнала
JP6133422B2 (ja) マルチチャネルをダウンミックス/アップミックスする場合のため一般化された空間オーディオオブジェクト符号化パラメトリック概念のデコーダおよび方法
RU2804032C1 (ru) Устройство обработки звуковых сигналов для кодирования стереофонического сигнала в сигнал битового потока и способ декодирования сигнала битового потока в стереофонический сигнал, осуществляемый с использованием устройства обработки звуковых сигналов
TW202411984A (zh) 用於具有元資料之參數化經寫碼獨立串流之不連續傳輸的編碼器及編碼方法
EP2456236A1 (en) Constrained filter encoding of polyphonic signals
AU2018200340A1 (en) Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160909

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170831

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 8