KR101100214B1 - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101100214B1
KR101100214B1 KR1020080024248A KR20080024248A KR101100214B1 KR 101100214 B1 KR101100214 B1 KR 101100214B1 KR 1020080024248 A KR1020080024248 A KR 1020080024248A KR 20080024248 A KR20080024248 A KR 20080024248A KR 101100214 B1 KR101100214 B1 KR 101100214B1
Authority
KR
South Korea
Prior art keywords
information
enhanced
downmix
enhanced object
signal
Prior art date
Application number
KR1020080024248A
Other languages
English (en)
Other versions
KR20080084758A (ko
Inventor
정양원
오현오
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US12/531,444 priority Critical patent/US8725279B2/en
Priority to CN2008800085799A priority patent/CN101636917B/zh
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN2008800086594A priority patent/CN101636919B/zh
Priority to EP08723533A priority patent/EP2130304A4/en
Priority to US12/531,377 priority patent/US8712060B2/en
Priority to PCT/KR2008/001497 priority patent/WO2008114985A1/en
Priority to EP08723534A priority patent/EP2137825A4/en
Priority to PCT/KR2008/001496 priority patent/WO2008114984A1/en
Priority to PCT/KR2008/001493 priority patent/WO2008114982A1/en
Priority to JP2009553527A priority patent/JP5161893B2/ja
Priority to JP2009553525A priority patent/JP2010521866A/ja
Priority to EP08723530A priority patent/EP2137824A4/en
Priority to JP2009553526A priority patent/JP4851598B2/ja
Priority to US12/531,370 priority patent/US20100106271A1/en
Publication of KR20080084758A publication Critical patent/KR20080084758A/ko
Application granted granted Critical
Publication of KR101100214B1 publication Critical patent/KR101100214B1/ko
Priority to US14/247,067 priority patent/US9373333B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams

Abstract

하나 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 오브젝트 정보 및 인핸스드 오브젝트 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 인핸스드 오브젝트 정보를 이용하여, 상기 다운믹스 정보로부터 하나 이상의 독립 오브젝트를 추출하는 단계를 포함하는 오디오 신호 처리 방법이 개시된다.
Figure R1020080024248
신호, 오브젝트

Description

오디오 신호 처리 방법 및 장치{A METHOD AND AN APPARATUS FOR PROCESSING AN AUDIO SIGNAL}
본 발명은 오디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 디지털 매체, 방송 신호 등으로 수신된 오디오 신호를 처리할 수 있는 오디오 신호의 처리 방법 및 장치에 관한 것이다.
일반적으로, 다수 개의 오브젝트를 모노 또는 스테레오 신호로 다운믹스하는 과정에 있어서, 각각의 오브젝트 신호로부터 파라미터들이 추출된다. 이러한 파라미터들은 디코더에서 사용될 수 있는 데, 각각의 오브젝들의 패닝(panning)과 게인(gain)은 유저의 선택에 의해 컨트롤 될 수 있다.
각각의 오브젝트 시그널을 제어하기 위해서는, 다운믹스에 포함되어 있는 각각의 소스들이 적절히 포지셔닝 또는 패닝되어야 한다.
또한, 채널 기반(channel-oriented) 디코딩 방식으로 하향 호환성을 갖기 위해서는, 오브젝트 파라미터는 업믹싱을 위한 멀티 채널 파라미터로 유연하게 변환되어야 한다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 오브젝트의 게인과 패닝을 제한없이 컨트롤할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명의 또 다른 목적은, 유저의 선택을 기반으로 오브젝트의 게인과 패닝을 컨트롤할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 보컬이나 배경음악의 게인을 큰 폭으로 조절하는 경우에도 음질의 왜곡을 발생시키지 않는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명은 다음과 같은 효과와 이점을 제공한다.
우선, 오브젝트의 게인과 패닝을 제한없이 컨트롤 할 수 있다.
둘째, 유저의 선택을 기반으로 오브젝트의 게인과 패닝을 컨트롤할 수 있다.
셋째, 보컬이나 배경 음악 중 하나를 완전하게 억압하는 경우에도, 게인 조정에 따른 음질의 왜곡을 방지할 수 있다.
넷째, 보컬 등과 같은 독립 오브젝트가 둘 이상인 경우(스테레오 채널 또는 여러 개의 보컬 신호), 게인 조정에 따른 음질의 왜곡을 방지할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 오디오 신호 처리 방법은, 둘 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 제1 인핸스드 오브젝트 정보를 이용하여 상기 다운믹스를 제1 독립 오브젝트 및 임시 백그라운드 오브젝트으로 분리하는 단계; 및, 제2 인핸스드 오브젝트 정보를 이용하여 상기 임시 백그라운드 오브젝트로부터 제2 독립 오브젝트를 추출하는 단계를 포함한다.
본 발명에 따르면, 상기 독립 오브젝트는, 오브젝트 기반 신호이고, 상기 백그라운드 오브젝트는, 하나 이상의 채널 기반 신호를 포함하거나, 하나 이상의 채널 기반 신호가 다운믹스된 신호일 수 있다.
본 발명에 따르면, 상기 백그라운드 오브젝트는, 좌측 채널 신호 및 우측 채널 신호를 포함할 수 있다.
본 발명에 따르면, 상기 제1 인핸스드 오브젝트 정보 및 상기 제2 인핸스드 오브젝트 정보는, 레지듀얼 신호일 수 있다.
본 발명에 따르면, 상기 제1 인핸스드 오브젝트 정보 및 상기 제2 인핸스드 오브젝트 정보는, 부가정보 비트스트림에 포함되어 있고, 상기 부가정보 비트스트 림에 포함되어 있는 인핸스드 오브젝트 정보의 수, 및 상기 다운믹스 정보에 포함되어 있는 독립 오브젝트의 수는 동일할 수 있다.
본 발명에 따르면, 상기 분리하는 단계는, N 입력을 이용하여 N+1 출력을 생성하는 모듈에 의해 수행될 수 있다.
본 발명에 따르면, 오브젝트 정보 및 믹스 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여, 상기 제1 독립 오브젝트 및 상기 제2 독립 오브젝트의 게인을 조정하기 위한 멀티채널 정보를 생성하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 믹스 정보는, 오브젝트 위치 정보, 오브젝트 게인 정보, 및 재생 환경 정보 중 하나 이상을 근거로 생성된 것일 수 있다.
본 발명에 따르면, 상기 추출하는 단계는, 제2 임시 백그라운드 오브젝트 및 제2 독립 오브젝트를 추출하는 단계이고, 제2 인핸스드 오브젝트 정보를 이용하여 상기 제2 임시 백그라운드 오브젝트로부터 제3 독립 오브젝트를 추출하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 다운믹스 정보는, 방송 신호를 통해 수신된 것일 수 있다.
본 발명에 따르면, 상기 다운믹스 정보는, 디지털 매체를 통해 수신된 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 둘 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 제1 인핸스드 오브젝트 정 보를 이용하여 상기 다운믹스를 제1 독립 오브젝트 및 임시 백그라운드 오브젝트으로 분리하는 단계; 및, 제2 인핸스드 오브젝트 정보를 이용하여 상기 임시 백그라운드 오브젝트로부터 제2 독립 오브젝트를 추출하는 단계를 실행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 둘 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 정보 수신부; 제1 인핸스드 오브젝트 정보를 이용하여 상기 다운믹스를 임시 백그라운드 오브젝트 및 제1 독립 오브젝트로 분리하는 제1 인핸스드 오브젝트 정보 디코딩부; 및, 제2 인핸스드 오브젝트 정보를 이용하여 상기 임시 백그라운드 오브젝트로부터 제2 독립 오브젝트를 추출하는 제2 인핸스드 오브젝트 정보 디코딩부를 포함하는 오디오 신호 처리 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 제1 독립 오브젝트 및 백그라운드 오브젝트를 이용하여 임시 백그라운드 오브젝트 및 제1 인핸스드 오브젝트 정보를 생성하는 단계; 제2 독립 오브젝트 및 임시 백그라운드 오브젝트를 이용하여 제2 인핸스드 오브젝트 정보를 생성하는 단계; 및, 상기 제1 인핸스드 오브젝트 정보 및 제2 인핸스드 오브젝트 정보를 전송하는 단계를 포함하는 오디오 신호 처리 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 제1 독립 오브젝트 및 백그라운드 오브젝트를 이용하여 임시 백그라운드 오브젝트 및 제1 인핸스드 오브젝트 정보를 생성하는 제1 인핸스드 오브젝트 정보 생성부; 제2 독립 오브젝트 및 임시 백그라운드 오 브젝트를 이용하여 제2 인핸스드 오브젝트 정보를 생성하는 제2 인핸스드 오브젝트 정보 생성부; 및, 상기 제1 인핸스드 오브젝트 정보 및 제2 인핸스드 오브젝트 정보를 전송하기 위한 멀티플렉서를 포함하는 오디오 신호 처리 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 독립 오브젝트 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 상기 독립 오브젝트를 컨트롤하기 위한 제1 멀티채널 정보를 생성하는 단계; 상기 다운믹스 정보 및 상기 제1 멀티채널 정보를 이용하여, 상기 백그라운드 오브젝트를 컨트롤하기 위한 제2 멀티채널 정보를 생성하는 단계를 포함한다.
본 발명에 따르면, 상기 제2 멀티채널 정보를 생성하는 단계는, 제1 멀티채널 정보가 적용된 신호를 상기 다운믹스 정보에서 차감하는 단계를 포함할 수 있다.
본 발명에 따르면, 상기 차감하는 단계는, 시간 도메인 또는 주파수 도메인상에서 수행될 수 있다.
본 발명에 따르면, 상기 차감하는 단계는, 상기 다운믹스 정보의 채널 수 및, 상기 제1 멀티채널 정보가 적용된 신호의 채널 수가 동일한 경우, 채널별로 수행될 수 있다.
본 발명에 따르면, 상기 제1 멀티채널 정보 및 상기 제2 멀티채널 정보를 이용하여, 상기 다운믹스 정보로부터 출력 채널을 생성하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 인핸스드 오브젝트 정보를 수신하는 단계; 및, 상기 인핸 스드 오브젝트 정보를 이용하여, 상기 다운믹스 정보에서 상기 독립 오브젝트 및 상기 백그라운드 오브젝트를 분리하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 믹스 정보를 수신하는 단계를 더 포함하고, 상기 제1 멀티채널 정보를 생성하는 단계, 및 상기 제2 멀티채널 정보를 생성하는 단계는, 상기 믹스 정보를 근거로 수행되는 것일 수 있다.
본 발명에 따르면, 상기 믹스 정보는, 오브젝트 위치 정보, 오브젝트 게인 정보, 및 재생 환경 정보 중 하나 이상을 근거로 생성된 것일 수 있다.
본 발명에 따르면, 상기 다운믹스 정보는, 방송 신호를 통해 수신된 것일 수 있다.
본 발명에 따르면, 상기 다운믹스 정보는, 디지털 매체를 통해 수신된 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 독립 오브젝트 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 상기 독립 오브젝트를 컨트롤하기 위한 제1 멀티채널 정보를 생성하는 단계; 상기 다운믹스 정보 및 상기 제1 멀티채널 정보를 이용하여, 상기 백그라운드 오브젝트를 컨트롤하기 위한 제2 멀티채널 정보를 생성하는 단계를 실행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 독립 오브젝트 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 정보수신부; 및, 상기 독립 오브젝트를 컨트롤하기 위한 제1 멀티채널 정보를 생성하고, 상기 다운믹스 정보 및 상기 제1 멀티 채널 정보를 이용하여, 상기 백그라운드 오브젝트를 컨트롤하기 위한 제2 멀티채널 정보를 생성하는 멀티채널 생성부를 포함하는 것을 특징으로 하는 오디오 신호 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 하나 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 오브젝트 정보 및 인핸스드 오브젝트 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 인핸스드 오브젝트 정보를 이용하여, 상기 다운믹스 정보로부터 하나 이상의 독립 오브젝트를 추출하는 단계를 포함하는 오디오 신호 처리 방법이 제공된다.
본 발명에 따르면, 상기 오브젝트 정보는, 상기 독립 오브젝트 및 상기 백그라운드 오브젝트에 대한 정보에 해당할 수 있다.
본 발명에 따르면, 상기 오브젝트 정보는, 상기 독립 오브젝트 및 상기 백그라운드 오브젝트간의 레벨 정보, 및 상관 정보 중 하나 이상을 포함하는 것일 수 있다.
본 발명에 따르면, 상기 인핸스드 오브젝트 정보는 레지듀얼 신호를 포함할 수 있다.
본 발명에 따르면, 상기 레지듀얼 신호는, 하나 이상의 오브젝트 기반의 신호를 인핸스드 오브젝트로 그룹핑하는 과정에서 추출된 것일 수 있다.
본 발명에 따르면, 상기 독립 오브젝트는, 오브젝트 기반 신호이고, 상기 백그라운드 오브젝트는, 하나 이상의 채널 기반 신호를 포함하거나, 하나 이상의 채널 기반 신호가 다운믹스된 신호일 수 있다.
본 발명에 따르면, 상기 백그라운드 오브젝트는, 좌측 채널 신호 및 우측 채널 신호를 포함할 수 있다.
본 발명에 따르면, 상기 다운믹스 정보, 방송 신호를 통해 수신된 것일 수 있다.
본 발명에 따르면, 상기 다운믹스 정보는, 디지털 매체를 통해 수신된 것일 수 있다.
본 발명의 또 다른 측면에 따르면, 하나 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계; 오브젝트 정보 및 인핸스드 오브젝트 정보를 수신하는 단계; 및, 상기 오브젝트 정보 및 상기 인핸스드 오브젝트 정보를 이용하여, 상기 다운믹스 정보로부터 하나 이상의 독립 오브젝트를 추출하는 단계를 실행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 하나 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하고, 오브젝트 정보 및 인핸스드 오브젝트 정보를 수신하는 정보 수신부; 및, 상기 오브젝트 정보 및 상기 인핸스드 오브젝트 정보를 이용하여, 상기 다운믹스로부터 하나 이상의 독립 오브젝트를 추출하는 정보 생성 유닛을 포함하는 오디오 신호 처리 장치가 제공된다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
특히, 본 명세서에서 정보(information)란, 값(values), 파라미터(parameters), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 그 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.
특히, 오브젝트란, 오브젝트 기반 신호(object based signal) 및 채널 기반 신호(channel based signal)를 포함하는 개념이지만, 경우에 따라 오브젝트 기반 신호만을 지칭할 수 있다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치의 구성을 보여주는 도면이다. 도 1을 참조하면, 우선, 본 발명의 실시예에 따른 오디오 신호 처리 장치는 인코더(100) 및 디코더(200)를 포함하는 데, 상기 인코더(100)는 오브젝트 인코더(110), 인핸스드 오브젝트 인코더(120), 및 멀티 플렉서(130)를 포함하고, 상기 디코더(200)는 디멀티플렉서(210), 정보 생성 유닛(220), 다운믹스 프로세싱 유닛(230), 및 멀티채널 디코더(240)를 포함한다. 여기서 각 구성요소들에 대한 개략적인 설명을 한 후, 인코더(100)의 인핸스드 오브젝트 인코더(120), 및 디코 더(200)의 정보 생성 유닛(220)에 대한 구체적인 설명은 이하, 도 2 내지 도 11과 함께 후술하도록 한다.
우선 오브젝트 인코더(110)는, 하나 이상의 오브젝트(objN)를 이용하여 오브젝트 정보(OP: object parameter)를 생성하는데, 여기서 오브젝트 정보(OP)는 오브젝트 기반 신호들에 관한 정보로서, 오브젝트 레벨 정보(object level information), 오브젝트 상관 정보(object correlation information) 등을 포함할 수 있다. 한편, 오브젝트 인코더(110)는 하나 이상의 오브젝트를 그룹핑하여 다운믹스를 생성할 수 있는 데, 이는 도 2와 함께 설명될 인핸스드 오브젝트 생성부(122)에서 하나 이상의 오브젝트를 그룹핑하여 인핸스드 오브젝트를 생성하는 과정과 동일할 수 있으나 본 발명은 이에 한정되지 아니한다.
인핸스드 오브젝트 인코더(120)는 하나 이상의 오브젝트(objN)를 이용하여 인핸스드 오브젝트 정보(OP) 및 다운믹스(DMX)(LL, RL)를 생성한다. 구체적으로, 하나 이상의 오브젝트 기반 신호를 그룹핑하여 인핸스드 오브젝트(EO)를 생성하고, 채널 기반 신호, 및 인핸스드 오브젝트(EO)를 이용하여 인핸스드 오브젝트 정보(EOP: enhanced object parameter)를 생성한다. 우선, 인핸스드 오브젝트 정보(EOP)는 인핸스드 오브젝트의 에너지 정보 (레벨 정보 포함), 레지듀얼 신호 등이 될 수 있는 바, 이에 대해서는 이는 도 2와 함께 후술하고자 한다. 한편, 여기서 채널 기반 신호는, 오브젝트별로 제어할 수 없는 배경 신호이기 때문에 백그라운드 오브젝트(background object)으로 지칭하고, 인핸스드 오브젝트는 디코 더(200)에서 독립적으로 오브젝트별로 제어될 수 있기 때문에, 독립 오브젝트(independent object)라고 지칭할 수 있다.
멀티플렉서(130)는 오브젝트 인코더(110)에서 생성된 오브젝트 정보(OP), 및 인핸스드 오브젝트 인코더(120)에서 생성된 인핸스드 오브젝트 정보(EOP)를 멀티플렉싱하여, 부가 정보 비트스트림을 생성한다. 한편, 부가 정보 비트스트림은, 상기 채널 기반 신호에 대한 공간 정보(spatial information)(SP)(미도시)가 포함할 수 있다. 공간 정보란, 채널 기반 신호를 디코딩하기 위해 필요한 정보로서, 채널 레벨 정보(channel level information), 및 채널 상관 정보(channel correlation information) 등을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다.
디코더(200)의 디멀티플렉서(210)는 부가 정보 비트스트림으로부터 오브젝트 정보(OP) 및 인핸스드 오브젝트 정보(EOP)를 추출한다. 부가 정보 비트스트림에 상기 공간 정보(SP)가 포함되는 경우, 공간 정보(SP)를 더 추출한다.
정보 생성 유닛(220)은, 오브젝트 정보(OP) 및 인핸스드 오브젝트 정보(EOP)를 이용하여 멀티채널 정보(MI)(Multi-channel information) 및 다운믹스 프로세싱 정보(DPI: downmix processing information)를 생성한다. 멀티채널 정보(MI) 및 다운믹스 프로세싱 정보(DPI)를 생성하는 데 있어서, 다운믹스 정보(DMX)를 이용할 수 있는데, 이에 대해서는 도 8과 함께 후술하고자 한다.
다운믹스 프로세싱 유닛(230)은 다운믹스 프로세싱 정보(DPI)를 이용하여 다운믹스(DMX)를 프로세싱한다. 예를 들어, 오브젝트의 게인 또는 패닝을 조절하기 위해 다운믹스(DMX)를 프로세싱할 수 있다.
멀티채널 디코더(multi-channel decoder)(240)는 프로세싱된 다운믹스(processed downmix)를 수신하고, 멀티채널 정보(MI)를 이용하여 프로세싱된 다운믹스 신호를 업믹싱하여 멀티채널 신호를 생성한다.
이하에서는 도 2 내지 도 6을 참조하면서, 인코더(100)의 인핸스드 오브젝트 인코더(120)의 세부 구성의 다양한 실시예에 대해서 설명하고, 도 8을 참조하면서, 부가 정보 비트스트림에 대한 다양한 실시예에 대해서 설명하고, 도 9 내지 도 11과 함께, 디코더(200)의 정보 생성 유닛(220)의 세부 구성에 대해서 설명하고자 한다.
도 2는 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인핸스드 오브젝트 인코더의 세부 구성을 보여주는 도면이다. 도 2를 참조하면, 인핸스드 오브젝트 인코더(120)는 인핸스드 오브젝트 생성부(122), 인핸스드 오브젝트 정보 생성부(124), 멀티플렉서(126)를 포함한다.
인핸스드 오브젝트 생성부(122)는 하나 이상의 오브젝트(objN)를 그룹핑하여 하나 이상의 인핸스드 오브젝트(EOL)를 생성한다. 여기서 인핸스드 오브젝트(EOL)는 고품질의 제어를 하기 위해 그룹핑 되는 것이다. 예를 들어, 상기 백그라운드 오브젝트에 대해 인핸스드 오브젝트(EOL)가 독립적으로 완전히 억압(또는 반대의 경우 즉, 인핸스드 오브젝트(EOL)만이 재생되고 백그라운드 오브젝트가 완전히 억압)되도록 하기 위한 것일 수 있다. 여기서 그룹핑 대상이 되는 오브젝트(objN)는 채널 기 반 신호가 아닌 오브젝트 기반 신호일 수 있다. 인핸스드 오브젝트(EO)는 다양한 방법으로 생성할 수 있는데, 1) 하나의 오브젝트를 하나의 인핸스드 오브젝트로 활용할 수 있고(EO1=obj1), 2) 둘 이상의 오브젝트를 더하여 인핸스드 오브젝트를 구성할 수도 있다(EO2=obj1+obj2). 또한, 3) 다운믹스에서 특정 오브젝트만을 제외한 신호를 인핸스드 오브젝트로 활용하거나(EO3=D-obj2), 둘 이상의 오브젝트를 제외한 신호를 인핸스드 오브젝트로 활용할 수 있다(EO4=D-obj1-obj2). 상기 3) 및 4)에서 언급된 다운믹스(D)는, 앞서 설명된 다운믹스(DMX)(LL, RL)와는 다른 개념으로서, 오브젝트 기반 신호만이 다운믹스된 신호를 지칭할 수 있다. 이와 같이 설명된 네 가지 방법 중 하나 이상을 적용하여 인핸스드 오브젝트(EO)를 생성할 수 있다.
인핸스드 오브젝트 정보 생성부(124)는 인핸스드 오브젝트(EO)를 이용하여 인핸스드 오브젝트 정보(EOP)를 생성한다. 여기서 인핸스드 오브젝트 정보(EOP)란, 인핸스드 오브젝트(EO)에 대한 정보로서, a) 우선 인핸스드 오브젝트(EO)의 에너지 정보 (레벨 정보 포함), b) 인핸스드 오브젝트(EO) 및 다운믹스(D)간의 관계(예: 믹싱 게인), c) 높은 시간 해상도 또는 높은 주파수 해상도에 따른 인핸스드 오브젝트 레벨 정보 또는 인핸스드 오브젝트 상관 정보, d) 인핸스드 오브젝트(EO)에 대한 시간 영역에서의 프리딕션(prediction) 정보 또는 포락선(envelope) 정보, e) 레지듀얼 신호와 같이 인핸스드 오브젝트에 대한 시간 영역 또는 스펙트럼 영역의 정보를 부호화한 비트스트림 등이 될 수 있다.
한편, 인핸스드 오브젝트 정보(EOP)는 앞의 예에서 인핸스드 오브젝트(EO)가 제1 예 및 제 3예로 생성된 경우(EO1=obj1, EO3=D-obj2), 인핸스드 오브젝트 정보(EOP)는 제1 예 및 제 3예의 인핸스드 오브젝트(EO1 및 EO3) 각각에 대한 인핸스드 오브젝트 정보(EOP1, EOP3)를 생성할 수 있다. 이때 제1 예에 따른 인핸스드 오브젝트 정보(EOP1)는 제1 예에 따른 인핸스드 오브젝트(EO1)를 제어하기 위한 필요한 정보에 해당할 수 있고, 제3 예에 따른 인핸스드 오브젝트 정보(EOP3)는 특정 오브젝트(obj2)만을 억압하는 경우를 표현하는 데에 활용될 수 있다.
인핸스드 오브젝트 정보 생성부(124)는 하나 이상의 인핸스드 오브젝트 정보 생성부(124-1, …, 124-L)를 포함할 수 있다. 구체적으로, 하나의 인핸스드 오브젝트(EO1)에 대한 인핸스드 오브젝트 정보(EOP1)를 생성하는 제1 인핸스드 오브젝트 정보 생성부(124-1)를 포함할 수 있고, 둘 이상의 인핸스드 오브젝트(EO1, EO2)에 대한 인핸스드 오브젝트 정보(EOP2)를 생성하는 제2 인핸스드 오브젝트 정보 생성부(124-2)를 포함할 수 있다. 한편, 인핸스드 오브젝트(EOL) 뿐만 아니라 제2 인핸스드 오브젝트 정보 생성부(124-2)의 출력을 이용하여, 제L 인핸스드 오브젝트 정보 생성부(124-L)가 포함될 수도 있다. 상기 인핸스드 오브젝트 정보 생성부(124-1, …, 124-L)들은 각각 N+1개의 입력을 이용하여 N개의 출력을 생성하는 모듈에 의해 수행되는 것일 수 있다. 예를 들어, 3개의 입력을 이용하여 2개의 출력을 생 성하는 모듈에 의해 수행될 수 있다. 이하 인핸스드 오브젝트 정보 생성부(124-1, …, 124-L)에 대한 다양한 실시예는 도 3 내지 도 7과 함께 설명하고자 한다. 한편, 인핸스드 오브젝트 정보 생성부(124)는 더블 인핸스드 오브젝트(EEOP)를 더 생성할 수도 있는데, 이는 추후 도 7과 함께 자세히 설명하고자 한다.
멀티플렉서(126)는 인핸스드 오브젝트 정보 생성부(124)에서 생성된 하나 이상의 인핸스드 오브젝트 정보(EOP1, …, EOPL)(및 더블 인핸스드 오브젝트(EEOP))를 멀티플렉싱한다.
도 3 내지 도 7은 인핸스드 오브젝트 생성부 및 인핸스드 오브젝트 정보 생성부의 제1 예 내지 제 5예를 나타낸 도면들이다. 도 3은 인핸스드 오브젝트 정보 생성부가 하나의 제1 인핸스드 오브젝트 정보 생성부를 포함하는 예이고, 도 4 내지 도 6은 둘 이상의 인핸스드 정보 생성부(제1 인핸스드 오브젝트 정보 생성부, 내지 제L 인핸스드 오브젝트 정보 생성부)가 직렬적으로 포함되어 있는 예이다. 한편 도 7은 더블 인핸스드 오브젝트 정보(EEOP: enhanced enhanced object parameter)를 생성하는 제1 더블 인핸스드 오브젝트 정보 생성부를 더 포함하는 예이다.
우선 도 3을 참조하면, 인핸스드 오브젝트 생성부(122A)는 채널 기반 신호로서 좌측 채널 신호(L) 및 우측 채널 신호(R)를 각각 수신하고, 오브젝트 기반 신호로서, 스테레오 보컬 신호들(Vocal1L, Vocal1R, Vocal2L, Vocal2R) 각각을 수신하여 하나의 인핸스드 오브젝트(Vocal)를 생성한다. 우선 채널 기반 신호(L, R)는 다채 널 신호(예: L, R, LS, RS, C, LFE)가 다운믹스된 신호일 수 있는데, 이 과정에서 추출된 공간정보는 앞서 설명한 바와 같이, 부가 정보 비트스트림에 포함될 수 있다.
한편, 오브젝트 기반 신호로서의 스테레오 보컬 신호들(Vocal1L, Vocal1R, Vocal2L, Vocal2R)은 가수1의 음성(Vocal1)에 해당하는 좌측 채널 신호(Vocal1L) 및 우측 채널 신호가(Vocal1R)와, 가수 2의 음성(Vocal2)에 해당하는 좌측 채널 신호(Vocal2L) 및 우측 채널 신호(Vocal2R)를 포함할 수 있다. 한편, 여기서는 스테레오 오브젝트 신호에 도시하였지만, 멀티채널 오브젝트 신호(Vocal1L, Vocal1R, Vocal1Ls, Vocal1Rs, Vocal1C, Vocal1LFE)를 수신하여 하나의 인핸스드 오브젝트(Vocal)로 그룹핑될 수도 있음은 물론이다.
이와 같이 하나의 인핸스드 오브젝트(Vocal)가 생성되었기 때문에, 인핸스드 오브젝트 정보 생성부(124A)는 이에 대응하는 하나의 제1 인핸스드 오브젝트 정보 생성부(124-1)만을 포함한다. 제1 인핸스드 오브젝트 정보 생성부(124A-1)는 인핸스드 오브젝트(Vocal) 및 채널 기반 신호(L, R)를 이용하여 인핸스드 오브젝트 정보(EOP1)로서 제1 레지듀얼 신호(res1) 및 임시 백그라운드 오브젝트(L1, R1)를 생성한다. 임시 백그라운드 오브젝트(L1, R1)는 채널 기반 신호 즉, 백그라운드 오브젝트(L, R)에 인핸스드 오브젝트(Vocal)가 더해진 신호로서, 하나의 인핸스드 오브젝 트 정보 생성부만이 존재하는 제3 예에서는, 이 임시 백그라운드 오브젝트(L1, R1)가 최종적인 다운믹스 신호(LL, RL)가 된다.
도 4를 참조하면, 도 3에 도시된 제1 예와 마찬가지로, 스테레오 보컬 신호들(Vocal1L, Vocal1R, Vocal2L, Vocal2R)이 수신된다. 다만 도 4에 도시된 제 2예에서는 하나의 인핸스드 오브젝트로 그룹핑되지 않고, 두 개의 인핸스드 오브젝트(Vocal1, Vocal2)로 그룹핑된다는 점에서 차이가 있다. 이와 같이 두 개의 인핸스드 오브젝트가 존재하기 때문에, 인핸스드 오브젝트 생성부(124B)는 제1 인핸스드 오브젝트 생성부(124B-1) 및 제2 인핸스드 오브젝트 생성부(124B-2)를 포함한다.
제1 인핸스드 오브젝트 생성부(124B-1)는 백그라운드 신호(채널 기반 신호(L, R)) 및 제1 인핸스드 오브젝트 신호(Vocal1)를 이용하여 제1 인핸스드 오브젝트 정보(res1) 및 임시 백그라운드 오브젝트(L1, R1)를 생성한다.
제2 인핸스드 오브젝트 생성부(124B-2)는 제2 인핸스드 오브젝트 신호(Vocal2)뿐만 아니라 제1 임시 백그라운드 오브젝트(L1,R1)도 이용하여, 제2 인핸스드 오브젝트 정보(res2), 및 최종 다운믹스((LL, RL)로서 백그라운드 오브젝트(L2, R2)를 생성한다. 도 4에 도시된 제2예의 경우에도, 인핸스드 오브젝트(EO), 및 인핸스드 오브젝트 정보(EOP: res)의 수가 모두 2개임을 알 수 있다.
도 5를 참조하면, 도4에 도시된 제2 예와 마찬가지로, 인핸스드 오브젝트 정 보 생성부(124C)는 제1 인핸스드 오브젝트 정보 생성부(124C-1) 및 제2 인핸스드 오브젝트 생성부(124C-2)를 포함한다. 다만, 인핸스드 오브젝트(Vocal1L, Vocal1R)는 두 개의 오브젝트 기반 신호가 그룹핑된 것이 아니라, 하나의 오브젝트 기반 신호(Vocal1L, Vocal1R)로 구성되는 점에서만 차이점이 존재한다. 제 3예의 경우에도, 인핸스드 오브젝트(EO)의 개수(L)와 인핸스드 오브젝트 정보(EOP)의 개수(L)는 동일함을 알 수 있다.
도 6를 참조하면, 도 4에 도시된 제 2예와 대동소이하지만, 인핸스드 오브젝트 생성부(122)에서 총 L개의 인핸스드 오브젝트(Vocal1, …, VocalL)가 생성된다는 점에서 차이가 있다. 또한, 인핸스드 오브젝트 정보 생성부(124D)는 제1 인핸스드 오브젝트 정보 생성부(124D-1) 및 제2 인핸스드 오브젝트 정보(124D-2) 뿐만 아니라, 제L 인핸스드 오브젝트 정보 생성부(124D-L)까지 구비한다는 점에서 차이점이 존재한다. 제L 인핸스드 오브젝트 정보 생성부(124-L)는 제2 인핸스드 오브젝트 정보 생성부(124-2)에서 생성된 제2 임시 백그라운드 오브젝트(L2, R2) 및 제L 인핸스드 오브젝트(VocalL)를 이용하여 제L 인핸스드 오브젝트 정보(EOPL, resL) 및 다운믹스 정보(LL,RL)(DMX)을 생성한다.
도 7을 참조하면, 도 6에 도시된 제 4예에서, 제1 더블 인핸스드 오브젝트 정보 생성부(124EE-1)를 더 구비한다. 다음과 같이 다운믹스(DMX: LL, RL)에서 인핸스드 오브젝트(EOL)를 뺀 신호(DDMX)를 다음과 같이 정의할 수 있다.
[수학식 1]
DDMX = DMX - EOL
더블 인핸스드 정보(EEOP)는, 다운믹스(DMX: LL, RL) 및 인핸스드 오브젝트(EOL)간의 정보가 아니라, 상기 수학식1에 의해 정의된 신호(DDMX), 및 인핸스드 오브젝트(EOL)에 관한 정보이다. 다운믹스(DMX)에서 인핸스드 오브젝트(EOL)를 차감하는 경우, 인핸스드 오브젝트에 관련하여 양자화 잡음이 발생할 수 있다. 이러한 양자화 잡음은 오브젝트 정보(OP)를 이용하여 상쇄시킴으로써, 음질을 개선시킬 수 있다(이에 대해서는 도 9 내지 도 11과 함께 후술하고자 한다.) 이 경우, 인핸스드 오브젝트(EO)가 포함된 다운믹스(DMX)에 대하여 양자화 잡음을 컨트롤하는 것인데, 실제적으로는 인핸스드 오브젝트(EO)가 제거된 다운믹스에 존재하는 양자화 잡음을 컨트롤하는 것이다. 따라서, 보다 정밀하게 양자화 잡음을 제거하기 위해서는, 인핸스드 오브젝트(EO)가 제거된 다운믹스에 대해 양자화 잡음을 제거하기 위한 정보가 필요하다. 상기와 같이 정의된 더블 인핸스드 정보(EEOP)를 이용할 수 있다. 이때 더블 인핸스드 정보(EEOP)는 오브젝트 정보(OP)의 생성방식과 동일한 방식에 의해 생성될 수 있다.
본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인코더(100)는 상술한 바와 같은 구성요소를 구비함으로써, 다운믹스(DMX) 및 부가 정보 비트스트림을 생성한다.
도 8은 부가 정보 비트스트림의 다양한 예를 나타낸 도면이다. 도 8을 참조 하면, 우선, 도 8의 (a) 내지 (b)를 참조하면, 도 8의 (a)와 같이 오브젝트 인코더(110) 등에 의해 생성된 오브젝트 정보(OP)만을 포함할 수도 있고, 도 8의 (b)와 같이 상기 오브젝트 정보(OP) 뿐만 아니라 인핸스드 오브젝트 인코더(120)에 의해 생성된 인핸스드 오브젝트 정보(EOP)까지 포함할 수 있다. 한편 도 8의 (c)를 참조하면, 오브젝트 정보(OP) 및 인핸스드 오브젝트 정보(EOP) 뿐만 아니라 더블 인핸스드 오브젝트 정보(EEOP)가 더 포함되어 있다. 일반적인 오브젝트 디코더에서는 오브젝트 정보(OP)만을 이용하여 오디오 신호를 디코딩할 수 있기 때문에, 이런 디코더에서 도 8의 (b) 또는 (c)에 도시된 비트스트림을 수신하는 경우, 인핸스드 오브젝트 정보(EOP) 및/또는 더블 인핸스드 오브젝트 정보(EEOP)를 제거(discard)하고, 오브젝트 정보(OP)만을 추출하여 디코딩에 이용할 수 있다.
도 8의 (d)를 참조하면, 인핸스드 오브젝트 정보(EOP1, …, EOPL)가 비트스트림에 포함되어 있다. 앞서 설명한 바와 같이, 인핸스드 오브젝트 정보(EOP)는 다양한 방식으로 생성될 수 있다. 만약, 제1 인핸스드 오브젝트 정보(EOP1) 내지 제2 인핸스드 오브젝트(EOP2)가 제1 방식으로 생성되고, 제3 인핸스드 오브젝트 정보(EOP3) 내지 제5 인핸스드 오브젝트 정보(EOP5)가 제2 방식으로 생성된 경우, 각 생성방법을 나타내는 식별자(F1, F2)를 비트스트림에 포함시킬 수 있다. 도 8의 (d)에 도시된 바와 같이 생성방법을 나타내는 식별자(F1, F2)를 동일한 방식으로 생성된 인핸스드 오브젝트 정보앞에만 한번 삽입할 수도 있지만, 각 인핸스드 오브젝트 정보앞에 모두 삽입할 수도 있다.
본 발명의 실시예에 따른 오디오 신호 처리 장치 중 디코더(200)는 상기와 같이 생성된 부가 정보 비트스트림 및 다운믹스를 수신하여 디코딩할 수 있다.
도 9는 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 정보 생성 유닛의 세부 구성을 보여주는 도면이다. 정보 생성 유닛(220)은 오브젝트 정보 디코딩부(222), 인핸스드 오브젝트 정보 디코딩부(224), 및 멀티채널 정보 생성부(226)를 포함한다. 한편, 디멀티플렉서(210)로부터 백그라운드 오브젝트를 컨트롤하기 위한 공간 정보(SP)가 수신된 경우, 이 공간 정보(SP)는 인핸스드 오브젝트 정보 디코딩부(224) 및 오브젝트 정보 디코딩부(222)에서 사용되지 않고, 바로 멀티채널 정보 생성부()에 전달될 수 있다.
우선, 인핸스드 오브젝트 정보 디코딩부(224)는 디멀티플렉서(210)로부터 수신한 오브젝트 정보(OP) 및 인핸스드 오브젝트 정보(EOP)를 이용하여 인핸스드 오브젝트(EO)를 추출하고, 백그라운드 오브젝트(L, R)를 출력한다. 인핸스드 오브젝트 정보 디코딩부(224)의 세부 구성의 일 예가 도 10에 도시되어 있다.
도 10을 참조하면, 인핸스드 오브젝트 정보 디코딩부(224)는 제1 인핸스드 오브젝트 정보 디코딩부(224-1) 내지 제L 인핸스드 오브젝트 정보 디코딩부(224-L)를 포함한다. 제1 인핸스드 오브젝트 디코딩부(224-1)는 제1 인핸스드 오브젝트 정보(EOPL)를 이용하여, 다운믹스(MXI)를 제1 인핸스드 오브젝트(EOL)(제1 독립 오브젝트) 및 제1 임시 백그라운드 오브젝트(LL-1, RL-1)로 분리하기 위한 백그라운드 파 라미터(BP)(Backgound Parameter)를 생성한다. 여기서 제1 인핸스드 오브젝트는 센터 채널에 해당하고, 제1 임시 백그라운드 오브젝트는 좌측 채널 및 우측 채널에 해당할 수 있다.
마찬가지로, 제L 인핸스드 오브젝트 정보 디코딩부(224-L)는 제L 인핸스드 오브젝트 정보(EOP1)를 이용하여, 제L-1 임시 백그라운드 오브젝트(L1, R1)를 제L 인핸스드 오브젝트(EO1) 및 백그라운드 오브젝트(L, R)로 분리하기 위한 백그라운드 파라미터(BP)를 생성한다.
한편, 제1 인핸스드 오브젝트 정보 디코딩부(224-1) 내지 제L 인핸스드 오브젝트 정보 디코딩부(224-L)는 N 입력을 이용하여 N+1 출력을 생성(예를 들어 2 입력을 이용하여 3 출력을 생성)하는 모듈에 의해 구현될 수 있다.
한편, 인핸스드 오브젝트 정보 디코딩부(224)가 상기와 같은 백그라운드 파라미터(BP)를 생성하기 위해서는, 인핸스드 오브젝트 정보(EOP) 뿐만 아니라, 오브젝트 정보(OP)까지 이용할 수 있다. 이하에서, 오브젝트 정보(OP)를 이용하는 목적과 이점에 대해서 설명하고자 한다.
본 발명에서는 인핸스드 오브젝트(EO)를 다운믹스(DMX)에서 제거하는 것이 목적인 데, 다운믹스(DMX)의 부호화 방법 및, 인핸스드 오브젝트 정보(EOP)의 부호화 방법에 따라 양자화 잡음이 출력에 포함될 수 있다. 이러한 경우, 양자화 잡음은 원신호와 관련이 있기 때문에, 즉, 인핸스드 오브젝트로 그룹핑되기 전의 오브젝트에 대한 정보인 오브젝트 정보(OP)를 이용하여 추가적으로 음질을 개선하는 것 이 가능하다. 예를 들어, 첫번째 오브젝트가 보컬 오브젝트인 경우, 제1 오브젝트 정보(OP1)은 보컬의 시간, 주파수, 공간에 관한 정보를 포함한다. 다운믹스(DMX)에서 보컬을 차감한 출력(Output)은 다음 수학식과 같은데, 보컬을 차감한 출력에 대해 제1 오브젝트 정보(OP1)를 이용하여 보컬을 억압하는 경우, 보컬이 존재했던 구간에 잔여하는 양자화 잡음을 추가적으로 억압하는 기능을 수행하게 된다.
[수학식 2]
Output = DMX - EO1'
(여기서 DMX는 입력 다운믹스 신호, EO1'는 코덱에서 인코딩/디코딩된 제1 인핸스드 오브젝트)
따라서, 특정 오브젝트에 대해 인핸스드 오브젝트 정보(EOP) 및 오브젝트 정보(OP)를 적용함으로써, 추가적으로 성능 개선을 이룰 수 있고, 이러한 인핸스드 오브젝트 정보(OP) 및 오브젝트 정보(OP)의 적용은 순차적일 수도 있고, 동시적일 수도 있다. 한편, 오브젝트 정보(OP)는, 인핸스드 오브젝트(독립 오브젝트) 및 상기 백그라운드 오브젝트에 대한 정보에 해당하는 것일 수 있다.
다시 도 9를 참조하면, 오브젝트 정보 디코딩부(222)는 디멀티플렉서(210)로부터 수신한 오브젝트 정보(OP), 및 인핸스드 오브젝트 정보 디코딩부(224)로부터 수신한 인핸스드 오브젝트(EO)에 관한 오브젝트 정보(OP)를 디코딩한다. 오브젝트 정보 디코딩부(222)의 세부 구성의 일 예가 도 11에 도시되어 있다.
도 11을 참조하면, 오브젝트 정보 디코딩부(222)는 제1 오브젝트 정보 디코 딩부(222-1) 내지 제L 오브젝트 정보 디코딩부(222-L)를 포함한다. 제1 오브젝트 정보 디코딩부(222-1)는 하나 이상의 오브젝트 정보(OPN)를 이용하여 제1 인핸스드 오브젝트(EO1)를 하나 이상의 오브젝트(예: Vocal1, Vocal2)로 분리하기 위한 독립 파라미터(IP)(Independent Parameter)를 생성한다. 마찬가지로, 제L 오브젝트 정보 디코딩부(222-L)는, 하나 이상의 오브젝트 정보(OPN)를 이용하여 제L 인핸스드 오브젝트(EOL)를 하나 이상의 오브젝트(예: Vocal4)로 분리하기 위한 독립 파라미터(IP)를 생성한다. 이와 같이 오브젝트 정보(OP)를 이용하여 인핸스드 오브젝트(EO)로 그룹핑되었던 각각의 오브젝트에 대해 개별적으로 제어할 수 있다.
다시 도 9를 참조하면, 멀티채널 정보 생성부(226)는 사용자 인터페이스 등을 통해 믹스 정보(MXI)를 수신하고, 디지털 매체, 방송 매체 등을 통해 다운믹스(DMX)를 수신한다. 그리고, 수신된 믹스 정보(MXI) 및 다운믹스(DMX)를 이용하여 백그라운드 오브젝트(L, R) 및/또는 인핸스드 오브젝트(EO)를 렌더링하기 위한 다운믹스 프로세싱 정보(DPI) 및 멀티채널 정보(MI)를 생성한다.
여기서, 믹스 정보(MXI)(mix information)란, 오브젝트 위치 정보(object position information), 오브젝트 게인 정보(object gain information), 및 재생 환경 정보(playback configuration information) 등을 근거로 생성된 정보로서, 오브젝트 위치 정보란, 사용자가 각 오브젝트의 위치 또는 패닝(panning)를 제어하기 위해 입력한 정보이며, 오브젝트 게인 정보란, 사용자가 각 오브젝트의 게인(gain)을 제어하기 위해 입력한 정보이다. 재생환경 정보는, 스피커의 개수, 스피커의 위 치, 앰비언트 정보(speaker의 가상 위치) 등을 포함하는 정보로서, 사용자로부터 입력받을 수도 있고, 미리 저장되어 있을 수도 있으며, 다른 장치로부터 수신할 수도 있다.
멀티채널 정보 생성부(226)는 다운믹스 프로세싱 정보(DPI) 및 멀티채널 정보(MI)를 생성하기 위해, 오브젝트 정보 디코딩부(222)로부터 수신한 독립 파라미터(IP) 및/또는, 인핸스드 오브젝트 정보 디코딩부(224)로부터 수신한 백그라운드 파라미터(BP)를 이용할 수 있다. 우선, 믹스 정보(MXI)에 따라 인핸스드 오브젝트(독립 오브젝트)를 컨트롤하기 위한 제1 멀티채널 정보(MI1)를 생성한다. 예를 들어, 사용자가 보컬 신호와 같은 인핸스드 오브젝트를 완전히 억압하기 위한 제어 정보를 입력하였다면, 이 제어 정보가 적용된 믹스 정보(MXI)에 따라, 다운믹스(DMX)에서 인핸스드 오브젝트를 제거하기 위한 제1 멀티채널 정보를 생성하는 것이다.
위와 같이 독립 오브젝트를 컨트롤하기 위한 제1 멀티채널 정보(MI1)를 생성한 후, 이 제1 멀티채널 정보(MI1) 및 디멀티플렉서(210)로부터 전달받은 공간정보(SP)를 이용하여, 백그라운드 오브젝트를 컨트롤하기 위한 제2 멀티채널 정보(MI2)를 생성한다. 구체적으로, 다음 수학식에 표현된 바와 같이, 제1 멀티채널 정보가 적용된 신호(즉, 인핸스드 오브젝트(EO))를 다운믹스(DMX)에서 차감하는 방식으로 제2 멀티채널 정보(MI2)를 생성할 수 있다.
[수학식 3]
BO = DMX - EOL
(BO는 백그라운드 오브젝트 신호, DMX는 다운믹스 신호, EOL는 제L 인핸스드 오브젝트)
여기서, 다운믹스에서 인핸스드 오브젝트를 차감하는 과정은, 시간 도메인 또는 주파수 도메인 상에서 수행될 수 있다. 또한, 다운믹스(DMX)의 채널 수 및 제1 멀티채널 정보가 적용된 신호의 채널 수(즉, 인핸스드 오브젝트의 채널 수)가 동일한 경우에는, 채널별로 차감될 수 있다.
제1 멀티채널 정보(MI1) 및 제2 멀티채널 정보(MI2)를 포함하는 멀티채널 정보(MI)를 생성하여 멀티채널 디코더(240)에 전달한다.
다운믹스 프로세싱 유닛(230)은 앞서 언급한 바와 같이, 다운믹스 프로세싱 정보(DPI)를 이용하여 다운믹스(DMX)를 프로세싱한다. 여기서 다운믹스 프로세싱 정보(DPI)는 앞서 백그라운드 파라미터(BP) 및/또는 독립 파라미터(IP)가 적용된 것이기 때문에, 다운믹스(DMX)에 상기 다운믹스 프로세싱 정보(DPI)를 적용하면, 상기 다운믹스(DMX)로부터 백그라운드 오브젝트 및/또는 인핸스드 오브젝트가 추출된다.
멀티채널 디코더(multi-channel decoder)(240)는 프로세싱된 다운믹스(processed downmix)를 수신하고, 멀티채널 정보(MI)를 이용하여 프로세싱된 다운믹스 신호를 업믹싱하여 멀티채널 신호를 생성한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 오디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치의 구성도.
도 2는 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인핸스드 오브젝트 인코더의 세부 구성도.
도 3은 인핸스드 오브젝트 생성부 및 인핸스드 오브젝트 정보 생성부의 제1 예를 나타낸 도면.
도 4는 인핸스드 오브젝트 생성부 및 인핸스드 오브젝트 정보 생성부의 제2 예를 나타낸 도면.
도 5는 인핸스드 오브젝트 생성부 및 인핸스드 오브젝트 정보 생성부의 제3 예를 나타낸 도면.
도 6은 인핸스드 오브젝트 생성부 및 인핸스드 오브젝트 정보 생성부의 제4 예를 나타낸 도면.
도 7은 인핸스드 오브젝트 생성부 및 인핸스드 오브젝트 정보 생성부의 제5 예를 나타낸 도면.
도 8은 부가 정보 비트스트림의 다양한 예를 나타낸 도면.
도 9는 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 정보 생성 유닛의 세부 구성도.
도 10은 인핸스드 오브젝트 정보 디코딩부의 세부 구성의 일 예.
도 11은 오브젝트 정보 디코딩부의 세부 구성의 일 예.

Claims (11)

  1. 하나 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하는 단계;
    오브젝트 정보 및 인핸스드 오브젝트 정보를 수신하는 단계; 및,
    상기 오브젝트 정보 및 상기 인핸스드 오브젝트 정보를 이용하여, 상기 다운믹스 정보로부터 하나 이상의 독립 오브젝트를 추출하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 오브젝트 정보는, 상기 독립 오브젝트 및 상기 백그라운드 오브젝트에 대한 정보에 해당하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제 2 항에 있어서,
    상기 오브젝트 정보는, 상기 독립 오브젝트 및 상기 백그라운드 오브젝트간의 레벨 정보, 및 상관 정보 중 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제 1 항에 있어서,
    상기 인핸스드 오브젝트 정보는 레지듀얼 신호를 포함하는 것을 특징으로 하 는 오디오 신호 처리 방법.
  5. 제 4 항에 있어서,
    상기 레지듀얼 신호는, 하나 이상의 오브젝트 기반의 신호를 인핸스드 오브젝트로 그룹핑하는 과정에서 추출된 것임을 특징으로 하는 오디오 신호 처리 방법.
  6. 제 1 항에 있어서,
    상기 독립 오브젝트는, 오브젝트 기반 신호이고,
    상기 백그라운드 오브젝트는, 하나 이상의 채널 기반 신호를 포함하거나, 하나 이상의 채널 기반 신호가 다운믹스된 신호인 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제 6 항에 있어서,
    상기 백그라운드 오브젝트는, 좌측 채널 신호 및 우측 채널 신호를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 제 1 항에 있어서,
    상기 다운믹스 정보는, 방송 신호를 통해 수신된 것을 특징으로 하는 오디오 신호 처리 방법.
  9. 삭제
  10. 제 1 항에 기재된 방법을 실행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체.
  11. 하나 이상의 독립 오브젝트, 및 백그라운드 오브젝트가 다운믹스된 다운믹스 정보를 수신하고, 오브젝트 정보 및 인핸스드 오브젝트 정보를 수신하는 정보 수신부; 및,
    상기 오브젝트 정보 및 상기 인핸스드 오브젝트 정보를 이용하여, 상기 다운믹스로부터 하나 이상의 독립 오브젝트를 추출하는 정보 생성 유닛을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
KR1020080024248A 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치 KR101100214B1 (ko)

Priority Applications (15)

Application Number Priority Date Filing Date Title
PCT/KR2008/001496 WO2008114984A1 (en) 2007-03-16 2008-03-17 A method and an apparatus for processing an audio signal
CN2008800086594A CN101636919B (zh) 2007-03-16 2008-03-17 用于处理音频信号的方法和装置
EP08723533A EP2130304A4 (en) 2007-03-16 2008-03-17 METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
US12/531,377 US8712060B2 (en) 2007-03-16 2008-03-17 Method and an apparatus for processing an audio signal
PCT/KR2008/001497 WO2008114985A1 (en) 2007-03-16 2008-03-17 A method and an apparatus for processing an audio signal
EP08723534A EP2137825A4 (en) 2007-03-16 2008-03-17 METHOD AND DEVICE FOR PROCESSING AUDIO SIGNAL
US12/531,444 US8725279B2 (en) 2007-03-16 2008-03-17 Method and an apparatus for processing an audio signal
PCT/KR2008/001493 WO2008114982A1 (en) 2007-03-16 2008-03-17 A method and an apparatus for processing an audio signal
JP2009553525A JP2010521866A (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置
JP2009553527A JP5161893B2 (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置
EP08723530A EP2137824A4 (en) 2007-03-16 2008-03-17 METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
CN2008800085799A CN101636917B (zh) 2007-03-16 2008-03-17 用于处理音频信号的方法和装置
US12/531,370 US20100106271A1 (en) 2007-03-16 2008-03-17 Method and an apparatus for processing an audio signal
JP2009553526A JP4851598B2 (ja) 2007-03-16 2008-03-17 オーディオ信号の処理方法及び装置
US14/247,067 US9373333B2 (en) 2007-03-16 2014-04-07 Method and apparatus for processing an audio signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US89531407P 2007-03-16 2007-03-16
US60/895,314 2007-03-16

Publications (2)

Publication Number Publication Date
KR20080084758A KR20080084758A (ko) 2008-09-19
KR101100214B1 true KR101100214B1 (ko) 2011-12-28

Family

ID=40024880

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020080024248A KR101100214B1 (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치
KR1020080024247A KR20080084757A (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치
KR1020080024245A KR101100213B1 (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020080024247A KR20080084757A (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치
KR1020080024245A KR101100213B1 (ko) 2007-03-16 2008-03-17 오디오 신호 처리 방법 및 장치

Country Status (6)

Country Link
US (4) US8725279B2 (ko)
EP (3) EP2130304A4 (ko)
JP (3) JP2010521866A (ko)
KR (3) KR101100214B1 (ko)
CN (3) CN101636919B (ko)
WO (3) WO2008114982A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2212882A4 (en) * 2007-10-22 2011-12-28 Korea Electronics Telecomm SOUND CODING AND DECODING METHOD WITH SEVERAL OBJECTS AND DEVICE THEREFOR
US8670575B2 (en) 2008-12-05 2014-03-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101187075B1 (ko) * 2009-01-20 2012-09-27 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2209328B1 (en) * 2009-01-20 2013-10-23 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
KR101387808B1 (ko) * 2009-04-15 2014-04-21 한국전자통신연구원 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
EP2522016A4 (en) 2010-01-06 2015-04-22 Lg Electronics Inc DEVICE FOR PROCESSING AN AUDIO SIGNAL AND METHOD THEREFOR
KR20140027954A (ko) 2011-03-16 2014-03-07 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
EP2717262A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding
EP2717261A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
JP6196437B2 (ja) * 2012-11-07 2017-09-13 日本放送協会 受信機、及びプログラム
KR102213895B1 (ko) 2013-01-15 2021-02-08 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
JP6231762B2 (ja) * 2013-04-10 2017-11-15 日本放送協会 受信装置及びプログラム
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
US9779739B2 (en) 2014-03-20 2017-10-03 Dts, Inc. Residual encoding in an object-based audio system
EP3148196A4 (en) * 2014-05-21 2017-11-15 LG Electronics Inc. Broadcast signal transmitting/receiving method and device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007004830A1 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03236691A (ja) 1990-02-14 1991-10-22 Hitachi Ltd テレビジョン受信機用音声回路
US5155971A (en) * 1992-03-03 1992-10-20 Autoprod, Inc. Packaging apparatus
JPH0654400A (ja) 1992-07-29 1994-02-25 Mitsubishi Electric Corp 音場再生装置
JP2001100792A (ja) 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 符号化方法、符号化装置およびそれを備える通信システム
JP2001268697A (ja) * 2000-03-22 2001-09-28 Sony Corp データ伝送システム、データ伝送装置、データ伝送方法
US20040096065A1 (en) * 2000-05-26 2004-05-20 Vaudrey Michael A. Voice-to-remaining audio (VRA) interactive center channel downmix
JP2002044793A (ja) 2000-07-25 2002-02-08 Yamaha Corp 音響信号処理方法及び装置
ATE426235T1 (de) * 2002-04-22 2009-04-15 Koninkl Philips Electronics Nv Dekodiervorrichtung mit dekorreliereinheit
ES2565410T3 (es) * 2004-03-03 2016-04-04 Kraton Polymers U.S. Llc Copoliméro de bloque que presenta flujo y elasticidad alta
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
JP4936894B2 (ja) * 2004-08-27 2012-05-23 パナソニック株式会社 オーディオデコーダ、方法及びプログラム
JP2006100869A (ja) * 2004-09-28 2006-04-13 Sony Corp 音声信号処理装置および音声信号処理方法
WO2006060279A1 (en) 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CN2807615Y (zh) 2005-05-27 2006-08-16 熊猫电子集团有限公司 外差式am同步解调广播接收机
JP5227794B2 (ja) * 2005-06-30 2013-07-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US8147979B2 (en) * 2005-07-01 2012-04-03 Akzo Nobel Coatings International B.V. Adhesive system and method
KR101496193B1 (ko) 2005-07-14 2015-02-26 코닌클리케 필립스 엔.브이. 출력 오디오 채널들 및 출력 오디오 채널들을 포함하는 데이터 스트림을 발생시키기 위한 장치 및 방법, 데이터 스트림을 송신 및 수신하는 방법 및 장치, 및 오디오 재생 및 기록 장치
EP1906706B1 (en) 2005-07-15 2009-11-25 Panasonic Corporation Audio decoder
KR100733965B1 (ko) * 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
ATE503245T1 (de) * 2006-10-16 2011-04-15 Dolby Sweden Ab Erweiterte codierung und parameterrepräsentation einer mehrkanaligen heruntergemischten objektcodierung
KR101303441B1 (ko) 2007-10-17 2013-09-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다운믹스를 이용한 오디오 코딩

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007004830A1 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
WO2007004828A2 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof

Also Published As

Publication number Publication date
CN101636917B (zh) 2013-07-24
US20100087938A1 (en) 2010-04-08
EP2137824A4 (en) 2012-04-04
KR20080084757A (ko) 2008-09-19
US8725279B2 (en) 2014-05-13
EP2130304A1 (en) 2009-12-09
JP2010521866A (ja) 2010-06-24
CN101636917A (zh) 2010-01-27
JP4851598B2 (ja) 2012-01-11
US20100106271A1 (en) 2010-04-29
KR20080084756A (ko) 2008-09-19
US8712060B2 (en) 2014-04-29
JP2010521703A (ja) 2010-06-24
WO2008114982A1 (en) 2008-09-25
CN101636919B (zh) 2013-10-30
CN101636918A (zh) 2010-01-27
US9373333B2 (en) 2016-06-21
JP5161893B2 (ja) 2013-03-13
EP2137825A1 (en) 2009-12-30
JP2010521867A (ja) 2010-06-24
US20100111319A1 (en) 2010-05-06
KR101100213B1 (ko) 2011-12-28
WO2008114984A1 (en) 2008-09-25
CN101636919A (zh) 2010-01-27
US20140222440A1 (en) 2014-08-07
KR20080084758A (ko) 2008-09-19
EP2130304A4 (en) 2012-04-04
EP2137825A4 (en) 2012-04-04
WO2008114985A1 (en) 2008-09-25
EP2137824A1 (en) 2009-12-30

Similar Documents

Publication Publication Date Title
KR101100214B1 (ko) 오디오 신호 처리 방법 및 장치
CA2645908C (en) Methods and apparatuses for encoding and decoding object-based audio signals
TWI443647B (zh) 用以將以物件為主之音訊信號編碼與解碼之方法與裝置
KR101328962B1 (ko) 오디오 신호 처리 방법 및 장치
KR101221916B1 (ko) 오디오 신호 처리 방법 및 장치
RU2394283C1 (ru) Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов
KR102191260B1 (ko) 다채널 오디오 코덱과 다객체 오디오 코덱을 이용한 오디오 부호화/복호화 장치 및 방법
KR20080093879A (ko) 오디오 신호 처리 방법 및 이의 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 9