KR100852223B1 - 멀티채널 오디오 신호 시각화 장치 및 방법 - Google Patents

멀티채널 오디오 신호 시각화 장치 및 방법 Download PDF

Info

Publication number
KR100852223B1
KR100852223B1 KR1020070011539A KR20070011539A KR100852223B1 KR 100852223 B1 KR100852223 B1 KR 100852223B1 KR 1020070011539 A KR1020070011539 A KR 1020070011539A KR 20070011539 A KR20070011539 A KR 20070011539A KR 100852223 B1 KR100852223 B1 KR 100852223B1
Authority
KR
South Korea
Prior art keywords
channel
signal
multichannel
gain value
audio signal
Prior art date
Application number
KR1020070011539A
Other languages
English (en)
Other versions
KR20070079943A (ko
Inventor
백승권
장대영
서정일
강경옥
홍진우
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070079943A publication Critical patent/KR20070079943A/ko
Application granted granted Critical
Publication of KR100852223B1 publication Critical patent/KR100852223B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 멀티채널 오디오 신호 시각화 장치 및 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 공간 오디오 부호화 기반의 멀티채널 오디오 복호화 장치에 있어서, 공간 파라메터를 이용하여 멀티채널 오디오 신호의 동적인 음량감과 음장감을 시각적으로 표현할 수 있는 멀티채널 오디오 신호 시각화 장치 및 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 공간 파라메터를 이용한 멀티채널 오디오 신호 복호화 장치로서, 시간 영역의 다운 믹스 신호를 입력받아 주파수 영역의 신호로 변환하여 주파수 영역 다운 믹스 신호를 출력하고, 상기 공간 파라메터 및 다운 믹스 신호를 이용하여 멀티채널 오디오 신호를 합성하는 공간 오디오 복호화부; 및 상기 주파수 영역 다운 믹스 신호 및 공간 파라메터를 이용하여 멀티채널 오디오 신호의 시각화 정보를 생성하기 위한 멀티채널 시각화부를 포함함.
3. 발명의 중요한 용도
본 발명은 멀티채널 오디오 신호 시각화 장치 등에 이용됨.
멀티채널 오디오, 시각화, 공간 오디오 부호화(SAC), MPEG Surround

Description

멀티채널 오디오 신호 시각화 장치 및 방법{Apparatus and Method for visualization of multichannel audio signals}
도 1은 본 발명에 따른 공간 오디오 부호화 기반의 멀티채널 오디오 신호 복호화 장치의 일실시예 구성도,
도 2는 본 발명에 따른 멀티채널 시각화부의 일실시예 상세 구성도,
도 3은 본 발명의 일실시예에 따른 채널의 파워 레벨에 대한 멀티채널 시각화 화면의 예시도,
도 4는 본 발명의 일실시예에 따른 채널 내의 주파수 성분에 대한 멀티채널 시각화 화면의 예시도,
도 5는 본 발명의 일실시예에 따른 가상 음원 위치 및 파워 레벨에 대한 멀티채널 시각화 화면의 예시도,
도 6은 MPEG 서라운드(Surround) 부호화기에 있어서, 5152 모드에 따른 공간 파라미터 및 다운 믹스 신호 예측 과정의 예시도,
도 7은 MPEG 서라운드 부호화기에 있어서, 525 모드에 따른 공간 파라미터 및 다운 믹스 신호 예측 과정의 예시도,
도 8은 MPEG 서라운드 부호화기에 있어서, 5151 모드에 따른 공간 파라미터 및 다운미스 신호 예측 과정의 예시도이다.
*도면의 주요 부분에 대한 부호 설명
110: 공간 오디오 복호화부 120: 부가 정보 복호화부
130: 멀티채널 시각화부 111: T/F 변환부
112: 멀티채널 합성부 210: 채널 이득 예측부
220: 실제 채널 이득 예측부 230: 가상 음원 위치/파워레벨 예측부
240: 채널 레벨 예측부
본 발명은 멀티채널 오디오 신호 시각화 장치 및 방법에 관한 것으로, 더욱 상세하게는 공간 오디오 부호화(Spatial Audio Coding, SAC) 기반의 멀티채널 오디오 복호화 장치에 있어서의 멀티채널 오디오 신호 시각화 장치 및 방법에 관한 것이다.
공간 오디오 부호화(SAC)는 기존의 모노 또는 스테레오 오디오 시스템과 호환성을 유지하면서 멀티채널 오디오 신호를 효과적으로 압축하기 위한 기술이다. 공간 오디오 부호화(SAC) 기술은 멀티채널 신호나 여러 독립된 신호를 다운 믹스된 모노 또는 스테레오 신호와 공간 큐 파라메터(이하, 공간 파라메터라 함)로 표현되 는 부가정보로 표현하여 전송 및 복원하는 방법에 관한 것으로서, 낮은 비트율에서도 고품질의 멀티채널 신호를 전송할 수 있다.
공간 오디오 부호화(SAC) 기술의 주요전략은 멀티채널 신호를 서브밴드 별로 분석하여 각 밴드별 공간 파라메터를 추정하고, 공간 파라메터와 다운 믹스 신호를 이용하여 멀티채널 원 신호를 복원한다는 것이다. 따라서, 공간 파라메터는 원 신호를 복원하는데 중요한 역할을 담당하는 것으로서, SAC에 의하여 재생되는 오디오 신호의 음질을 좌우하는 큰 요인이 된다. 대표적인 SAC 기술로서 BCC(binaural cue coding)가 최근에 소개되었다(참조문헌: Baumgarte and C. Faller, "Estimation of Auditory Spatial Cues for Binaural Cue Coding (BCC)," in Proc. ICASSP 2002, Orlando, FL, May 2002). BCC(binaural cue coding)에 따른 공간 파라메터로는 ICLD(Inter-Channel Level Difference), ICTD(Inter-Channel Time Difference) 및 ICC(Inter-Channel Coherence)가 있다.
MPEG에서는 AAC(Advanced Audio Coding) 및 MP3와 같은 기존의 스테레오 오디오 압축 표준과 호환성을 제공하면서 멀티채널 오디오 신호의 음장감을 유지하고 저비트율로 압축하기 위한 기술에 대한 표준화가 진행 중이다. 보다 구체적으로 설명하면, MPEG에서는 MPEG 서라운드(Surround)란 이름으로 BCC를 기반으로한 SAC 기술에 대한 표준화를 진행 중에 있으며, ICLD와 동일한 정의로 CLD(Channel Level Difference)를 주요 공간 파라메터로 이용하며, ICTD를 제외한 ICC만을 추가로 이용한다(ISO/IEC JTC(International Organization for Standardization/International Elecrotechnical Commission Joint Technical Committee)에 의해 2005년 4월에 공개된 MPEG Surround 국제 표준 문서((23000-1 CD) 참조).
MPEG 서라운드는 M개의 오디오 신호를 N개의(M>N) 오디오 신호와 사람이 음원의 위치를 판단하는 공간 파라메터들로 구성되는 부가 정보(side information)를 이용하여 나타내는 파라메트릭 멀티채널 오디오 압축 기술이다. MPEG 서라운드 부호화기는 멀티채널 오디오 신호를 모노 또는 스테레오 채널로 다운 믹스(downmix)한 후 기존의 MPEG-4 오디오 도구(MPEG-4 AAC, MPEG-4 HE-AAC 등)로 압축하고, 멀티채널 오디오 신호로부터 공간 파라메터를 추출하여 부호화된 다운 믹스 오디오 신호와 다중화(Multiflexing)한다. MPEG 서라운드 복호화기는 역다중화기를 이용하여 다운 믹스 오디오 신호와 공간 파라메터를 분리하고, 다운 믹스 오디오 신호에 공간 파라메터를 적용하여 멀티채널 오디오 신호를 합성한다.
종래의 모노 또는 스테레오 기반의 컨텐츠를 청취하는 동시에 시각화하는 방법으로는 주파수 분석기를 이용한 그래픽 이퀄라이저(Graphic Equalizer)가 주로 활용되었다.
하지만, 멀티채널의 경우 주파수 분석기 기반의 그래픽 이퀄라이저만을 이용한 시각화는 사용자에게 멀티채널 오디오 신호의 동적인 음량감과 음장감을 표현하는데 한계를 가지고 있다. 또한, 현재까지 멀티채널에 대한 시각화 방법은 각 채널 신호의 크기의 시각화 방법이 기본적으로 활용되는데 그치고 있다. 또한, 멀티채널 오디오 신호는 다양한 음상의 위치를 공간상에 제공할 수 있으나, 현재 멀티채널 신호에 의해 생성되는 음상의 위치는 복호화기에서 고유한 것으로 인지되어 재생되 는데 그치고 있는 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 공간 오디오 부호화 기반의 멀티채널 오디오 복호화 장치에 있어서, 공간 파라메터를 이용하여 멀티채널 오디오 신호의 동적인 음량감과 음장감을 시각적으로 표현할 수 있는 멀티채널 오디오 신호 시각화 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 더욱 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 공간 파라메터를 이용한 멀티채널 오디오 신호 복호화 장치로서, 시간 영역의 다운 믹스 신호를 입력받아 주파수 영역의 신호로 변환하여 주파수 영역 다운 믹스 신호를 출력하고, 상기 공간 파라메터 및 다운 믹스 신호를 이용하여 멀티채널 오디오 신호를 합성하는 공간 오디오 복호화부; 및 상기 주파수 영역 다운 믹스 신호 및 공간 파라메터를 이용하여 멀티채널 오디오 신호의 시각화 정보를 생성하기 위한 멀티채널 시각화부를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 공간 오디오 부호화(Spatial Audio Coding, SAC) 기반의 멀티채널 오디오 신호 시각화 장치로서, 채널 간 크기 차이(CLD; Channel Level Difference) 파라메터를 이용하여 채널의 상대적 파워 이득값을 계산하여 출력하는 상대적 채널 이득 예측부; 및 다운 믹스 신호와 상기 상대적 파워 이득값을 입력받고, 상기 상대적 파워 이득값 및 상기 다운 믹스 신호의 파워를 이용하여 채널 내의 주파수 성분을 나타내는 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 실제 채널 이득 예측부를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 공간 오디오 부호화(Spatial Audio Coding, SAC) 기반의 멀티채널 오디오 신호 시각화 방법으로서, 채널 간 크기 차이(CLD; Channel Level Difference) 파라메터를 입력 받는 단계; 상기 CLD 파라메터를 이용하여 채널의 상대적 파워 이득값을 계산하는 단계; 다운 믹스 신호와 상기 상대적 파워 이득값을 입력받는 단계; 및 상기 상대적 파워 이득값와 다운 믹스 신호의 파워를 이용하여 채널 내의 주파수 성분을 나타내는 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 단계를 포함하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명 을 생략하기로 한다. 이하, 본 발명에 적용되는 공간 오디오 부호화 기술의 개요에 대하여 멀티채널 오디오 신호 부호화 장치의 실시예를 들어 먼저 설명한 후, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
멀티채널 오디오 신호 부호화 장치는 N개의 멀티채널 신호를 입력받아 해석 필터뱅크(analysis filter bank)에 의해 주파수 밴드로 분해한다. 주파수 영역의 서브 밴드로 분할하는 방법으로서 낮은 복잡도로 수행하기 위하여 QMF(quadrature mirror filter)를 사용한다.
QMF는 SBR(Spectral Band Replication)과 같은 툴과의 호환성도 제공함으로써 보다 효율적인 부호화를 유도할 수 있다. QMF를 거친 각 서브밴드는 Nyquist 필터뱅크를 이용하여 균등분할구조인 서브밴드로 나누고 이를 사람의 청각 시스템의 주파수 분해능과 유사하게 재구성하여 QMF 와 나이퀴스트(Nyquist) 필터뱅크 전체 구조를 통칭하여 하이브리드(Hybrid) QMF라 부른다.
이어서, 서브밴드 신호들로부터 공간 지각과 관련 있는 공간 특성들을 해석하여, 공간 파라메터(Spatial Parameter)를 선택적으로 추출한다. 공간 파라메터로는 채널 간 크기 차이(CLD; Channel Level Difference) 파라메터, 채널 간 유사도(ICC; InterChannel Correlation) 파라메터 및 채널 예측 계수(CPC; Channel Prediction Coefficients) 파라메터 등이 있다.
채널 간 크기 차이(CLD) 파라메터는 시간-주파수에 따른 두 채널간의 크기 차이를 나타내낸다.
채널 간 유사도(ICC) 파라메터는 시간-주파수에 따른 두 채널간의 유사도이다.
채널 예측 계수(CPC) 파라메터는 시간입력 채널 혹은 입력 채널간의 결합으로부터 출력 채널 혹은 출력 채널간의 결합에 대한 예측 계수를 나타낸다.
한편, 입력신호들은 다운믹싱 처리 후 QMF 합성 뱅크를 통과하여 시간영역의 다운 믹스 신호로 변환되고, 상기 공간 파라메터를 부호화한 정보인 부가 정보(Side information)와 함께 다중화되어 전송된다.
다운 믹스 신호는 부호화 장치에서 자동적으로 생성되며, 이는 모노/스테레오 재생 혹은 행렬 서라운드 복호화장치(예로, Dolby Prologic 등)에 따른 재생을 위해 최적화된 형태를 띠게 된다. 또한, 무선 전송을 위한 후처리 결과로 혹은 스튜디오 엔지니어에 의해서 생성된(artistic downmix) 다운 믹스 신호가 부호화 장치의 다운 믹스 신호로 제공되는 경우, 부호화 장치에서는 제공된 다운 믹스 신호에 기반하여 공간 파라메터를 조정함으로써 복호화기에서의 멀티채널 복원을 최적화하도록 한다.
한편, MPEG 서라운드 부호화기에서는 도 6 내지 도 8에 도시된 바와 같은 동작 모드를 통해 모노 또는 스테레오 다운 믹스 신호를 생성한다.
도 6은 MPEG 서라운드 부호화기에 있어서, 5152 모드에 따른 공간 파라미터 및 다운 믹스 신호 예측 과정의 예시도이고, 도 7은 525 모드에 따른 공간 파라미터 및 다운 믹스 신호 예측 과정의 예시도이며, 도 8은 5151 모드에 따른 공간 파라미터 및 다운미스 신호 예측 과정의 예시도이다.
MPEG 서라운드 부호화기는 5.1채널 신호가 입력되는 경우 다운 믹스 신호가 모노일 경우에는 도 6 및 도 8에 도시된 바와 같은 5152모드 또는 5151 모드로 동작하여 모노 다운 믹스 신호를 생성하며, 다운 믹스 신호가 스테레오일 경우에는 도 7에 도시된 바와 같은 525모드로 동작하여 스테레오 다운 믹스 신호를 생성한다. 한편, 525모드 중 CPC 파라미터의 사용 유무에 따라서 TTT(Two-To-Three) 에너지 모드와 TTT 예측 모드(CPC를 사용할 경우)로 동작할 수 있다.
5152모드와 5151모드는 각각 도 8 및 도 6과 같이 입력되는 멀티채널 오디오 신호를 해석하여 공간 파라미터와 모노 다운 믹스 신호를 생성하는 입력 채널 신호의 순서에 차이점이 있다. 여기서, 상기 5151, 5152 및 525 모드에 대한 내용은 ISO/IEC JTC에 의해 2005년 4월에 공개된 국제 표준 MPEG Surround(23000-1 CD)에 상세히 개시되어 있는바, 더욱 상세한 설명은 생략하기로 한다.
도 1은 본 발명에 따른 공간 오디오 부호화 기반의 멀티채널 오디오 신호 복호화 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 멀티채널 오디오 신호 복호화 장치는 T/F변환부(111), 부가정보 복호화부(120) 및 멀티채널 합성부(112)를 포함하는 공간 오디오 복호화부(110)와 멀티채널 시각화부(130)를 포함한다.
T/F 변환부(111)는 입력되는 시간영역의 다운 믹스 신호를 변환하여 주파수영역의 다운 믹스 신호를 출력한다.
부가 정보 복호화부(120)는 부가 정보를 입력받아 복호하여 공간 파라메터를 출력한다. 보다 구체적으로는, 부가 정보의 비트스트림을 입력받아 엔트로피 복호화(entropy decoding)을 수행한다. 일반적으로 엔트로피 코딩 방식으로 호프만 코딩(Huffman coding) 방식을 채택한다.
멀티채널 합성부(112)는 상기 주파수 영역의 다운 믹스 신호 및 공간 파라메터를 입력받고, 이를 이용하여 멀티채널 오디오 신호를 합성하여 출력한다.
디코딩된 부가 정보인 공간 파라메터는 채널 간 크기 차이(CLD; Channel Level Difference) 파라메터, 채널 간 유사도(ICC; InterChannel Correlation) 파라메터 및 채널 예측 계수(CPC; Channel Prediction Coefficients) 파라메터가 있다. 이를 이용하는 멀티채널 합성부(112)에서의 신호 생성과정은 SAC 방법에 따라 달라질 수 있다.
멀티채널 시각화부(130)는 상기 주파수 영역의 다운 믹스 신호 및 공간 파라메터를 입력받고, 이를 이용하여 멀티채널 사운드의 이미지를 시각적으로 표현하기 위한 시각화 정보를 생성하여 출력한다. 공간 파라메터들은 특정한 파라메터 대역(또는 주파수 시간 격자)에서 두 채널 또는 세 채널간의 상대적인 파워정보를 가지고 있다. 따라서, 시각화하고자 하는 객체(예를들면 채널, 대역, 음원)의 실제 파워 크기를 정확하게 표현하기 위해 다운 믹스 신호의 파워가 추가로 사용된다.
상기 시각화 정보에는 멀티채널 각각에 대한 채널의 파워 레벨 정보, 채널 내의 주파수 성분 정보 및 가상 음원의 위치/파워 레벨 정보가 있다.
상기 채널의 파워 레벨 정보는 멀티채널 오디오 신호를 구성하는 각 채널의 전체 파워 레벨(라우드니스)를 표현한다. 이 정보는 라우드니스를 예측하는데 이용 될 수 있다.
상기 채널 내의 주파수 성분은 멀티채널 출력 신호의 각 주파수/시간 격자에서의 파워 레벨을 dB단위로 표현한다. 이와 같은 시각화 출력은 일반적인 스테레오 오디오 재생기에서의 그래픽 이퀄라이저와 유사한 출력을 나타내며, 멀티채널 오디오 신호를 구성하는 모든채널의 주파수 응답을 동시에 표현할 수 있다.
상기 가상 음원의 위치/파워 레벨 정보는 각 주파수/시간 격자에서 관련된 가상음원의 위치와 파워레벨을 표현한다. 가상음원의 위치는 CPP(Constant Power Panning) 법칙을 이용하여 인접한 채널 사이에서 예측된다. 따라서 이러한 시각화 출력은 멀티채널 사운드 이미지의 순간순간의 위치와 크기를 표현함으로써 멀티채널 음상을 역동적으로 표현할 수 있게 된다.
도 2는 본 발명에 따른 멀티채널 시각화부의 일실시예 상세 구성도이다.
도 2에 도시된 바와 같이, 멀티채널 시각화부는 상대적 채널 이득 예측부(210), 실제 채널 이득 예측부(220), 채널 레벨 예측부(240) 및 가상 음원 위치/파워 레벨 예측부(230)를 포함한다.
상대적 채널 이득 예측부(relative channel gain estimator)(210)는 CLD 파라메터를 이용하여 파라메터 대역에서 채널의 상대적 파워 이득값을 계산하여 출력한다.
CLD 파라메터를 이용하여 채널의 상대적 파워 이득값을 계산하는 과정을 다운 믹스 신호가 모노 신호인 경우와 스테레오 신호인 경우로 구분하여 설명하면 다 음과 같다.
다운 믹스 신호가 모노 신호인 경우에는, 아래의 수학식 1에 따라 CLD 파라메터 값으로부터 OTT(One-To-Two) 모드에 따른 두 개 채널의 이득 값이 계산된다.
Figure 112007010630135-pat00001
Figure 112007010630135-pat00002
여기서, m은 파라메터 대역의 인덱스이고, l은 파라메터 셋의 인덱스이다. 보통 l = 1일 경우 파라메터 셋들 중에 하나를 선택하여 이득 값을 계산한다.
이어서, 멀티채널의 채널별 상대적 파워 이득 값은, 다운 믹스가 5152 모드에 따른 모노 신호인 경우, 아래의 수학식 2와 같이 CLD 파라메터로부터 계산된 채널의 이득 값들의 곱으로 계산된다.
Figure 112007010630135-pat00003
Clfe나 LR로 표현되는 것은 OTT 모드에 따라 두 입력 신호로부터 생성되는 합신호를 나타낸다. Clfe는 센터 채널과 LFE 채널로부터 계산된 합신호를 LR은 왼쪽 채널(Lf채널과 Ls채널의 합신호) 신호와 오른쪽 채널(Rf채널과 Rs채널의 합신호) 신호로부터 계산된 합신호를 나타낸다.
한편, 다운 믹스 신호가 525 모드에 따른 스테레오 신호인 경우에는 아래의 수학식 3에 따라 TTT(Two-To-Three) 모드에 따른 채널의 이득 값을 계산하고, 이를 이용하여 멀티채널의 채널별 상대적 파워 이득 값을 계산한다.
Figure 112007010630135-pat00004
실제 채널 이득 예측부(real channel gain estimator)(220)는 상기 상대적 파워 이득값 및 주파수 영역의 다운 믹스 신호를 입력받아 채널 내의 주파수 성분을 나타내는 멀티채널의 채널별/대역별 실제 파워 이득 값을 계산하고 출력한다.
실제 채널 이득 예측부(220)의 상세 동작을 다운 믹스 신호가 모노 신호인 경우와 스테레오 신호인 경우로 구분하여 설명하면 다음과 같다.
다운 믹스 신호가 5152 모드에 따른 모노 신호인 경우에는, 아래의 수학식 4 에 따라 상기 상대적 파워 이득 값 및 다운 믹스 신호의 파워를 이용하여 멀티채널의 채널별/대역별 실제 파워 이득 값을 계산한다.
Figure 112007010630135-pat00005
여기서,
Figure 112007010630135-pat00006
는 m 번째 파라메터 밴드의 다운 믹스 모노 신호의 파워이다.
한편, 다운 믹스 신호가 525 모드의 TTT 예측 모드에 따른 스테레오 신호인 경우에는, 아래의 수학식 5에 따라 CPC 파라메터 및 다운 믹스 신호의 파워를 이용하여 채널별/대역별 실제 파워 이득값을 계산한다.
Figure 112007010630135-pat00007
채널 레벨 예측부(240)는 상기 채널별/대역별 실제 파워 이득 값을 입력받아 채널의 파워 레벨을 계산하여 출력한다. 각 채널의 전체 파워 레벨을 나타내는 상기 채널의 파워 레벨은 아래의 수학식 6에 따라 모든 파라메터 대역에서 실제 파워 이득 값들의 합으로 계산된다.
Figure 112007010630135-pat00008
가상 음원 위치/파워 레벨 예측부(virtual sound source position and power level estimator)(230)는 상기 채널별/대역별 실제 파워 이득 값 및 ICC 파라메터를 입력받고, 실제 채널의 파워 이득값과 고정된 멀티채널 출력 레이 아웃을 이용하여 아래의 수학식 7 및 8에 따라 가상 음원 위치 정보 및 파워 레벨 정보를 계산하여 출력한다.
우선, 아래의 수학식 7에 따라, 채널별 출력 채널 벡터가 계산된다.
Figure 112007010630135-pat00009
본 실시예가 적용되는 MPEG 서라운드(Surround) 부호화기에서 멀티채널 출력 배치는 5.1채널 배치와 같이 고정되어 있다. 따라서, 출력 채널 벡터들은 상기 수학식 7와 같이 인코더에서 결정되어진 출력 배치 각에 따라 계산되고, 각 채널 벡터들의 파워는 실제 채널 이득 예측부(220)에서 계산된 채널별 실제 파워 이득값에 따라 결정된다. LFE 채널은 가상 음원의 위치를 결정짓는데 영향을 주지 못하므로 본 실시예에서는 LFE 채널에 대하여 고려하지 않는다.
이어서, 가상 음원 위치 벡터가 아래의 수학식 8에 따라 인접한 두 채널 벡터의 합으로 계산된다. 단, 가상 음원 위치 벡터는 복소수 형태를 가진다.
Figure 112007010630135-pat00010
이어서, 가상음원 위치 및 파워 레벨은 상기 가상 음원 위치 벡터로부터 직 접 계산된다. 시각적으로 가상 음원 벡터를 표현하기 위해 가상 음원의 위치와 파워 레벨은 상기 가상 음원 벡터의 방위각과 파워로 대치된다. 선택적으로 ICC 파라메터 값이 주된 가상 음원 벡터를 표현하기 위해 사용될 수 있다. 이는 여러 가지 제약조건을 함께 이용함으로써 서라운드 사운드의 음상을 보다 효과적으로 표현하는데 사용될 수 있다.
도 3은 본 발명의 일실시예에 따른 채널의 파워 레벨에 대한 멀티채널 시각화 화면의 예시도이다.
도 3에 도시된 바와 같이, 채별별 막대의 길이가 각 채널의 라우드니스 레벨을 표현한다. 본 시각화 화면을 통해 사용자는 센터 채널의 레벨이 왼쪽 및 오른쪽 채널보다 더 큰 파워 레벨을 가짐을 알 수 있다.
도 4는 본 발명의 일실시예에 따른 채널 내의 주파수 성분에 대한 멀티채널 그래픽 시각화 화면의 예시도이다.
도 4에 도시된 바와 같이, 채널 내의 주파수 성분(frequency response of channels)은 색상의 차이를 이용하여 표현될 수 있다. 본 시각화 화면을 통해 사용자는 센터 체널의 크기가 다른 채널들보다 작다는 것을 관찰할 수 있다. 또한, 사용자는 본 시각화 화면을 통해 채널별로 서브 밴드 각각의 파워 레벨도 관찰할 수 있다.
도 5는 본 발명의 일실시예에 따른 가상 음원 위치 및 파워 레벨에 대한 멀티채널 시각화 화면의 예시도이다.
도 5에 도시된 바와 같이, 가상 음원 위치 및 파워 레벨은 계산된 가상 음원 벡터의 방위각과 파워로부터 시각화될 수 있다. 본 시각화 화면을 통해 사용자는 가상 음원이 센터 채널의 주위에 상당히 큰 파워 레벨로 집중되어 있음을 관찰할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 공간 오디오 부호화 기반의 멀티채널 오디오 복호화 장치에 있어서, 공간 파라메터를 이용하여 멀티채널 오디오 신호의 동적인 음량감 과 음장감을 시각적으로 표현할 수 있는 효과가 있다.
또한, 본 발명은 멀티채널 오디오 신호의 동적인 음량감과 음장감을 시각적으로 표현함으로써, 사용자가 보다 실감나는 멀티채널 오디오 서비스를 제공받을 수 있는 효과가 있다.

Claims (15)

  1. 공간 파라메터를 이용한 멀티채널 오디오 신호 복호화 장치로서,
    시간 영역의 다운 믹스 신호를 입력받아 주파수 영역의 신호로 변환하여 주파수 영역 다운 믹스 신호를 출력하고, 상기 공간 파라메터 및 다운 믹스 신호를 이용하여 멀티채널 오디오 신호를 합성하는 공간 오디오 복호화부; 및
    상기 주파수 영역 다운 믹스 신호 및 공간 파라메터를 이용하여 멀티채널 오디오 신호의 시각화 정보를 생성하기 위한 멀티채널 시각화부
    를 포함하는 멀티채널 오디오 신호 복호화 장치.
  2. 제 1 항에 있어서,
    상기 공간 파라메터는,
    채널 간 크기 차이(CLD; Channel Level Difference) 파라메터, 채널 예측 계수(CPC; Channel Prediction Coefficients) 파라메터 및 채널 간 유사도(ICC; InterChannel Correlation) 파라메터 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호 복호화 장치.
  3. 제 1 항에 있어서,
    상기 멀티채널 시각화부는,
    채널 간 크기 차이(CLD; Channel Level Difference) 파라메터를 입력받고, 상기 CLD 파라메터를 이용하여 채널의 상대적 파워 이득값을 계산하고 출력하는 상대적 채널 이득 예측부; 및
    상기 상대적 파워 이득값 및 상기 주파수 영역의 다운 믹스 신호를 입력받고, 상기 상대적 파워 이득값 및 상기 다운 믹스 신호의 파워를 이용하여 채널 내의 주파수 성분을 나타내는 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 실제 채널 이득 예측부
    를 포함하는 멀티채널 오디오 신호 복호화 장치.
  4. 제 3 항에 있어서,
    상기 실제 채널 이득 예측부는,
    상기 다운 믹스 신호가 스테레오 신호인 경우에는 CPC 파라메터를 이용하여 상기 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 것을 특징으로 하는 멀티채널 오디오 신호 복호화 장치.
  5. 제 3 항에 있어서,
    상기 멀티채널 시각화부는,
    상기 멀티채널의 실제 파워 이득 값을 입력받아 채널의 파워 레벨을 계산하여 출력하는 채널 레벨 예측부
    를 더 포함하는 멀티채널 오디오 신호 복호화 장치.
  6. 제 3 항에 있어서,
    상기 멀티채널 시각화부는,
    상기 멀티채널의 실제 파워 이득 값을 입력받고, 상기 멀티채널의 실제 파워 이득값과 소정의 멀티채널 출력 배치 각을 이용하여 가상 음원 위치 및 파워 레벨 정보를 계산하여 출력하는 가상 음원 위치 예측부
    를 더 포함하는 멀티채널 오디오 신호 복호화 장치.
  7. 제 6 항에 있어서,
    상기 가상 음원 위치 예측부는,
    주된 가상 음원 벡터를 표현하기 위하여 ICC 파라메터를 이용하는 것을 특징으로 하는 멀티채널 오디오 신호 복호화 장치.
  8. 제 1 항에 있어서,
    상기 시각화 정보는,
    채널의 파워 레벨 정보, 채널의 주파수 성분 정와 가상 음원 위치 및 파워 레벨 정보를 포함하는 것을 특징으로 하는 멀티채널 오디오 신호 복호화 장치.
  9. 공간 오디오 부호화(Spatial Audio Coding, SAC) 기반의 멀티채널 오디오 신호 시각화 장치로서,
    채널 간 크기 차이(CLD; Channel Level Difference) 파라메터를 이용하여 채널의 상대적 파워 이득값을 계산하여 출력하는 상대적 채널 이득 예측부; 및
    다운 믹스 신호 및 상기 상대적 파워 이득값을 입력받고, 상기 상대적 파워 이득값 및 상기 다운 믹스 신호의 파워를 이용하여 채널 내의 주파수 성분을 나타내는 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 실제 채널 이득 예측부
    를 포함하는 멀티채널 오디오 신호 시각화 장치.
  10. 제 9 항에 있어서,
    상기 실제 채널 이득 예측부는,
    상기 다운 믹스 신호가 스테레오 신호인 경우에는 채널 예측 계수(CPC; Channel Prediction Coefficients) 파라메터를 이용하여 상기 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 것을 특징으로 하는 멀티채널 오디오 신호 시각화 장치.
  11. 제 9 항에 있어서,
    상기 멀티채널의 실제 파워 이득 값을 입력받아 채널의 파워 레벨을 계산하여 출력하는 채널 레벨 예측부
    를 더 포함하는 멀티채널 오디오 신호 시각화 장치.
  12. 제 9 항에 있어서,
    상기 멀티채널의 실제 파워 이득 값을 입력받고, 상기 멀티채널의 실제 파워 이득값과 소정의 멀티채널 출력 배치 각을 이용하여 가상 음원 위치 정보 및 파워 레벨 정보를 계산하여 출력하는 가상 음원 위치 예측부
    를 더 포함하는 멀티채널 오디오 신호 시각화 장치.
  13. 공간 오디오 부호화(Spatial Audio Coding, SAC) 기반의 멀티채널 오디오 신호 시각화 방법으로서,
    채널 간 크기 차이(CLD; Channel Level Difference) 파라메터를 입력 받는 단계;
    상기 CLD 파라메터를 이용하여 채널의 상대적 파워 이득값을 계산하는 단계;
    다운 믹스 신호 및 상기 상대적 파워 이득값을 입력받는 단계; 및
    상기 상대적 파워 이득값 및 상기 다운 믹스 신호의 파워를 이용하여 채널 내의 주파수 성분을 나타내는 멀티채널의 실제 파워 이득 값을 계산하여 출력하는 단계
    를 포함하는 멀티채널 오디오 신호 시각화 방법.
  14. 제 13 항에 있어서,
    상기 멀티채널의 실제 파워 이득 값을 이용하여 채널의 파워 레벨을 계산하여 출력하는 단계;
    를 더 포함하는 멀티채널 오디오 신호 시각화 방법.
  15. 제 13 항에 있어서,
    상기 멀티채널의 실제 파워 이득값 및 소정의 멀티채널 출력 배치 각을 이용하여 가상 음원 위치 및 파워 레벨 정보를 계산하여 출력하는 단계
    를 더 포함하는 멀티채널 오디오 신호 시각화 방법.
KR1020070011539A 2006-02-03 2007-02-05 멀티채널 오디오 신호 시각화 장치 및 방법 KR100852223B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20060010559 2006-02-03
KR1020060010559 2006-02-03
US78700006P 2006-03-29 2006-03-29
US60/787000 2006-03-29
US83013206P 2006-07-11 2006-07-11
US60/830132 2006-07-11
US83185606P 2006-07-19 2006-07-19
US60/831856 2006-07-19

Publications (2)

Publication Number Publication Date
KR20070079943A KR20070079943A (ko) 2007-08-08
KR100852223B1 true KR100852223B1 (ko) 2008-08-13

Family

ID=38327651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070011539A KR100852223B1 (ko) 2006-02-03 2007-02-05 멀티채널 오디오 신호 시각화 장치 및 방법

Country Status (3)

Country Link
US (1) US8560303B2 (ko)
KR (1) KR100852223B1 (ko)
WO (1) WO2007089129A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190114557A (ko) * 2018-03-30 2019-10-10 구본희 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4875142B2 (ja) * 2006-03-28 2012-02-15 テレフオンアクチーボラゲット エル エム エリクソン(パブル) マルチチャネル・サラウンドサウンドのためのデコーダのための方法及び装置
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
UA94117C2 (ru) * 2006-10-16 2011-04-11 Долби Свиден Ав Усовершенстованное кодирование и отображение параметров многоканального кодирования микшированных объектов
AU2007312597B2 (en) * 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation
US20090123523A1 (en) * 2007-11-13 2009-05-14 G. Coopersmith Llc Pharmaceutical delivery system
EP2083585B1 (en) 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal
US8615088B2 (en) 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal using preset matrix for controlling gain or panning
WO2009116280A1 (ja) * 2008-03-19 2009-09-24 パナソニック株式会社 ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
KR20140010468A (ko) * 2009-10-05 2014-01-24 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
KR20110065095A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 디바이스를 제어하는 방법 및 그 장치
EP2612322B1 (en) * 2010-10-05 2016-05-11 Huawei Technologies Co., Ltd. Method and device for decoding a multichannel audio signal
JP5477357B2 (ja) * 2010-11-09 2014-04-23 株式会社デンソー 音場可視化システム
EP2661746B1 (en) * 2011-01-05 2018-08-01 Nokia Technologies Oy Multi-channel encoding and/or decoding
US8959024B2 (en) 2011-08-24 2015-02-17 International Business Machines Corporation Visualizing, navigating and interacting with audio content
MY172402A (en) 2012-12-04 2019-11-23 Samsung Electronics Co Ltd Audio providing apparatus and audio providing method
US9232337B2 (en) 2012-12-20 2016-01-05 A-Volute Method for visualizing the directional sound activity of a multichannel audio signal
US9661435B2 (en) * 2014-08-29 2017-05-23 MUSIC Group IP Ltd. Loudness meter and loudness metering method
CN109479178B (zh) 2016-07-20 2021-02-26 杜比实验室特许公司 基于呈现器意识感知差异的音频对象聚集
EP3297298B1 (en) 2016-09-19 2020-05-06 A-Volute Method for reproducing spatially distributed sounds
CN108665902B (zh) 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
US10165388B1 (en) 2017-11-15 2018-12-25 Adobe Systems Incorporated Particle-based spatial audio visualization
US10771913B2 (en) * 2018-05-11 2020-09-08 Dts, Inc. Determining sound locations in multi-channel audio
CN112567454A (zh) * 2018-08-24 2021-03-26 索尼公司 信息处理装置、信息处理方法及程序
US12010493B1 (en) * 2019-11-13 2024-06-11 EmbodyVR, Inc. Visualizing spatial audio

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004080125A1 (en) * 2003-03-04 2004-09-16 Nokia Corporation Support of a multichannel audio extension
KR20050054639A (ko) * 2003-12-05 2005-06-10 주식회사 팬택 음성 시각화 데이터 부분 업데이트 방법
US20050132397A1 (en) * 2003-12-05 2005-06-16 Moon Dong Y. Method for graphically displaying audio frequency component in digital broadcast receiver

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6977653B1 (en) * 2000-03-08 2005-12-20 Tektronix, Inc. Surround sound display
US20050275626A1 (en) * 2000-06-21 2005-12-15 Color Kinetics Incorporated Entertainment lighting system
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US20060106620A1 (en) * 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US20060247918A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation Systems and methods for 3D audio programming and processing
US7546213B1 (en) * 2005-10-07 2009-06-09 The Tc Group A/S Audio visualizer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004080125A1 (en) * 2003-03-04 2004-09-16 Nokia Corporation Support of a multichannel audio extension
KR20050054639A (ko) * 2003-12-05 2005-06-10 주식회사 팬택 음성 시각화 데이터 부분 업데이트 방법
US20050132397A1 (en) * 2003-12-05 2005-06-16 Moon Dong Y. Method for graphically displaying audio frequency component in digital broadcast receiver

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
10-2005-0054639
MPEG Spatial Audio Coding/MPEG Surround: Overview and Current Status, 2005 October, Audio Engineering Society Convention Paper

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190114557A (ko) * 2018-03-30 2019-10-10 구본희 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램
KR102119241B1 (ko) * 2018-03-30 2020-06-04 구본희 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램

Also Published As

Publication number Publication date
US8560303B2 (en) 2013-10-15
US20090182564A1 (en) 2009-07-16
WO2007089129A1 (en) 2007-08-09
KR20070079943A (ko) 2007-08-08

Similar Documents

Publication Publication Date Title
KR100852223B1 (ko) 멀티채널 오디오 신호 시각화 장치 및 방법
KR101945309B1 (ko) 위상 정보와 잔여 신호를 이용한 부호화/복호화 장치 및 방법
KR102230727B1 (ko) 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
KR101395254B1 (ko) 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
JP4616349B2 (ja) ステレオ互換性のあるマルチチャネルオーディオ符号化
KR100682904B1 (ko) 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
JP5189979B2 (ja) 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
KR101065704B1 (ko) 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR101909573B1 (ko) 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치
RU2430430C2 (ru) Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования
KR101453732B1 (ko) 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
TWI424756B (zh) 多聲道音訊信號之雙耳演示技術
TWI484477B (zh) 參數性立體聲增混裝置、參數性立體聲解碼器、參數性立體聲降混裝置、參數性立體聲編碼器
KR101506837B1 (ko) 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
Moon et al. A multi-channel audio compression method with virtual source location information for MPEG-4 SAC
JP2010515099A5 (ko)
KR20050021484A (ko) 오디오 코딩
KR20060060052A (ko) 호환성 다중-채널 코딩/디코딩
JP2006337767A (ja) 低演算量パラメトリックマルチチャンネル復号装置および方法
KR20070088958A (ko) 다채널 오디오 신호 시각화 방법과 공간큐를 이용한음상정보 변환 방법 및 그 장치
RU2485605C2 (ru) Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования
Seo et al. Development of Multichannel Sound Scene Visualization Tool with MPEG Surround Multichannel Decoder
Moon et al. A multi-channel audio compression method with virtual source location information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130717

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150723

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160712

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee