KR100634506B1 - 저비트율 부호화/복호화 방법 및 장치 - Google Patents

저비트율 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR100634506B1
KR100634506B1 KR1020040048036A KR20040048036A KR100634506B1 KR 100634506 B1 KR100634506 B1 KR 100634506B1 KR 1020040048036 A KR1020040048036 A KR 1020040048036A KR 20040048036 A KR20040048036 A KR 20040048036A KR 100634506 B1 KR100634506 B1 KR 100634506B1
Authority
KR
South Korea
Prior art keywords
audio signal
frequency
time domain
signal
frequency component
Prior art date
Application number
KR1020040048036A
Other languages
English (en)
Other versions
KR20050123396A (ko
Inventor
오은미
김중회
김상욱
에고로브안드레이
포로브안톤
오시포브콘스탄틴
쿠드야쇼브보리스
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040048036A priority Critical patent/KR100634506B1/ko
Priority to DE602005009142T priority patent/DE602005009142D1/de
Priority to EP05250132A priority patent/EP1612772A1/en
Priority to EP06076231A priority patent/EP1715476B1/en
Priority to EP06076232A priority patent/EP1715477B1/en
Priority to DE602005009143T priority patent/DE602005009143D1/de
Priority to US11/165,569 priority patent/US20060004566A1/en
Priority to JP2005186963A priority patent/JP2006011456A/ja
Publication of KR20050123396A publication Critical patent/KR20050123396A/ko
Application granted granted Critical
Publication of KR100634506B1 publication Critical patent/KR100634506B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components

Abstract

본 발명은 저비트율 부호화/복호화 방법 및 장치에 관한 것으로, 저비트율 부호화 장치는, 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환부; 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수 계수를 감소시키는 주파수성분 처리부; 시간영역의 오디오 신호를 인가받아 인간의 청각특성에 맞추어서 모델링하고 부호화 비트 할당 정보를 계산하는 심리음향 모델부; 주파수성분 처리부를 통하여 인가되는 오디오 신호를 심리음향 모델부로부터 인가되는 부호화 비트 할당 정보에 따라 비트수를 할당하여 양자화하는 양자화부; 및 양자화된 오디오 신호를 무손실 부호화하여 비트스트림을 출력하는 무손실 부호화부로 구성된다. 이에 따르면, 낮은 비트율에서 효율적으로 데이터를 압축하여 고음질을 제공할 수 있다.

Description

저비트율 부호화/복호화 방법 및 장치{Low bitrate decoding/encoding method and apparatus}
도 1은 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것이다.
도 2는 도 1에 도시된 주파수성분 처리부의 구성을 블록도로 도시한 것이다.
도 3은 도 2에 도시된 필터링/제거부의 구성을 블록도로 도시한 것이다.
도 4는 도 1에 도시된 주파수성분 처리부의 다른 구성을 블록도로 도시한 것이다.
도 5는 도 1에 도시된 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에 대한 동작을 흐름도로 도시한 것이다.
도 6은 도 5에 도시된 단계 510의 동작을 흐름도로 도시한 일 예이다.
도 7은 도 5에 도시된 단계 510의 동작을 흐름도로 도시한 다른 일 예이다.
도 8a 내지 도 8d는 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에서 주파수 신호처리에 따른 신호변화의 일 예를 도시한 것이다.
도 9a 내지 도 9d는 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에서 주파수 신호처리에 따른 신호변화의 다른 일 예를 도시한 것이다.
도 10은 본 발명에 의한 무손실 오디오 복호화 장치의 일실시예에 대한 구성 을 블록도로 도시한 것이다.
도 11은 도 10에 도시된 주파수성분 처리부의 구성을 블록도로 도시한 것이다.
도 12는 도 10에 도시된 주파수성분 처리부의 다른 구성을 블록도로 도시한 것이다.
도 13은 도 10에 도시된 본 발명에 의한 무손실오디오 복호화 장치의 일실시예에 대한 동작을 흐름도로 도시한 것이다.
도 14는 도 13에 도시된 단계 1340의 동작을 흐름도로 도시한 일 예이다.
도 15는 도 13에 도시된 단계 1340의 동작을 흐름도로 도시한 다른 일 예이다.
도 16a 와 도 16b는 각각 부호화 단계에서 소정의 서브밴드에 대한 오디오 신호와 복화화 단계에서 소정의 서브밴드에 대한 출력되는 오디오 신호에 대한 일 예를 도시한 것이다.
도 17a 와 도 17b는 각각 부호화 단계에서 소정의 서브밴드에 대한 오디오 신호와 복화화 단계에서 소정의 서브밴드에 대한 출력되는 오디오 신호에 대한 다른 일 예를 도시한 것이다.
본 발명은 부호화/복호화 방법 및 장치에 관한 것으로서, 더욱 상세하게는 낮은 비트율에서 효율적으로 데이터를 압축하여 고음질을 제공하는 멀티미디어 시대에 적합한 저비트율 부호화/복호화 방법 및 장치에 관한 것이다.
정보를 포함하고 있는 파형은 원래 진폭에 있어서 연속적이고 시간상으로도 연속적인 아날로그(Analog) 신호이다. 따라서, 파형을 이산 신호로 표현하기 위해서 A/D(Analog-to-Digital) 변환이 필요하다. A/D 변환을 하기 위해서 두 가지의 과정을 필요로 한다. 하나는 시간상의 연속 신호를 이산 신호로 바꾸어 주는 표본화(Sampling)과정이고, 다른 하나는 가능한 진폭의 수를 유한한 값으로 제한하기 위한 양자화 과정이다. 즉, 양자화는 시간 n에서 입력 진폭 x(n)을 가능한 진폭의 유한한 집합 중의 한 원소인 y(n)으로 변환해 주는 과정이다.
오디오 신호의 저장/복원 방식도 최근 디지탈 신호처리 기술의 발달에 의해 기존의 아날로그 신호를 표본화와 양자화 과정을 거쳐 디지탈 신호인 PCM(Pulse Code Modulation) 데이터로 변환하여 CD(Compact Disc)와 DAT(Digital Audio Tape)와 같은 기록/저장 매체에 신호를 저장해 둔 뒤 사용자가 필요시에 저장된 신호를 다시 재생해서 들을 수 있는 기술이 개발되어 일반인들에게 보편화되어 사용되고 있다. 이런 디지탈 방식에 의한 저장/복원 방식은 LP(Long-Play Record)와 Tape와 같은 아날로그 방식에 비해 음질의 향상과 저장 기간에 따른 열화를 극복하였으나 디지탈 데이타의 크기가 많아 저장 및 전송에 문제를 보였다.
여기에서, 시디(CD: Compact Disc)는 아날로그 스테레오(좌,우) 오디오 신호를 1초당 44100개의 샘플을 16bit의 해상도로 표본화(sampling)하여 디스크에 저장한 후 광학적으로 이를 읽어내어 오디오 신호를 재생하는 장치이다. 예를들어, 60 초 분량의 곡을 제공하기 위한 아날로그 오디오 신호를 CD에서 제공하는 오디오 품질을 갖는 2채널의 디지털 오디오 데이터로 변환하는 경우, 아날로그 오디오 신호는 44.1kHz의 표본화 주파수 및 16bit의 양자화 비트수로 표현되는 디지털 데이터로 변환된다. 그러므로 60초 분량의 곡은 10.58Mbyte(44.1kHz * 16 bits * 2 * 60)의 데이터 량을 필요로 한다. 이와 같이 디지털 오디오 신호를 전송로를 통하여 전송하기 위해서는 높은 전송비트율이 필요로 한다.
이러한 문제를 해결하기 위해 디지탈 음성 신호를 압축하기 위해 개발된 DPCM(Differential Pulse Code Modulaton)이나 ADPCM(Adaptive Differential Pulse Code Modulation)등의 방법을 사용하여 데이타의 양을 줄이려는 노력이 있었으나 신호의 종류에 따라 효율성이 크게 차이가 나는 단점을 보였다. 최근 ISO (International Standard Organization)에 의해 표준화 작업이 이루어진 MPEG/audio(Moving Pictures Expert Group) 기법이나 Dolby에 의해 개발된 AC-2/AC-3 기법에서는 인간의 심리음향 모델(Psychoacoustic Model)을 이용하여 데이타의 양을 줄이는 방법을 사용했다. 이러한 방법은 신호의 특성에 관계없이 효율적으로 데이타의 양을 줄이는데 크게 기여하였다.
MPEG-1/audio, MPEG-2/audio 나 AC-2/AC-3등과 같은 기존의 오디오 신호 압축 기법에서는 시간영역의 신호를 일정한 크기의 블럭으로 묶어서 주파수영역의 신호로 변환한다. 그리고 이 변환된 신호를 인간의 심리음향 모델(Psychoacoustic Model)을 이용하여 스칼라 양자화한다. 이런 양자화 기법은 단순하지만 입력 샘플이 통계적으로 독립적이라고 할지라도 최적은 아니다. 물론 입력 샘플이 통계적으 로 종속적이라면 더욱 불충분하다. 이런 문제점 때문에 엔트로피(Entropy )부호화와 같은 무손실 부호화나 어떤 종류의 적응 양자화를 포함하여 부호화를 수행한다. 따라서, 단순한 PCM 데이터만을 저장하던 방식보다는 상당히 복잡한 과정을 거치고 비트스트림은 양자화된 PCM 데이터뿐만 아니라 신호를 압축하기 위한 부가적인 정보들로 구성되어 있다.
MPEG/audio 표준이나 AC-2/AC-3 방식은 기존의 디지탈 부호화에 비해 1/6내지 1/8로 줄어든 64Kbps - 384Kbps 의 비트율로 컴팩트디스크(Compact Disc) 음질과 거의 같은 정도의 음질을 제공한다. 이런 이유때문에, MPEG/audio 표준은 DAB(Digital Audio Broadcasting), 인터넷 폰(internet phone), AOD(Audio on Demand) 와 멀티미디어 시스템과 같은 오디오 신호의 저장과 전송에 중요한 역할을 할 것이다.
이런 기존의 기법들은 부호화기에서 비교적 좋은 방안을 제시하지만, 휴대용 멀티미디어 기기가 도래하는 멀티미디어 시대가 도래함과 더불어 비교적 저비트율에서 부호화뿐 아니라 여러가지 기능성을 가지고 있는 저비트율 오디오 부호화/복호화 방법 및 장치에 대한 요구가 기술적 요구가 많아지고 있다.
본 발명이 이루고자 하는 기술적 과제는 주파수성분 줄이기 기법 및 이를 복원하는 기법을 통하여 비교적 낮은 비트율에서 효율적으로 데이터를 압축하여 고음질을 제공가능한 저비트율 오디오 부호화/복호화 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 저비트율 부호화 장치는, 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환부; 상기 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수성분을 감소시키는 주파수성분 처리부; 상기 시간영역의 오디오 신호를 인가받아 인간의 청각특성에 맞추어서 모델링하고 부호화 비트 할당 정보를 계산하는 심리음향 모델부; 상기 주파수성분 처리부를 통하여 인가되는 상기 오디오 신호를 상기 심리음향 모델부로부터 인가되는 부호화 비트 할당 정보에 따라 비트수를 할당하여 양자화하는 양자화부; 및 상기 양자화된 오디오 신호를 무손실 부호화하여 비트스트림을 출력하는 무손실 부호화부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 저비트율 부호화 방법은, 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환단계; 상기 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수 계수를 감소시키는 주파수성분 처리 단계; 상기 시간영역의 오디오 신호를 인가받아 인간의 청각특성에 맞추어서 모델링하고 부호화 비트 할당 정보를 계산하는 음향심리 모델 계산 단계; 상기 주파수성분 처리 단계를 통하여 인가되는 상기 오디오 신호를 상기 음향심리 모델 계산 단계를 거쳐 인가되는 부호화 비트 할당 정보에 따라 비트수를 할당하여 양자화하는 양자화 단계; 및 상기 양자화된 오디오 신호를 무손실 부호화하여 비트스트림을 출력하는 무손실 부호화 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 저비트율 복호화 장치는, 입력되는 비트스트림에 대하여 무손실 복호화하여 복호화된 오디오 신호를 출력하는 무손실 복호화부; 상기 복호화된 오디오 신호를 원래 크기의 신호로 복원하는 양자화부; 상기 양자화된 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수 계수를 증가시키는 주파수성분 처리부; 및 상기 주파수성분 처리부로부터 입력되는 주파수영역의 오디오 신호를 시간영역의 오디오 신호로 변환하는 주파수/시간 변환부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 저비트율 복호화 방법은, 입력되는 비트스트림에 대하여 무손실 복호화하여 복호화된 오디오 신호를 출력하는 무손실 복호화단계; 상기 복호화된 오디오 신호를 원래 크기의 신호로 복원하는 양자화단계; 상기 양자화된 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수 계수를 증가시키는 주파수성분 처리단계; 및 상기 주파수성분 처리단계를 통하여 입력되는 주파수영역의 오디오 신호를 시간영역의 오디오 신호로 변환하는 주파수/시간 변환단계를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 저비트율 부호화/복호화 방법 및 장치를 상세히 설명한다.
도 1은 본 발명에 의한 저비트율 오디오 부호화 장치에 대한 일실시예의 구성을 블록도로 도시한 것으로서, 시간/주파수 변환부(100), 주파수성분 처리부(110), 양자화부(120), 무손실 부호화부(130), 심리음향 모델부(140) 및 비트율 조절부(150)를 포함하여 이루어진다.
도 1을 살펴보면, 시간/주파수 변환부(100)는 시간영역의 오디오 신호를 주 파수영역의 오디오 신호로 변환하게 된다. 이와 같은 시간/주파수 변환으로는 MDCT(Modified Discrete Cosine Transform)으로 변환할 수 있다.
주파수성분 처리부(110)는 시간/주파수 변환부(100)로부터 주파수영역의 오디오 신호를 입력받아 주파수영역의 오디오 신호에서 N개의 주파수 계수를 상기 N개의 주파수 계수보다 적은 갯수인 N'개의 주파수 계수로 변환하게 된다. 이와 같은 변환은 비선형적이며 전환불가능한 변환(a nonlinear non-invertible transform)으로 볼 수 있다. 주파수성분 처리부(110)에서는 일정한 주파수성분에 대하여 서브밴드(sub band)로 분할이 이루어지게 된다. 여기에서, 서브밴드로의 분할에 있어서 바람직하게는 정수 MDCT를 사용한다.
심리음향 모델부(140)는 인간의 청각 특성에 의한 지각적인 중복성을 제거하기 위해, 입력 오디오 신호를 주파수영역의 스펙트럼으로 변환하여 주파수성분 처리부(110)에서 각각의 서브밴드에 대하여 귀에 들리지 않는 부호화 비트 할당 정보를 결정한다. 여기에서 부호화 비트 할당 정보에 대하여 살펴보면, 심리음향 모델부(140)는 주파수성분 처리부(110)에서 분할된 소정의 서브밴드신호들에 대한 상호작용으로 인해 발생되는 마스킹현상을 이용하여 부호화 비트 할당 정보인 각 서브밴드에서의 마스킹 문턱값(masking threshold)을 계산한다. 심리음향 모델부(140)에서는 이와같이 계산된 부호화 비트 할당 정보를 양자화부(120)로 출력한다. 또한, 심리음향 모델부(140)는 지각 에너지(perceptual energy)를 계산하여 윈도우 스위칭 여부를 결정하여, 윈도우 스위칭 정보를 시간/주파수 변환부(100)로 출력한다.
양자화부(120)는 주파수성분 처리부(110)로부터 입력되는 N'개의 주파수성분으로 변환된 주파수영역의 오디오 신호에 대해, 심리음향 모델부(140)로부터 입력되는 부호화 비트 할당 정보에 따른 비트율로 양자화하게 된다. 즉, 인간이 들어도 느끼지 못하도록 각 서브밴드의 양자화 잡음의 크기가 부호화 비트 할당 정봉인 마스킹 문턱값보다 작도록 각 서브밴드의 주파수 신호들을 스칼라 양자화를 사용한다. 음향심리 모델부(140)에서 계산한 마스킹 문턱값과 각 서브밴드에서 발생하는 잡음(noise)의 비율인 NMR(Noise-to-Mask Ratio)를 이용하여 전 서브밴드의 NMR값이 0dB이하기 되도록 양자화를 행한다. NMR값이 0dB이하라는 것은 양자화 잡음에 비해 마스킹값이 높다는 것을 나타내는데, 이것은 양자화잡음을 사람이 들을 수 없다는 의미이다.
무손실 부호화부(130)는 양자화부(120)로부터 양자화된 오디오 신호를 입력받아 무손실 부호화한 후 출력 비트스트림으로 출력하게 된다. 무손실 부호화부(130)에서 부호화하는 방법은 각 경우에 대한 적당한 확률 분포를 구해서 각 경우에 대한 호프만 부호화(huffman coding)나 산술 부호화(arithmetic coding)등의 무손실 부호화 방식을 사용함으로써 효율적으로 압축하여 부호화를 할 수 있다.
비트율 조절부(150)는 무손실 부호화부(130)로부터 비트스트림의 비트율에 대한 정보를 입력받아 출력되어야 하는 비트스트림의 비트율에 맞게 비트할당 파라미터를 구하여 양자화부(120)에 출력하게 된다. 즉, 비트율 조절부(150)는 출력되는 비트스트림의 비트율을 미세하게 조절하여 원하는 비트율로 출력하도록 하는 역 할을 한다.
도 2는 도 1에 도시된 주파수성분 처리부의 구성을 블록도로 도시하고, 3은 도 2에 도시된 필터링/제거부의 구성을 블록도로 도시한 것으로서, 주파수성분 처리부(110)는 서브밴드 분할부(200), 시간영역 변환부(210), 필터링부(220), 제거부(230), 에너지 출력 선택부(240) 및 주파수영역 변환부(250)를 포함하여 이루어진다.
서브밴드 분할부(200)는 시간/주파수 변환부(100)로부터 입력되는 주파수로 변환된 오디오 신호를 서브밴드로 분할한다.
시간영역 변환부(210)는 서브밴드로 분할된 오디오 신호를 각 서브밴드에 해당하는 시간영역의 오디오 신호로 변환한다.
필터링부(220)는 시간영역 변환부(210)로부터 입력되는 시간영역의 오디오 신호를 필터링하게 된다. 도 3에서 필터링부(220)는 저역필터(300)와 고역필터(320)로 이루어지는 것을 볼 수 있다. 저역필터(300)는 시간영역의 오디오 신호에 대하여 저주파수성분으로 이루어진 기본 신호(reference signal)를 추출해내고, 고역필터(320)는 시간영역의 오디오 신호에 대하여 고주파수성분으로 이루어진 세부 신호(detailed signal)를 추출해내게 된다.
이와 같이 필터링부(220)를 통하여 필터링된 시간영역의 오디오 신호는 제거부(230)에서 소정 범위만큼 제거(decimation)되게 된다. 도 3에서 제거부(230)는 저역필터(300)를 통하여 입력되는 기본 신호를 시간영역에서 반으로 줄이는 시간영역 제거부(340)와 고역필터(320)를 통하여 입력되는 세부 신호를 시간영역에서 반 으로 줄이는 시간영역 제거부(360)로 이루어져 있다. 도 3에서는 반으로 줄이는 것을 보였지만 어느 정도로 시간영역의 신호를 줄일 것인지 여부에 대하여는 다양한 형태로 변형 가능할 것이다.
에너지 출력 선택부(240)는 제거부(230)를 통하여 시간영역에서 신호가 줄어든 기본 신호와 세부 신호에 대하여 어느 신호가 가장 큰 에너지 출력을 갖는지 비교 판단하여 하나의 신호를 선택하게 된다. 즉, 에너지 출력 선택부(240)에서는 기본 신호와 세부 신호에서 각각의 에너지 출력을 비교하여 에너지 출력이 큰 신호만을 선택하게 된다.
주파수영역 변환부(250)는 에너지 출력 선택부(240)로부터 선택된 시간영역의 오디오 신호만을 입력받아 이를 주파수영역으로 변환하게 된다.
이를 통하여 기본 신호 또는 세부 신호중 하나의 신호만을 선택하게 됨으로써 주파수성분을 줄일 수 있게 된다.
도 4는 도 1에 도시된 주파수성분 처리부의 다른 구성을 블록도로 도시한 것이다.
서브밴드 분할부(400)는 시간/주파수 변환부(100)로부터 입력되는 주파수로 변환된 오디오 신호를 서브밴드로 분할한다.
대표값 추출 정보부(420)는 서브밴드 분할부(200)로부터 분할된 각각의 서브밴드에 대하여 어떠한 방식으로 대표값을 추출할 것인지에 대한 사전 정보를 부여하게 된다. 예를 들어, 각 서브밴드에서 5개의 주파수성분마다 대표값을 선택하고, 대표값은 최대값으로 할 것인지 여부에 대한 대표값 추출 정보를 부여하게 되는 것 이다.
대표값 추출부(440)는 서브밴드 분할부(400)를 통하여 분할된 각각의 서브밴드 신호를 입력받고, 상기 대표값 추출 정보부(420)로부터 대표값 추출에 대한 정보를 입력받아 이에 해당하는 대표값 만을 추출하게 된다. 이를 통하여, 각각의 서브밴드에서 일정한 대표값에 해당하는 주파수성분만이 선택됨으로써 주파수성분을 줄일 수 있게 된다.
도 4에서는 오디오 신호를 예를 들어 설명하였으나, 여기에서 주파수 성분 처리부에서는 오디오 신호 뿐만 아니라, 영상 신호를 포함하는 데이터 신호인 경우에도 상기와 같은 구성요소를 가지고 주파수 성분을 처리 할 수 있다.
도 5는 도 1에 도시된 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에 대한 동작을 흐름도로 도시한 것이다.
도 5를 살펴보면, 단계 500에서는 외부로부터 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환한다. 단계 510에서는 주파수영역의 오디오 신호에서 일부 주파수성분을 줄이게 된다. 즉, 주파수영역의 오디오 신호에서 N개의 주파수 계수를 상기 N개의 주파수 계수보다 적은 갯수인 N'개의 주파수 계수로 변환하게 된다. 단계 520에서는 음향심리 모델에 의하여 부호화 비트 할당 정보를 계산한다. 단계 530에서는 줄어든 주파수성분을 부호화 비트 할당 정보에 따라 양자화 하게 된다. 단계 540에서는 양자화된 오디오 신호를 부호화 하게 된다.
도 6은 도 5에 도시된 단계 510의 동작을 흐름도로 도시한 일 예이다.
도 6을 살펴보면, 단계 600에서는 단계 500을 통하여 입력된 주파수영역의 오디오 신호를 각각의 서브밴드로 분할하게 된다.
단계 610에서는 서브밴드로 분할된 오디오 신호를 각 서브밴드에 해당하는 시간영역의 오디오 신호로 변환한다.
단계 620에서는 시간영역의 오디오 신호를 필터링하여 두개의 신호로 분리하게 된다. 여기에서 필터링을 통하여 분리되는 두개의 신호는 저역필터에 의한 시간영역의 오디오 신호에 대하여 저주파수성분으로 이루어진 기본 신호(reference signal)와, 고역필터에 의한 시간영역의 오디오 신호에 대하여 고주파수성분으로 이루어진 세부 신호(detailed signal)이다.
단계 630에서는 단계 620에서 필터링되어 분리된 각각의 시간영역 오디오 신호를 각각 소정 범위만큼 제거(decimation)하게 된다. 예를 들어, 도 3에서 제거부(230)를 통하여 보는 바와 같이 저역필터를 통하여 입력되는 기본 신호를 시간영역에서 반으로 줄이고, 고역필터를 통하여 입력되는 세부 신호를 시간영역에서 반으로 줄일 수 있게 된다. 여기에서 하나의 예로 시간영역에서 기본 신호와 세부 신호를 반으로 줄이는 것을 보였지만 어느 정도로 기본 신호와 세부 신호를 줄일 것인지 여부에 대하여는 다양한 형태로 변형 가능할 것이다.
단계 640에서는 단계 630을 통하여 시간영역에서 신호가 줄어든 기본 신호와 세부 신호에 대하여 어느 신호가 가장 큰 에너지 출력을 갖는지 비교 판단하여 하나의 신호를 선택하게 된다. 즉, 기본 신호와 세부 신호에서 각각의 에너지 출력을 비교하여 에너지 출력이 큰 신호만을 선택하게 된다.
단계 650에서는 선택된 시간영역의 오디오 신호만을 입력받아 이를 주파수영 역으로 변환하게 된다. 즉, 기본 신호 또는 세부 신호중 하나의 신호만을 선택하여 이를 주파수영역으로 변환하도록 함으로써 최초로 입력되는 오디오 신호의 주파수성분을 줄일 수 있게 된다.
도 7은 도 5에 도시된 단계 510의 동작을 흐름도로 도시한 다른 일 예이다.
도 7을 살펴보면, 단계 700에서는 단계 500을 통하여 입력된 주파수영역의 오디오 신호를 각각의 서브밴드로 분할하게 된다.
단계 720에서는 단계 700에 의하여 분할된 각각의 서브밴드에 대하여 어떠한 방식으로 대표값을 추출할 것인지에 여부에 대한 정보를 검색하게 된다. 예를 들어, 각 서브밴드에서 5개의 주파수성분마다 대표값을 선택하고, 대표값은 최대값으로 할 것인지 여부에 대한 대표값 추출 정보를 부여하게 되는 것이다.
단계 740에서는 단계 700에서 분할된 각각의 서브밴드 신호를 입력받고, 단계 720에서 대표값 추출에 대한 정보를 입력받아 이에 해당하는 대표값 만을 추출하게 된다. 이와 같이, 각각의 서브밴드에서 일정한 대표값에 해당하는 주파수성분만이 선택됨으로써 주파수성분을 줄일 수 있게 된다.
도 7에서는 오디오 신호를 예를 들어 설명하였으나, 여기에서 주파수 성분 처리부에서는 오디오 신호 뿐만 아니라, 영상 신호를 포함하는 데이터 신호인 경우에도 상기와 같은 구성요소를 가지고 주파수 성분을 처리 할 수 있다.
도 8a 내지 도 8d는 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에서 주파수 신호처리에 따른 신호변화의 일 예를 도시한 것이다.
도 8a 내지 도 8d를 살펴보면, 도 8a는 시간영역에서의 입력 오디오 신호, 도 8b는 주파수성분 처리부(110)의 서브밴드 분할부(200)에서 분할된 서브밴드인 2.5kHz에서 5kHz까지의 범위에서 오디오 신호, 도 8c는 주파수성분 처리부(110)의 필터링부(220)에서 분리된 기본 신호, 도 8d는 주파수성분 처리부(110)의 필터링부(220)에서 분리된 세부 신호를 나타낸다.
도 8d에서 보이는 EL/(EL+EH) = 0.70 이라고 나타난 것은 기본 신호가 전체 신호에서 70%를 차지한 다는 의미이다. 즉, 이와 같은 경우에는 기본 신호가 세부 신호보다 차지하는 에너지 비율이 높기 때문에 주파수성분 처리부(110)의 에너지 출력 선택부(230)에서는 기본 신호가 선택될 것이다.
도 9a 내지 도 9d는 본 발명에 의한 저비트율 오디오 부호화 장치의 일실시예에서 주파수 신호처리에 따른 신호변화의 다른 일 예를 도시한 것이다.
도 9를 살펴보면, 도 8a는 시간영역에서의 입력 오디오 신호, 도 8b는 주파수성분 처리부(110)의 서브밴드 분할부(200)에서 분할된 서브밴드인 5kHz에서 10kHz까지의 범위에서 오디오 신호, 도 8c는 주파수성분 처리부(110)의 필터링부(220)에서 분리된 기본 신호, 도 8d는 주파수성분 처리부(110)의 필터링부(220)에서 분리된 세부 신호를 나타낸다.
도 9d에서 보이는 EL/(EL+EH) = 0.80 이라고 나타난 것은 기본 신호가 전체 신호에서 80%를 차지한 다는 의미이다. 즉, 이와 같은 경우에는 기본 신호가 세부 신호보다 차지하는 에너지 비율이 높기 때문에 주파수성분 처리부(110)의 에너지 출력 선택부(230)에서는 기본 신호가 선택될 것이다.
도 10은 본 발명에 의한 무손실 오디오 복호화 장치의 일실시예에 대한 구성 을 블록도로 도시한 것으로, 무손실 복호화부(1000), 역 양자화부(1020), 주파수성분 처리부(1040) 및 주파수/시간 변환부(1060)를 포함하여 구성된다.
무손실 복호화부(1000)는 수신되는 부호화된 비트스트림에 대하여 무손실 부호화부(130)의 역과정을 수행하며, 그 결과로서 복호화된 오디오 신호를 역 양자화부(1020)로 출력한다. 즉, 무손실 복호화부(1000)는 계층적 구조를 가진 비트스트림에서 상기 계층이 생성된 순서에 따라 양자화 스텝의 크기 및 각 대역에 할당된 비트율을 포함하는 부가정보 및 양자화된 데이터를 복호화하게 된다. 무손실 복호화부(1000)에서의 복호화는 산술복호화 방법에 의해 복호화하거나 호프만 복호화 방법에 의해 복호화할 수 있다.
역 양자화부(1020)는 복호화된 양자화 스텝의 크기와 양자화된 데이터들을 가지고 원래 크기의 신호로 복원한다.
주파수성분 처리부(1040)는 도 1에서 상술한 주파수성분 처리부(110)에서의 N'개의 주파수 계수로 줄였던 것을 주파수성분 처리를 통하여 최초의 주파수성분의 계수였던 N개의 주파수 계수로 늘리게 된다.
주파수/시간 변환부(1060)는 주파수영역의 오디오 신호를 다시 시간영역의 신호로 변환해서 사용자가 재생할 수 있도록 해 준다.
도 11은 도 10에 도시된 주파수성분 처리부의 구성을 블록도로 도시한 것으로, 서브밴드 분할부(1100), 시간영역 변환부(1110), 보간부(1120), 필터링부(1130) 및 주파수영역 변환부(1140)을 포함하여 구성된다.
도 11을 살펴보면, 서브밴드 분할부(1100)는 무손실 복호화부(1000)로부터 입력되는 주파수로 변환된 오디오 신호를 서브밴드로 분할한다.
시간영역 변환부(1110)는 서브밴드로 분할된 오디오 신호를 각 서브밴드에 해당하는 시간영역의 오디오 신호로 변환한다.
보간부(1120)는 시간영역 변환부(1110)로부터 시간영역의 오디오 신호를 입력받아 도 2에서 제거부(230)를 통하여 일정 범위 제거된 신호를 제거된 범위만큼 보간(interpolation)하게 된다. 예를 들어, 도 3에서 제거부(230)는 기본 신호 또는 세부 신호를 반으로 줄였는 바, 보간부(1120)에서는 시간영역에서의 신호를 두 배로 늘리게 된다. 이와 같은 예에서는 두 배로 보간하는 것을 보였지만 어느 정도로 시간영역의 신호를 보간 할 것인지 여부에 대하여는 다양한 형태로 변형 가능할 것이다. 또한, 보간부(1120)는 보간 팩터의 부가정보를 이용하여 이와 같은 보간을 할 수도 있게 된다.
필터링부(1130)는 보간부(1120)로부터 입력되는 시간영역의 오디오 신호에 들어있는 정보가 도 3에서 시간영역의 오디오 신호에 대하여 저주파수성분으로 이루어진 기본 신호(reference signal)인지, 시간영역의 오디오 신호에 대하여 고주파수성분으로 이루어진 세부 신호(detailed signal)로 이루어지를 검출해 내게 된다. 여기에서 기본 신호인지 세부 신호인지 여부는 부가 정보를 통하여 검출해 내게 된다.
주파수영역 변환부(1140)는 필터링부(11300)로부터 기본 신호인지 세부 신호인지 여부를 입력받아 입력되는 시간영역의 오디오 신호를 주파수영역으로 변환하게 된다.
도 12는 도 10에 도시된 주파수성분 처리부의 다른 구성을 블록도로 도시한 것으로, 서브밴드 분할부(1200), 대표값 추출부(1220) 및 보간부(1240)을 포함하여 구성된다.
도 12를 살펴보면, 서브밴드 분할부(1200)는 무손실 복호화부(1000)로부터 입력되는 주파수로 변환된 오디오 신호를 서브밴드로 분할한다.
대표값 추출부(1220)는 각 서브밴드로 분할된 오디오 신호로부터 대표값을 추출해 내게 된다.
보간부(1240)는 대표값 추출부(1220)로부터 대표값을 입력받아 서브밴드 분할부(1200)로부터 각각의 서브밴드에 주파수성분을 보간(interpolation)하게 된다. 여기에서 보간부(1240)는 미리 정하여진 파라미터에 의하거나, 지비트율 오디오 부호화 장치로부터 수신한 비트스트림에서의 부가정보를 이용하여 보간하게 된다. 도 4에서 살펴본 예를 들어보면, 각 서브밴드에서 5개의 주파수성분마다 대표값을 선택한 경우에 각 서브밴드에서 선택되지 않은 4개의 주파수성분을 대표값으로 동일한 값으로 할 수 있다. 또한, 나머지 4개의 주파수성분을 대표값과의 거리에 따라 일정하게 차이를 두어 보간할 수도 있다. 여기에서, 대표값은 최대값으로 정할 수도 있고, 각 주파수성분의 중간값으로 정할 수도 있다.
도 12에서는 오디오 신호를 예를 들어 설명하였으나, 여기에서 주파수 성분 처리부에서는 오디오 신호 뿐만 아니라, 영상 신호를 포함하는 데이터 신호인 경우에도 상기와 같은 구성요소를 가지고 주파수 성분을 처리 할 수 있다.
도 13은 도 10에 도시된 본 발명에 의한 무손실오디오 복호화 장치의 일실시 예에 대한 동작을 흐름도로 도시한 것이다.
도 13을 살펴보면, 단계 1300에서는 수신되는 부호화된 비트스트림에 대하여 도 5의 단계 560의 양자화된 오디오 신호의 무손실 부호화 과정의 역과정을 수행하며, 그 결과로서 복호화된 오디오 신호를 출력한다. 즉, 단계 1300에서는 계층적 구조를 가진 비트스트림에서 상기 계층이 생성된 순서에 따라 양자화 스텝의 크기 및 각 대역에 할당된 비트율을 포함하는 부가정보 및 양자화된 데이터를 복호화하게 된다. 여기에서, 단계 1300에서의 무손실 복호화 방법은 산술복호화 방법에 의해 복호화하거나 호프만 복호화 방법에 의해 복호화할 수 있다.
단계 1320에서는 복호화된 양자화 스텝의 크기와 양자화된 데이터들을 가지고 원래 크기의 신호로 복원한다.
단계 1340에서는 역 양자화된 신호를 도 5의 단계520에서 상술한 주파수성분 줄이기 방법에서의 N'개의 주파수 계수로 줄였던 것을 주파수성분 처리를 통하여 최초의 주파수성분의 계수였던 N개의 주파수 계수로 늘리게 된다.
단계 1360에서는 주파수영역의 오디오 신호를 다시 시간영역의 신호로 변환해서 사용자가 재생할 수 있도록 한다.
도 14는 도 13에 도시된 단계 1340의 동작을 흐름도로 도시한 일 예이다.
도 14를 살펴보면, 단계 1400에서는 도 13의 단계 1300으로부터 입력되는 주파수로 변환된 오디오 신호를 서브밴드로 분할한다.
단계 1410에서는 서브밴드로 분할된 오디오 신호를 각 서브밴드에 해당하는 시간영역의 오디오 신호로 변환한다.
단계 1420에서는 시간영역의 오디오 신호를 입력받아 도 6에서 단계 630에서 일정 범위 제거된 신호를 제거된 범위만큼 보간(interpolation)하게 된다. 여기에서 보간단계는 저비트율 오디오 복호화기에 미리 정하여진 파라미터에 의하거나, 지비트율 오디오 부호화 장치로부터 수신한 비트스트림에서의 부가정보를 이용하여 보간하게 된다. 예를 들어, 도 6에서는 기본 신호 또는 세부 신호를 반으로 줄였는 바, 단계 1420에서는 시간영역에서의 신호를 두 배로 늘리게 된다. 이와 같은 예에서는 두 배로 보간하는 것을 보였지만 어느 정도로 시간영역의 신호를 보간 할 것인지 여부에 대하여는 다양한 형태로 변형 가능할 것이다. 또한, 단계 1420에서는 보간 팩터의 부가정보를 이용하여 이와 같은 보간을 할 수도 있게 된다.
단계 1430에서는 단계 1420으로부터 입력되는 시간영역의 오디오 신호에 들어있는 정보가 시간영역의 오디오 신호에 대하여 저주파수성분으로 이루어진 기본 신호(reference signal)인지, 시간영역의 오디오 신호에 대하여 고주파수성분으로 이루어진 세부 신호(detailed signal)로 이루어지를 검출해 내게 된다. 여기에서 기본 신호인지 세부 신호인지 여부는 부가 정보를 통하여 검출해 내게 된다.
단계 1440에서는 단계 1430을 통하여 기본 신호인지 세부 신호인지 여부를 입력받아 입력되는 시간영역의 오디오 신호를 주파수영역으로 변환하게 된다.
도 15는 도 13에 도시된 단계 1340의 동작을 흐름도로 도시한 다른 일 예이다.
도 15를 살펴보면, 단계 1500에서는 도 13의 단계 1300으로부터 입력되는 주파수로 변환된 오디오 신호를 서브밴드로 분할한다.
단계 1520에서는 각 서브밴드로 분할된 오디오 신호로부터 대표값을 추출해 내게 된다.
단계 1540에서는 단계 1520으로부터 대표값을 입력받아 단계 1500에서 분할된 각각의 서브밴드에 주파수성분을 보간(interpolation)하게 된다. 도 4에서 살펴본 예를 들어보면, 각 서브밴드에서 5개의 주파수성분마다 대표값을 선택한 경우에 각 서브밴드에서 선택되지 않은 4개의 주파수성분을 대표값으로 동일한 값으로 할 수 있다. 또한, 나머지 4개의 주파수성분을 대표값과의 거리에 따라 일정하게 차이를 두어 보간할 수도 있다. 여기에서, 대표값은 최대값으로 정할 수도 있고, 각 주파수성분의 중간값으로 정할 수도 있다.
도 15에서는 오디오 신호를 예를 들어 설명하였으나, 여기에서 주파수 성분 처리부에서는 오디오 신호 뿐만 아니라, 영상 신호를 포함하는 데이터 신호인 경우에도 상기와 같은 구성요소를 가지고 주파수 성분을 처리 할 수 있다.
도 16a 와 도 16b는 각각 부호화 단계에서 소정의 서브밴드에 대한 오디오 신호와 복화화 단계에서 소정의 서브밴드에 대한 출력되는 오디오 신호에 대한 일 예를 도시한 것이다.
도 16a 및 도 16b를 살펴보면, 도 16a는 부호화 단계에서 2.5kHz 에서 5kHz 사이의 서브밴드에 대한 오디오 신호를 나타내고 , 도 16b는 복호화 단계에서 2.5kHz 에서 5kHz 사이의 서브밴드에 대한 출력되는 오디오 신호를 나타낸다.
도 17a 와 도 17b는 각각 부호화 단계에서 소정의 서브밴드에 대한 오디오 신호와 복화화 단계에서 소정의 서브밴드에 대한 출력되는 오디오 신호에 대한 다 른 일 예를 도시한 것이다.
도 17a 및 도 17b를 살펴보면, 도 17a는 부호화 단계에서 5kHz 에서 10kHz 사이의 서브밴드에 대한 오디오 신호를 나타내고 , 도 17b는 복호화 단계에서 5kHz 에서 10kHz 사이의 서브밴드에 대한 출력되는 오디오 신호를 나타낸다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 저비트율 부호화/복호화 방법 및 장치에 관한 것으로, DAB(Digital Audio Broadcasting), 인터넷 폰(internet phone) 및 AOD(Audio on Demand)와 같은 다양한 오디오 장치 및 소프트웨어를 포함하는 멀티미디어 시스템의 오디오 신호 저장과 복원에 있어서 저비트율에서 효율적으로 데이터를 압축하여 고음질을 제공할 수 있다. 또한, 오디오 신호 뿐만 아니라 영상 신호를 포함하는 데이터 신호도 효율적으로 압축할 수 있는 부호화/복호화 방법 및 장치를 제공할 수 있다.

Claims (39)

  1. 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환부;
    상기 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수성분을 감소시키는 주파수성분 처리부;
    상기 시간영역의 오디오 신호를 인가받아 인간의 청각특성에 맞추어서 모델링하고 부호화 비트 할당 정보를 계산하는 심리음향 모델부;
    상기 주파수성분 처리부를 통하여 인가되는 상기 오디오 신호를 상기 심리음향 모델부로부터 인가되는 부호화 비트 할당 정보에 따라 비트수를 할당하여 양자화하는 양자화부; 및
    상기 양자화된 오디오 신호를 무손실 부호화하여 비트스트림을 출력하는 무손실 부호화부를 포함하는 것을 특징으로 하는 저비트율 부호화 장치.
  2. 제 1 항에 있어서, 상기 주파수성분 처리부는
    상기 주파수영역의 오디오 신호를 서브밴드로 분할하고, 상기 분할된 서브밴드의 각각을 시간영역으로 변환한 후 두개의 오디오 신호들로 분리하고, 상기 분리된 오디오 신호들 중 출력 에너지가 높은 오디오 신호를 선택하여 상기 주파수영역 의 오디오 신호에 대한 주파수성분을 감소시키는 것을 특징으로 하는 저비트율 부호화 장치.
  3. 제 1 항에 있어서, 상기 주파수성분 처리부는
    상기 주파수영역의 오디오 신호를 서브밴드로 분할하고, 상기 분할된 서브밴드의 각각에 대하여 일정 범위의 주파수 구간마다 대표값을 추출하여 상기 주파수영역의 오디오 신호 주파수성분을 감소시키는 것을 특징으로 하는 저비트율 부호화 장치.
  4. 제 1 항에 있어서, 상기 시간/주파수 변환부는
    MDCT(Modified Discrete Cosine Transform)인 것을 특징으로 하는 저비트율 부호화 장치.
  5. 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환부;
    상기 주파수영역의 오디오 신호를 서브밴드로 분할하는 서브밴드 분할부;
    상기 서브밴드로 분할된 오디오 신호를 각각의 서브밴드에 대하여 시간영역의 오디오 신호로 변환하는 시간영역 변환부;
    상기 시간영역의 오디오 신호를 두개로 분리된 오디오 신호로 필터링하는 필터링부;
    상기 두개로 분리된 오디오 신호 각각에 대하여 시간영역에서 소정 범위만큼 줄이는 제거부;
    상기 시간영역에서 소정 범위만큼 줄어든 두개로 분리된 오디오 신호의 각각에 대한 에너지 출력을 비교하여 하나의 오디오 신호만을 선택하는 에너지 출력 선택부; 및
    상기 에너지 출력 선택부로부터 선택된 오디오 신호만을 입력받아 주파수영역으로 변환하는 주파수영역 변환부를 포함하는 것을 특징으로 하는 저비트율 부호화 장치.
  6. 제 5 항에 있어서, 상기 두개로 분리된 오디오 신호는
    상기 시간영역의 오디오 신호에 대하여 저역 필터를 통하여 추출된 저주파수성분으로 이루어진 기본 신호(reference signal)와 상기 시간영역의 오디오 신호에 대하여 고역 필터를 통하여 추출된 고주파수성분으로 이루어진 세부 신호(detailed signal)인 것을 특징으로 하는 저비트율 부호화 장치.
  7. 제 5 항에 있어서, 상기 제거부는
    상기 두개로 분리된 오디오 신호 각각에 대하여 시간영역에서 절반으로 줄이는 것을 특징으로 하는 저비트율 부호화 장치.
  8. 제 5 항에 있어서, 상기 에너지 출력 선택부에서 선택되는 오디오 신호는
    상기 두개로 분리된 오디오 신호의 각각에 대한 에너지 출력을 비교하여 상기 에너지 출력이 큰 오디오 신호인 것을 특징으로 하는 저비트율 부호화 장치.
  9. 입력되는 시간영역의 데이타 신호를 주파수영역의 데이타 신호로 변환하는 시간/주파수 변환부;
    상기 주파수영역의 데이타 신호를 서브밴드로 분할하는 서브밴드 분할부;
    상기 분할된 각각의 서브밴드에 대하여 대표값 추출을 위한 대표값 추출 정보를 검색하는 대표값 추출 정보부; 및
    상기 대표값 추출 정보에 따라 상기 서브밴드에서 대표값을 추출하는 대표값 추출부를 포함하는 것을 특징으로 하는 저비트율 부호화 장치.
  10. 제 9 항에 있어서, 상기 대표값 추출 정보는
    상기 서브밴드에서 몇 개의 주파수성분마다 대표값을 추출할 것인지 여부에 대한 정보를 포함하는 것을 특징으로 하는 저비트율 부호화 장치.
  11. 제 9 항에 있어서, 상기 대표값 추출 정보는
    상기 서브밴드에서 각각의 주파수성분에 대한 크기중에서 어떠한 크기를 대표값으로 추출할 것이지 여부에 대한 정보를 포함하는 것을 특징으로 하는 저비트율 부호화 장치.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 데이타 신호는 오디오 신호 또는 영상 신호 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 저비트율 부호화 장치.
  13. 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환단계;
    상기 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수성분을 감소시키는 주파수성분 처리 단계;
    상기 시간영역의 오디오 신호를 인가받아 인간의 청각특성에 맞추어서 모델링하고 부호화 비트 할당 정보를 계산하는 음향심리 모델 계산 단계;
    상기 주파수성분 처리 단계를 통하여 인가되는 상기 오디오 신호를 상기 음향심리 모델 계산 단계를 거쳐 인가되는 부호화 비트 할당 정보에 따라 비트수를 할당하여 양자화하는 양자화 단계; 및
    상기 양자화된 오디오 신호를 무손실 부호화하여 비트스트림을 출력하는 무손실 부호화 단계를 포함하는 것을 특징으로 하는 저비트율 부호화 방법.
  14. 제 13 항에 있어서, 상기 주파수성분 처리 단계는
    상기 주파수영역의 오디오 신호를 서브밴드로 분할하고, 상기 분할된 서브밴드의 각각을 시간영역으로 변환한 후 두개의 오디오 신호들로 분리하고, 상기 분리된 오디오 신호들 중 출력 에너지가 높은 오디오 신호를 선택하여 상기 주파수영역 의 오디오 신호에 대한 주파수성분을 감소시키는 것을 특징으로 하는 저비트율 부호화 방법.
  15. 제 13 항에 있어서, 상기 주파수성분 처리 단계는
    상기 주파수영역의 오디오 신호를 서브밴드로 분할하고, 상기 분할된 서브밴드의 각각에 대하여 일정 범위의 주파수 구간마다 대표값을 추출하여 상기 주파수영역의 오디오 신호 주파수성분을 감소시키는 것을 특징으로 하는 저비트율 부호화 방법.
  16. 제 13 항에 있어서, 상기 시간/주파수 변환 단계는
    MDCT(Modified Discrete Cosine Transform)를 통하여 이루어지는 것을 특징으로 하는 저비트율 부호화 방법.
  17. 제 13 항에 있어서, 상기 무손실 부호화는
    허프만 부호화임을 특징으로 하는 저비트율 부호화 방법.
  18. 제 13 항에 있어서, 상기 무손실 부호화는
    산술 부호화임을 특징으로 하는 저비트율 부호화 방법.
  19. 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 시간/주파수 변환단계;
    상기 주파수영역의 오디오 신호를 서브밴드로 분할하는 서브밴드 분할단계;
    상기 서브밴드로 분할된 오디오 신호를 각각의 서브밴드에 대하여 시간영역의 오디오 신호로 변환하는 시간영역 변환단계;
    상기 시간영역의 오디오 신호를 두개로 분리된 오디오 신호로 필터링하는 필터링단계;
    상기 두개로 분리된 오디오 신호 각각에 대하여 시간영역에서 소정 범위만큼 줄이는 제거단계;
    상기 시간영역에서 소정 범위만큼 줄어든 두개로 분리된 오디오 신호의 각각에 대한 에너지 출력을 비교하여 하나의 오디오 신호만을 선택하는 에너지 출력 선택단계; 및
    상기 에너지 출력 선택단계에서 선택된 오디오 신호만을 입력받아 주파수영역으로 변환하는 주파수영역 변환단계를 포함하는 것을 특징으로 하는 저비트율 부호화 방법.
  20. 제 19 항에 있어서, 상기 두개로 분리된 오디오 신호는
    상기 시간영역의 오디오 신호에 대하여 저역 필터를 통하여 추출된 저주파수성분으로 이루어진 기본 신호(reference signal)와 상기 시간영역의 오디오 신호에 대하여 고역 필터를 통하여 추출된 고주파수성분으로 이루어진 세부 신호(detailed signal)인 것을 특징으로 하는 저비트율 부호화 방법.
  21. 제 19 항에 있어서, 상기 에너지 출력 선택부에서 선택되는 오디오 신호는
    상기 두개로 분리된 오디오 신호의 각각에 대한 에너지 출력을 비교하여 상기 에너지 출력이 큰 오디오 신호인 것을 특징으로 하는 저비트율 부호화 방법.
  22. 입력되는 시간영역의 데이타 신호를 주파수영역의 데이타 신호로 변환하는 시간/주파수 변환단계;
    상기 주파수영역의 데이타 신호를 서브밴드로 분할하는 서브밴드 분할단계;
    상기 분할된 각각의 서브밴드에 대하여 대표값 추출을 위한 정보를 검색하는 대표값 추출 정보 검색단계;
    상기 대표값 추출 정보에 따라 상기 서브밴드에서 대표값을 추출하는 대표값 추출단계를 포함하는 것을 특징으로 하는 저비트율 부호화 방법.
  23. 제 22 항에 있어서, 상기 대표값 추출 정보는
    상기 서브밴드에서 몇 개의 주파수성분마다 대표값을 추출할 것인지 여부에 대한 정보 또는 상기 서브밴드에서 각각의 주파수성분에 대한 크기중에서 어떠한 크기값으로 대표값을 추출할 것인지 여부에 대한 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 저비트율 부호화 방법.
  24. 제 22 항에 있어서,
    상기 데이타 신호는 오디오 신호 또는 영상 신호 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 저비트율 부호화 방법.
  25. 입력되는 비트스트림에 대하여 무손실 복호화하여 복호화된 오디오 신호를 출력하는 무손실 복호화부;
    상기 복호화된 오디오 신호를 원래 크기의 신호로 복원하는 양자화부;
    상기 양자화된 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수 계수를 증가시키는 주파수성분 처리부; 및
    상기 주파수성분 처리부로부터 입력되는 주파수영역의 오디오 신호를 시간영역의 오디오 신호로 변환하는 주파수/시간 변환부를 포함하는 것을 특징으로 하는 저비트율 복호화 장치.
  26. 무손실 복호화되어 입력되는 주파수영역의 오디오 신호를 서브밴드로 분할하는 서브밴드 분할부;
    상기 서브밴드로 분할된 오디오 신호를 각각의 서브밴드에 대하여 시간영역의 오디오 신호로 변환하는 시간영역 변환부;
    상기 시간영역 변환부로부터 시간영역의 오디오 신호를 입력받아 시간영역에서 소정 범위만큼 늘리는 보간부;
    상기 보간부로부터 입력되는 시간영역의 오디오 신호에 들어있는 정보를 통하여 저주파수성분으로 이루어진 기본 신호인지 고주파수성분으로 이루어진 세부 신호인지 검색하는 필터링부; 및
    상기 필터링부로부터 입력되는 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 주파수영역 변환부를 포함하는 것을 특징으로 하는 저비트율 복호화 장치.
  27. 제 26 항에 있어서, 상기 보간부는
    저비트율 오디오 부호화 장치로부터 받은 부가정보 또는 상기 보간부에서 정해진 파라미터중 적어도 하나에 의하여, 상기 저비트율 오디오 부호화 장치에서 시간영역에서 오디오 신호를 줄인것과 동일하게 시간영역에서 오디오 신호를 늘이는 것을 특징으로 하는 저비트율 복호화 장치.
  28. 무손실 복호화되어 입력되는 주파수영역의 데이타 신호를 서브밴드로 분할하는 서브밴드 분할부;
    상기 분할된 각각의 서브밴드에서 대표값을 추출해내는 대표값 추출부; 및
    상기 추출된 각각의 대표값으로부터 상기 각각의 서브밴드에 주파수성분을 보간하는 보간부를 포함하는 것을 특징으로 하는 저비트율 복호화 장치.
  29. 제 28 항에 있어서, 상기 보간부는
    상기 서브밴드에서 상기 대표값이 위치하는 주파수성분과 보간되어지는 주파수성분 사이의 위치정보를 이용하여 보간하는 것을 특징으로 하는 저비트율 복호화 장치.
  30. 제 28 항 또는 제 29 항에 있어서,
    상기 데이타 신호는 오디오 신호 또는 영상 신호 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 저비트율 복호화 장치.
  31. 입력되는 비트스트림에 대하여 무손실 복호화하여 복호화된 오디오 신호를 출력하는 무손실 복호화단계;
    상기 복호화된 오디오 신호를 원래 크기의 신호로 복원하는 양자화단계;
    상기 양자화된 주파수영역의 오디오 신호에서 상기 오디오 신호의 주파수 계수를 증가시키는 주파수성분 처리단계; 및
    상기 주파수성분 처리단계를 통하여 입력되는 주파수영역의 오디오 신호를 시간영역의 오디오 신호로 변환하는 주파수/시간 변환단계를 포함하는 것을 특징으로 하는 저비트율 복호화 방법.
  32. 제 31 항에 있어서, 상기 무손실 복호화는
    허프만 복호화임을 특징으로 하는 저비트율 복호화 방법.
  33. 제 31 항에 있어서, 상기 무손실 복호화는
    산술 복호화임을 특징으로 하는 저비트율 복호화 방법.
  34. 무손실 복호화되어 입력되는 주파수영역의 오디오 신호를 서브밴드로 분할하는 서브밴드 분할단계;
    상기 서브밴드로 분할된 오디오 신호를 각각의 서브밴드에 대하여 시간영역의 오디오 신호로 변환하는 시간영역 변환단계;
    상기 시간영역의 오디오 신호를 입력받아 시간영역에서 소정 범위만큼 늘리는 보간단계;
    상기 소정 범위만큼 늘어난 시간영역의 오디오 신호에 들어있는 정보를 통하여 저주파수성분으로 이루어진 기본 신호인지 고주파수성분으로 이루어진 세부 신호인지 검색하는 필터링단계; 및
    상기 시간영역의 오디오 신호를 주파수영역의 오디오 신호로 변환하는 주파수영역 변환단계를 포함하는 것을 특징으로 하는 저비트율 복호화 방법.
  35. 제 34 항에 있어서, 상기 보간단계는
    상기 서브밴드에서 상기 대표값이 위치하는 주파수성분과 보간되어지는 주파수성분 사이의 위치정보를 이용하여 보간하는 것을 특징으로 하는 저비트율 복호화 방법.
  36. 제 34 항에 있어서, 상기 보간단계는
    저비트율 오디오 부호화 장치로부터 받은 부가정보 또는 상기 보간부에서 정 해진 파라미터중 적어도 하나에 의하여, 상기 저비트율 오디오 부호화 장치에서 시간영역에서 오디오 신호를 줄인것과 동일하게 시간영역에서 오디오 신호를 늘이는 것을 특징으로 하는 저비트율 복호화 방법.
  37. 무손실 복호화되어 입력되는 주파수영역의 데이타 신호를 서브밴드로 분할하는 서브밴드 분할단계;
    상기 분할된 각각의 서브밴드에서 대표값을 추출해내는 대표값 추출단계; 및
    상기 추출된 각각의 대표값으로부터 상기 각각의 서브밴드에 주파수성분을 보간하는 보간단계를 포함하는 것을 특징으로 하는 저비트율 복호화 방법.
  38. 제 37 항에 있어서,
    상기 데이타 신호는 오디오 신호 또는 영상 신호 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 저비트율 복호화 방법.
  39. 제 13 항 내지 제 24 항, 제 31 항 내지 제 38 항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040048036A 2004-06-25 2004-06-25 저비트율 부호화/복호화 방법 및 장치 KR100634506B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020040048036A KR100634506B1 (ko) 2004-06-25 2004-06-25 저비트율 부호화/복호화 방법 및 장치
DE602005009142T DE602005009142D1 (de) 2004-06-25 2005-01-13 Verfahren und System zur Kodierung/Dekodierung mit niedriger Übertragungsrate
EP05250132A EP1612772A1 (en) 2004-06-25 2005-01-13 Low-bitrate encoding/decoding method and system
EP06076231A EP1715476B1 (en) 2004-06-25 2005-01-13 Low-bitrate encoding/decoding method and system
EP06076232A EP1715477B1 (en) 2004-06-25 2005-01-13 Low-bitrate encoding/decoding method and system
DE602005009143T DE602005009143D1 (de) 2004-06-25 2005-01-13 Verfahren und System zur Kodierung/Dekodierung mit niedriger Übertragungsrate
US11/165,569 US20060004566A1 (en) 2004-06-25 2005-06-24 Low-bitrate encoding/decoding method and system
JP2005186963A JP2006011456A (ja) 2004-06-25 2005-06-27 低ビット率符号化／復号化方法及び装置並びにコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040048036A KR100634506B1 (ko) 2004-06-25 2004-06-25 저비트율 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050123396A KR20050123396A (ko) 2005-12-29
KR100634506B1 true KR100634506B1 (ko) 2006-10-16

Family

ID=36763628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040048036A KR100634506B1 (ko) 2004-06-25 2004-06-25 저비트율 부호화/복호화 방법 및 장치

Country Status (5)

Country Link
US (1) US20060004566A1 (ko)
EP (3) EP1715476B1 (ko)
JP (1) JP2006011456A (ko)
KR (1) KR100634506B1 (ko)
DE (2) DE602005009142D1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
US7546240B2 (en) 2005-07-15 2009-06-09 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
US7562021B2 (en) * 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
JP5189760B2 (ja) * 2006-12-15 2013-04-24 シャープ株式会社 信号処理方法、信号処理装置及びプログラム
JP4963955B2 (ja) * 2006-12-28 2012-06-27 シャープ株式会社 信号処理方法、信号処理装置及びプログラム
KR101411900B1 (ko) * 2007-05-08 2014-06-26 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 장치
KR101411901B1 (ko) * 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
US7761290B2 (en) * 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
US8046214B2 (en) 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US7987285B2 (en) * 2007-07-10 2011-07-26 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
US8249883B2 (en) * 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
JP5033261B2 (ja) * 2008-04-18 2012-09-26 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 共有頂点情報を用いた低複雑度３次元メッシュ圧縮装置及び方法
US8462149B2 (en) 2008-04-18 2013-06-11 Electronics And Telecommunications Research Institute Method and apparatus for real time 3D mesh compression, based on quanitzation
KR101756834B1 (ko) * 2008-07-14 2017-07-12 삼성전자주식회사 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치
KR101048368B1 (ko) * 2008-07-14 2011-07-11 한양대학교 산학협력단 연결정보 분석을 통한 3차원 메쉬 모델의 부호화 장치 및 방법
CN102099855B (zh) * 2008-08-08 2012-09-26 松下电器产业株式会社 频谱平滑化装置、编码装置、解码装置、通信终端装置、基站装置以及频谱平滑化方法
KR101546849B1 (ko) 2009-01-05 2015-08-24 삼성전자주식회사 주파수 영역에서의 음장효과 생성 방법 및 장치
CN101847413B (zh) * 2010-04-09 2011-11-16 北京航空航天大学 一种使用新型心理声学模型和快速比特分配实现数字音频编码的方法
WO2014002226A1 (ja) * 2012-06-28 2014-01-03 株式会社日立製作所 無線通信による信号処理装置および方法
EP3767970B1 (en) 2013-09-17 2022-09-28 Wilus Institute of Standards and Technology Inc. Method and apparatus for processing multimedia signals
CN108449704B (zh) 2013-10-22 2021-01-01 韩国电子通信研究院 生成用于音频信号的滤波器的方法及其参数化装置
CA2934856C (en) 2013-12-23 2020-01-14 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
KR101782917B1 (ko) 2014-03-19 2017-09-28 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
AU2014204540B1 (en) * 2014-07-21 2015-08-20 Matthew Brown Audio Signal Processing Methods and Systems
US10043527B1 (en) * 2015-07-17 2018-08-07 Digimarc Corporation Human auditory system modeling with masking energy adaptation
KR101968456B1 (ko) 2016-01-26 2019-04-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 양자화
CN112534723A (zh) * 2018-08-08 2021-03-19 索尼公司 解码装置、解码方法和程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764698A (en) * 1993-12-30 1998-06-09 International Business Machines Corporation Method and apparatus for efficient compression of high quality digital audio
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP4470304B2 (ja) * 2000-09-14 2010-06-02 ソニー株式会社 圧縮データ記録装置、記録方法、圧縮データ記録再生装置、記録再生方法および記録媒体
US20010040525A1 (en) * 2000-11-22 2001-11-15 L3 Communications Corporation System and methid for detecting signals across radar and communications bands
US7424502B2 (en) * 2001-09-28 2008-09-09 Stmicroelectronics Asia Pacific Pte Ltd. Non-uniform filter bank implementation
US20040083094A1 (en) * 2002-10-29 2004-04-29 Texas Instruments Incorporated Wavelet-based compression and decompression of audio sample sets
US7318027B2 (en) * 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
SG135920A1 (en) * 2003-03-07 2007-10-29 St Microelectronics Asia Device and process for use in encoding audio data
EP1631954B1 (en) * 2003-05-27 2007-02-14 Koninklijke Philips Electronics N.V. Audio coding
US20050091041A1 (en) * 2003-10-23 2005-04-28 Nokia Corporation Method and system for speech coding

Also Published As

Publication number Publication date
DE602005009142D1 (de) 2008-10-02
DE602005009143D1 (de) 2008-10-02
EP1715477A1 (en) 2006-10-25
JP2006011456A (ja) 2006-01-12
US20060004566A1 (en) 2006-01-05
EP1612772A1 (en) 2006-01-04
EP1715476A1 (en) 2006-10-25
EP1715476B1 (en) 2008-08-20
KR20050123396A (ko) 2005-12-29
EP1715477B1 (en) 2008-08-20

Similar Documents

Publication Publication Date Title
KR100634506B1 (ko) 저비트율 부호화/복호화 방법 및 장치
KR100571824B1 (ko) 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
KR101307693B1 (ko) 무손실의 다채널 오디오 코덱
TWI515720B (zh) 壓縮數位化音訊信號之方法、解碼已編碼壓縮數位化音訊信號之方法、及機器可讀儲存媒體
EP2270775A2 (en) Lossless multi-channel audio codec
CA2490064A1 (en) Audio coding method and apparatus using harmonic extraction
US8149927B2 (en) Method of and apparatus for encoding/decoding digital signal using linear quantization by sections
JP3964860B2 (ja) ステレオオーディオの符号化方法、ステレオオーディオ符号化装置、ステレオオーディオの復号化方法、ステレオオーディオ復号化装置及びコンピュータで読み取り可能な記録媒体
US20090164224A1 (en) Lossless multi-channel audio codec
KR100707173B1 (ko) 저비트율 부호화/복호화방법 및 장치
KR100300887B1 (ko) 디지털 오디오 데이터의 역방향 디코딩 방법
KR100754389B1 (ko) 음성 및 오디오 신호 부호화 장치 및 방법
KR100928966B1 (ko) 저비트율 부호화/복호화방법 및 장치
JPH0863901A (ja) 信号記録方法及び装置、信号再生装置、並びに記録媒体
KR100940532B1 (ko) 저비트율 복호화방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee