KR101261677B1 - 음성/음악 통합 신호의 부호화/복호화 장치 - Google Patents

음성/음악 통합 신호의 부호화/복호화 장치 Download PDF

Info

Publication number
KR101261677B1
KR101261677B1 KR1020090062070A KR20090062070A KR101261677B1 KR 101261677 B1 KR101261677 B1 KR 101261677B1 KR 1020090062070 A KR1020090062070 A KR 1020090062070A KR 20090062070 A KR20090062070 A KR 20090062070A KR 101261677 B1 KR101261677 B1 KR 101261677B1
Authority
KR
South Korea
Prior art keywords
signal
input signal
encoder
frequency band
music
Prior art date
Application number
KR1020090062070A
Other languages
English (en)
Other versions
KR20100007749A (ko
Inventor
이태진
백승권
김민제
장대영
서정일
강경옥
홍진우
박호종
박영철
Original Assignee
광운대학교 산학협력단
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 한국전자통신연구원 filed Critical 광운대학교 산학협력단
Priority to EP09798082.5A priority Critical patent/EP2302345B1/en
Priority to EP17173025.2A priority patent/EP3249373A1/en
Priority to CN201410479883.9A priority patent/CN104299618B/zh
Priority to PCT/KR2009/003861 priority patent/WO2010008179A1/ko
Priority to CN200980135842.5A priority patent/CN102150024B/zh
Priority to US13/054,376 priority patent/US8990072B2/en
Publication of KR20100007749A publication Critical patent/KR20100007749A/ko
Application granted granted Critical
Publication of KR101261677B1 publication Critical patent/KR101261677B1/ko
Priority to US14/605,006 priority patent/US9711159B2/en
Priority to US15/618,689 priority patent/US10121482B2/en
Priority to US16/179,120 priority patent/US10777212B2/en
Priority to US17/018,295 priority patent/US11456002B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2207/00—Indexing scheme relating to arrangements for writing information into, or reading information out from, a digital store
    • G11C2207/16—Solid state audio

Abstract

음성/음악 통합 신호의 부호화/복호화 장치가 개시된다. 음성/음악 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하는 입력 신호 분석부, 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부, 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 LPC (Linear Predictive Coding)기반 부호화하는 LPC 부호화부 및 상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
음성, 음악, 복호화, 부호화, 입력신호분석

Description

음성/음악 통합 신호의 부호화/복호화 장치{APPARATUS FOR ENCODING AND DECODING OF INTEGRATED VOICE AND MUSIC}
음성/음악 통합 신호의 부호화/복호화 방법 및 장치에 관한 것으로 특히, 음성과 음악 신호에 대해 서로 다른 구조로 동작하는 부/복호화 모듈을 가지고 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택하여, 음성/음악 모든 신호에 대해 효과적으로 부호화하는 방법 및 장치에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술개발].
음성 신호와 음악 신호는 서로 다른 특성을 가지며, 각 신호의 고유 특성을 활용하여 각 신호에 특화된 음성 코덱과 음악 코덱이 독립적으로 연구되고 각각의 표준 코덱이 개발되었다. 현재 널리 사용되는 음성 코덱(AMR-WB+)은 CELP 구조를 가지며, 음성의 발성 모델에 따라 LPC 기반으로 음성 파라미터를 추출하고 양자화 하는 구조를 가진다. 반면, 현재 널리 사용되는 음악 코덱(HE-AAC V2)은 주파수 영역에서 인간의 청각 특성을 고려하여 심리음향 측면에서 최적으로 주파수 계수를 양자화 하는 구조를 가지고 있다.
따라서, 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택하여, 음성/음악 모든 신호에 대해 효과적으로 부호화하는 기술이 요구된다.
본 발명은 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택함으로써, 다양한 비트율에서 음성 신호 및 음악 신호 모두에 대해 우수한 음질을 제공하는 장치 및 방법을 제공한다.
본 발명은 다양한 비트율에서 음성 부호화기와 음악 보호화기를 적절하게 조합함으로써, 다양한 입력 신호에 모두 우수한 음질을 제공하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 음성/음악 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하는 입력 신호 분석부, 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부, 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 LPC(Linear Predictive Coding)기반 부호화하는 LPC 부호화부 및 상기 제1 변환 부호화부의 출력 신호 및 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
본 발명의 일측면에 따르면, 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부 및 상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부를 더 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 스테레오 부호화부는, 상기 입력 신호의 특성에 따라 스트레오 부호화를 위한 파라미터 값을 제어하고, 상기 주파수 대역 확장부는, 상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용할 수 있다.
본 발명의 일측면에 따르면, 인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부를 더 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 LPC 부호화부는, 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화하는 시간 영역 부호화부 및 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화하는 제2 변환 부호화부를 포함할 수 있다.
본 발명의 일측면에 따르면, 상기 입력 신호 분석부는, 상기 입력 신호를 상기 음악 특성 신호, 상기 음성 특성 신호 및 작은 에너지 신호 중 하나로 분류할 수 있다.
본 발명의 일측면에 따르면, 상기 음성 특성 신호는, 하모닉 성분이 강한 음성 신호(Steady-Harmonic State), 하모닉 성분이 약한 음성 신호(Low Steady-Harmonic State) 및 제1 잡음 신호(Steady-Noise State) 중 하나로 분류하고, 상기 음악 특성 신호는, 복잡한 하모닉 구조의 음악 신호(Complex-Harmonic State) 및 제2 잡음 신호(Complex-Noisy State) 중 하나로 분류할 수 있다.
본 발명의 다른 일실시예에 따른 음성/음악 통합 신호의 부호화 장치는, 입력 신호의 특성을 분석하는 입력 신호 분석부, 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부, 상기 입력 신호를 고주파 대역신호로 확장하기 위한 정보를 생성하는 주파수 대역 확장부, 상기 입력 신호가 음악 특성 신호인 경우, 상기 고주파 대역신호를 주파수 영역으로 변환하여 부호화하는 제1 변환 부호화부, 상기 입력 신호가 음성 특성 신호인 경우, 상기 고주파 대역신호를 LPC (Linear Predictive Coding)기반 부호화하는 LPC 부호화부 및 상기 스트레오 음상 정보, 상기 고주파 대역신호로 확장하기 위한 정보, 상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 음성/음악 통합 신호의 복호화 장치는, 입력된 비트스트림 신호를 분석하는 비트스트림 분석부, 상기 비트스트림 신호가 음악 비트스트림 신호인 경우, 상기 비트스트림 신호를 주파수 영역으로 변환하여 복호화하는 변환 복호화부, 상기 비트스트림 신호가 음성 비트스트림인 경우, 상기 비트스트림 신호를 LPC(Linear Predictive Coding)기반 복호화하는 LPC 복호화부, 상기 비트스트림 신호의 주파수 대역을 합성하는 주파수 대역 합성부 및 상기 비트스트림 신호를 스트레오 신호로 복호화하는 스트레오 복호화부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택함으로써, 다양한 비트율에서 음성 신호 및 음악 신호 모두에 대해 우수한 음질을 제공하는 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 다양한 비트율에서 음성 부호화기와 음악 보호화기를 적절하게 조합함으로써, 다양한 입력 신호에 모두 우수한 음질을 제공하 는 장치 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 1을 참고하면, 음성/음악 통합 신호의 부호화 장치(100)는 입력 신호 분석부(110), 제1 변환 부호화부(120), LPC 부호화부(130), 및 비트스트림 생성부(140)를 포함할 수 있다.
입력 신호 분석부(110)는 입력 신호의 특성을 분석할 수 있다. 이때, 입력 신호 분석부(110)는 상기 입력 신호를 분석하여 음악 특성 신호, 음성 특성 신호 및 작은 에너지 신호 중 하나로 분류할 수 있다.
여기서, 상기 음성 특성 신호는, 하모닉 성분이 강한 음성 신호(Steady-Harmonic State), 하모닉 성분이 약한 음성 신호(Low Steady-Harmonic State) 및 제1 잡음 신호(Steady-Noise State) 중 하나로 분류할 수 있다. 또한, 상기 음악 특성 신호는, 복잡한 하모닉 구조의 음악 신호(Complex-Harmonic State) 및 제2 잡음 신호(Complex-Noisy State) 중 하나로 분류할 수 있다.
상기 입력 신호의 상태는 다음과 더욱 상세하게 분류될 수 있다. 첫번째는, Steady-Harmonic(SH) State로서, 신호의 하모닉(Harmonic) 성분이 분명하며, 안정되게 나타나는 신호구간이 이에 해당할 수 있다. 일예로, 음성의 유성음 구간이 대표적으로 포함될 수 있으며, 싱글 톤(Single-ton)의 정현파 신호들도 본 상태로 분류될 수 있다.
두번째는, Low Steady Harmonic(LSH) State로서, 상기 SH와 유사하나, 하모닉의 주기성이 상대적으로 길고, 낮은 주파수 대역에서 강한 steady 특성을 나타내는 상태가 이에 해당할 수 있다. 특히, 남성 음성의 유성음 구간이 이에 포함될 수 있다.
세번째는, Steady-Noise(SN) State로서, 백색성 잡음이 이에 해당될 수 있으며, 그 예로 음성의 무성음 구간이 기본적으로 포함될 수 있다.
네번째는, Complex-Harmonic(CH) State로서, 여러 톤 성분들이 섞여 복잡한 하모닉 구조를 이루는 신호구간이 이에 해당하며, 일반적인 음악의 연주구간들이 이에 포함될 수 있다.
다섯번째는, Complex-Noisy(CN) State로서, 안정적이지 못한 잡음 성분들이 포함된 신호는 본 상태로 분류될 수 있다. 일예로, 일상의 주변 잡음들, 혹은 음악의 연주구간에서 attack성의 신호등이 이에 해당될 수 있다.
여섯번째는, Silence(Si) State로서, 에너지 세기가 작은 구간이 본 상태로 분류될 수 있다.
입력 신호 분석부(110)의 출력 결과는 제1 변환 부호화부(120) 및 LPC 부호화부(130) 중 하나를 선택할 때 이용하고, LPC 기반의 부호화 시 시간 영역 부호화부(131) 및 제2 변환 부호화부(132)의 동작 중 하나를 선택할 때 이용할 수 있다
제1 변환 부호화부(120)는 입력 신호가 음악 특성 신호인 경우, 입력 신호의 코어 대역을 주파수 영역으로 변환하여 부호화할 수 있다.
LPC 부호화부(130)는 입력 신호가 음성 특성 신호인 경우, 입력 신호의 코어 대역에 대하여 LPC(Linear Predictive Coding)기반 부호화할 수 있다. 여기서, LPC 부호화부(130)는 시간 영역 부호화부(131) 및 제2 변환 부호화부(132)를 포함할 수 있다.
시간 영역 부호화부(131)는 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화할 수 있다.
제2 변환 부호화부(132)는 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화할 수 있다.
비트스트림 생성부(140)는 제1 변환 부호화부(120)의 정보 및 LPC 부호화부(130)의 정보를 이용하여 비트스트림을 생성할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(100)는 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부(미도시)를 더 포함할 수 있다. 상기 스테레오 부호화부는, 상기 입력 신호의 특성에 따라 하나 이상의 파라미터를 선택적으로 적용할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(100)는 상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부(미도시)를 더 포함할 수 있다. 상기 주파수 대역 확장부는, 상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(100)는 인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부(미도시)를 더 포함할 수 있다.
도 2는 본 발명의 다른 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 2를 참고하면, 음성/음악 통합 신호의 부호화 장치(200)는 입력 신호 분석부(210), 제1 변환 부호화부(220), LPC 부호화부(230), 비트스트림 생성부(240), 스테레오 부호화부(250), 및 주파수 대역 확장부(260)를 포함할 수 있다.
입력 신호 분석부(210)는 입력 신호의 특성을 분석할 수 있다.
스테레오 부호화부(250)는 상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출할 수 있다. 즉, 입력 신호가 스테레오인 경우, 스테레오 부호화부(250)는 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상에 대한 정보를 추출할 수 있다. 스테레오 부호화부(250)의 동작은 도 3을 참고하여 이하에서 더욱 상세하게 설명한다.
도 3은 도 2에 도시된 스트레오 부호화부의 일례를 도시한 도면이다.
도 3을 참고하면, 스테레오 부호화부(250)는 기본 처리부(351), 음성신호 처리부(352), 음악신호 처리부(353)를 포함할 수 있다. 여기서, 스테레오 부호화부(250)는 분석된 입력 신호의 특성에 따라 부호화 모듈을 달리할 수 있다. 즉, 입력 신호 분석부(210)에서 분석된 입력 신호의 정보는 스테레오 부호화부(250)에서 활용할 수 있고, 분석된 입력 신호에 따라 스테레오 부호화부(250)에서 사용되 는 파라미터를 조절할 수 있다. 예를 들어, 입력 신호가 Complex state인 경우 음악적 특성이 강한 입력신호이므로, 음악신호 처리부(353)에서는, 스트레오 이미지(stereo image)를 보다 분명하게 재현하기 위하여 스테레오 부호화부(250)에서 사용되는 기본 파라미터를 높은 분해능(high resolution)으로 전송되도록 할 수 있고, 스테레오 음상을 위한 추가적인 정보도 전송할 수 있다. . 일예로, complex state에 대해서, 스테레오 부호화부(250)에서 8-level 양자화기를 사용하는 ICC 파라미터에 대해서 16-level까지 확장하여 전송함으로써 음상의 특성을 향상 시킬 수 있다.
한편, 입력 신호가 steady state의 특성일 경우에는 음성신호 처리부(352)에서 입력 신호를 처리할 수 있다. 또한, 그 밖의 신호는 기본 처리부(351)에서 처리되도록 할 수 있다.
주파수 대역 확장부(260)는 상기 입력 신호를 고주파 대역신호로 확장하기 위한 정보를 생성할 수 있다. 주파수 대역 확장부(260)는, 상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용할 수 있다. 여기서, 주파수 대역 확장부(260)는 도 4를 참고하여 이하에서 더욱 상세하게 설명한다.
도 4는 도 2에 도시된 주파수 대역 확장부의 일례를 도시한 도면이다.
도 4를 참고하면, 주파수 대역 확장부(260)는, 음악신호 처리부(461), SH 처리부(462), LSH 처리부(463)를 포함할 수 있다. 즉, 주파수 대역 확장부(260)에서도 입력 신호 분석부(210)에서 분석한 정보의 활용이 가능하다. 이때, Complex state의 경우 음악신호 처리부(461)에서 기존의 부호화 방법과 동일하게 부호화를 처리할 수 있다.
또한, 음악신호 처리부(461)에서는, 입력 신호가 complex-noise state인 경우 고주파 대역에 많은 정보가 있는 상태이므로, 상대적으로 많은 비트를 할당하여 처리할 수 있다. 반면, 입력신호가 speech인 경우는, 고주파 대역의 신호가 무성음 잡음성인 경우가 대부분이다. 따라서, steady state의 경우 주파수 대역 확장부(260)의 동작을 complex state와는 다르게 적용할 수 있다. 즉, 백색성 잡음을 잘 표현하기 위한 주파수 대역 확장 규격의 적용이 필요하다. 특히, 남성과 여성의 음성은 하모닉 성분이 뚜렷이 구분되므로, 남성의 음성이 여성의 음성에 비하여 고주파 대역 정보가 상대적으로 덜 민감하다. 따라서 SH 처리부(462)에서는 남성 음성에 대해서는 백색성 잡음 부호화를 약하게 할 뿐만 아니라, 과도하게 고주파 영역의 부호화 예측되지 않도록 설정할 수 있다. 반면, LSH 처리부(463)에서는 여성의 음성 특성에 맞도록 부호화를 처리할 수 있다.
제1 변환 부호화부(220)는 상기 입력 신호가 음악 특성 신호인 경우, 상기 고주파 대역신호를 주파수 영역으로 변환하여 부호화할 수 있다. 여기서, 제1 변환 부호화부(220)는 입력 신호가 음악 특성(complex state)을 가지는 신호인 경우, 주파수 대역 확장을 하지 않는 코어 대역에 대해 부호화를 수행할 수 있다. 일예로, 제1 변환 부호화부(220)는 MDCT기반의 부호화 방식을 이용할 수 있다.
LPC 부호화부(230)는 상기 입력 신호가 음성 특성 신호인 경우, 상기 고주파 대역신호를 LPC(Linear Predictive Coding)기반 부호화할 수 있다. 여기서, LPC 부호화부(230)는 입력 신호가 음성 특성(steady state)을 가지는 신호인 경우, 주파수 대역 확장을 하지 않는 코어 대역에 대해 LPC 기반의 부호화를 수행할 수 있다. 한편, LPC 부호화부(230)는 시간 영역 부호화부(231) 및 제2 변환 부호화부(232)를 포함할 수 있다.
시간 영역 부호화부(231)는 상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화할 수 있다. 즉, 시간 영역 부호화부(231)는 하모닉 성분의 강/약에 따라(ex. steady state의 결과에 따라) LPC를 거친 신호에 대해 CELP와 같은 시간 영역 부호화를 수행할 수 있다.
제2 변환 부호화부(232)는 상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화할 수 있다. 즉, 제2 변환 부호화부(232)는 하모닉 성분의 강/약에 따라 FFT와 같은 주파수 영역으로 변환하는 방법을 사용하여 주파수 영역에서 부호화를 수행할 수 있다. 여기서, 제2 변환 부호화부(232)는 입력 신호의 특성에 따라 분해능(resolution)을 다양하게 구성할 수 있다.
비트스트림 생성부(240)는 상기 스트레오 음상 정보, 상기 고주파 대역신호로 확장하기 위한 정보, 상기 제1 변환 부호화부의 정보 및 LPC 부호화부의 정보를 이용하여 비트스트림을 생성할 수 있다.
또한, 음성/음악 통합 신호의 부호화 장치(200)는 인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부(270)를 더 포함할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 복호화 장치 를 도시한 도면이다.
도 5를 참고하면, 음성/음악 통합 신호의 복호화 장치(500)는 비트스트림 분석부(510), 제1 변환 복호화부(500), LPC 복호화부(530), 주파수 대역 합성부(540), 및 스트레오 복호화부(550)를 포함할 수 있다.
비트스트림 분석부(510)는 입력된 비트스트림 신호를 분석할 수 있다.
제1 변환 복호화부(500)는 상기 비트스트림 신호가 음악 비트스트림 신호인 경우, 상기 비트스트림 신호를 주파수 영역으로 변환하여 복호화할 수 있다.
LPC 복호화부(530)는 상기 비트스트림 신호가 음성 비트스트림인 경우, 상기 비트스트림 신호를 LPC(Linear Predictive Coding)기반 복호화할 수 있다. 여기서, LPC 복호화부(530)는 입력된 비트스트림의 특성에 따라 시간 영역에서 복호화하기 위한 시간 영역 복호화부(531) 및 주파수 영역에서 복호화하기 위한 제2 변환 복호화부(532)를 포함할 수 있다.
주파수 대역 합성부(540)는 상기 비트스트림 신호의 주파수 대역을 합성할 수 있다.
스트레오 복호화부(550)는 상기 비트스트림 신호를 스트레오 신호로 복호화할 수 있다.
즉, 음성/음악 통합 신호의 복호화 장치(500)는 음성/음악 통합 신호의 부호화 장치(100, 200)의 동작을 역으로 수행할 수 있다.
상기와 같이, 입력 신호의 특성에 따라 내부 모듈을 효과적으로 선택함으로써, 다양한 비트율에서 음성 신호 및 음악 신호 모두에 대해 우수한 음질을 제공할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 2는 본 발명의 다른 일실시예에 있어서, 음성/음악 통합 신호의 부호화 장치를 도시한 도면이다.
도 3은 도 2에 도시된 스트레오 부호화부의 일례를 도시한 도면이다.
도 4는 도 2에 도시된 주파수 대역 확장부의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 음성/음악 통합 신호의 복호화 장치를 도시한 도면이다.

Claims (15)

  1. 입력 신호의 특성을 분석하는 입력 신호 분석부;
    상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부;
    상기 입력 신호가 음악 특성 신호인 경우, 주파수 대역 확장이 되지 않은 상기 입력 신호의 코어 대역에 대해 주파수 영역으로 변환하여 MDCT 기반 부호화하는 제1 변환 부호화부;
    상기 입력 신호가 음성 특성 신호인 경우, 주파수 대역 확장이 되지 않은 상기 입력 신호의 코어 대역에 대해 LPC(Linear Predictive Coding)기반 부호화하는 LPC 부호화부; 및
    상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부
    를 포함하고,
    상기 주파수 대역 확장부의 출력 결과는, 입력 신호의 특성에 따라 선택된 상기 제1 변환 부호화부 및 LPC 부호화부 중 어느 하나로 입력되는 음성/음악 통합 신호의 부호화 장치.
  2. 제1항에 있어서,
    상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부
    를 더 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  3. 제2항에 있어서,
    상기 스테레오 부호화부는,
    상기 입력 신호의 특성에 따라 스테레오 부호화를 위한 파라미터 값을 제어하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 주파수 대역 확장부는,
    상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  6. 제1항에 있어서,
    인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부
    를 더 포함하는 음성/음악 통합 신호의 부호화 장치.
  7. 제1항에 있어서,
    상기 LPC 부호화부는,
    상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화하는 시간 영역 부호화부; 및
    상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화하는 제2 변환 부호화부;
    를 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  8. 제1항에 있어서,
    상기 입력 신호 분석부는,
    상기 입력 신호를 상기 음악 특성 신호, 상기 음성 특성 신호 및 작은 에너지 신호 중 하나로 분류하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  9. 제8항에 있어서,
    상기 음성 특성 신호는,
    하모닉 성분이 강한 음성 신호(Steady-Harmonic State), 하모닉 성분이 약한 음성 신호(Low Steady-Harmonic State) 및 제1 잡음 신호(Steady-Noise State) 중 하나로 분류하고,
    상기 음악 특성 신호는,
    복잡한 하모닉 구조의 음악 신호(Complex-Harmonic State) 및 제2 잡음 신호(Complex-Noisy State) 중 하나로 분류하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  10. 입력 신호의 특성을 분석하는 입력 신호 분석부;
    상기 입력 신호를 모노 신호로 다운믹스하고, 스테레오 음상 정보를 추출하는 스테레오 부호화부;
    상기 입력 신호를 고주파 대역신호로 확장하는 주파수 대역 확장부;
    상기 입력 신호가 음악 특성 신호인 경우, 주파수 대역 확장이 되지 않은 상기 입력 신호의 코어 대역에 대해 주파수 영역으로 변환하여 MDCT 기반 부호화하는 제1 변환 부호화부;
    상기 입력 신호가 음성 특성 신호인 경우, 주파수 대역 확장이 되지 않은 상기 입력 신호의 코어 대역에 대해 LPC(Linear Predictive Coding)기반 부호화하는 LPC 부호화부; 및
    상기 스테레오 음상 정보, 상기 고주파 대역신호로 확장하기 위한 정보, 상기 제1 변환 부호화부의 출력 신호 및 상기 LPC 부호화부의 출력 신호를 이용하여 비트스트림을 생성하는 비트스트림 생성부
    를 포함하고,
    상기 주파수 대역 확장부의 출력 결과는, 입력 신호의 특성에 따라 선택된 상기 제1 변환 부호화부 및 LPC 부호화부 중 어느 하나로 입력되는 음성/음악 통합 신호의 부호화 장치.
  11. 제10항에 있어서,
    인간의 청각 특성을 이용하여 상기 제1 변환 부호화부를 제어하는 심리 음향부
    를 더 포함하는 음성/음악 통합 신호의 부호화 장치.
  12. 제10항에 있어서,
    상기 스테레오 부호화부는,
    상기 입력 신호의 특성에 따라 스테레오 부호화를 위한 파라미터 값을 제어하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  13. 제10항에 있어서,
    상기 주파수 대역 확장부는,
    상기 입력 신호의 특성에 따라 하나 이상의 SBR(Spectral Band Replication) 규격을 선택적으로 적용하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  14. 제10항에 있어서,
    상기 LPC 부호화부는,
    상기 입력 신호가 음성 특성 신호인 경우, 상기 입력 신호를 시간 영역 부호화하는 시간 영역 부호화부; 및
    상기 입력 신호가 음악 특성 신호인 경우, 상기 입력 신호를 FFT(Fast Fourier Transform) 기반 부호화하는 제2 변환 부호화부
    를 포함하는 것을 특징으로 하는 음성/음악 통합 신호의 부호화 장치.
  15. 입력된 비트스트림에 포함된 입력 신호를 분석하는 비트스트림 분석부;
    상기 입력 신호가 음악 특성 신호인 경우, 주파수 대역 확장이 되지 않은 상기 입력 신호의 코어 대역에 대해 주파수 영역으로 변환하여 MDCT 기반 복호화하는 변환 복호화부;
    상기 입력 신호가 음성 특성 신호인 경우, 주파수 대역 확장이 되지 않은 상기 입력 신호의 코어 대역에 대해 LPC(Linear Predictive Coding)기반 복호화하는 LPC 복호화부;
    상기 복호화된 입력 신호의 주파수 대역을 합성하는 주파수 대역 합성부; 및
    상기 주파수 대역이 합성된 입력 신호를 스테레오 신호로 복호화하는 스테레오 복호화부
    를 포함하고,
    상기 비트스트림 분석부의 출력 결과는, 상기 입력 신호의 특성에 따라 선택된 변환 복호화부 및 LPC 복호화부 중 어느 하나로 입력되는 음성/음악 통합 신호의 복호화 장치.
KR1020090062070A 2008-07-14 2009-07-08 음성/음악 통합 신호의 부호화/복호화 장치 KR101261677B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
EP17173025.2A EP3249373A1 (en) 2008-07-14 2009-07-14 Apparatus and method for encoding and decoding of integrated speech and audio
CN201410479883.9A CN104299618B (zh) 2008-07-14 2009-07-14 统合地编码语音信号和音频信号的编码方法和解码方法
PCT/KR2009/003861 WO2010008179A1 (ko) 2008-07-14 2009-07-14 음성/음악 통합 신호의 부호화/복호화 방법 및 장치
CN200980135842.5A CN102150024B (zh) 2008-07-14 2009-07-14 编码和解码统合的语音与音频信号的设备与方法
EP09798082.5A EP2302345B1 (en) 2008-07-14 2009-07-14 Apparatus for encoding and decoding of integrated speech and audio
US13/054,376 US8990072B2 (en) 2008-07-14 2009-07-14 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander to output the audio or speech to a frequency domain encoder or an LPC encoder
US14/605,006 US9711159B2 (en) 2008-07-14 2015-01-26 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication to output the audio or speech to a frequency domain encoder or an LPC encoder
US15/618,689 US10121482B2 (en) 2008-07-14 2017-06-09 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication (SBR) to output the SBR to either time or transform domain encoding according to the input signal characteristic
US16/179,120 US10777212B2 (en) 2008-07-14 2018-11-02 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication (SBR) to output the SBR to either time or transform domain encoding according to the input signal characteristic
US17/018,295 US11456002B2 (en) 2008-07-14 2020-09-11 Apparatus and method for encoding and decoding of integrated speech and audio utilizing a band expander with a spectral band replication (SBR) to output the SBR to either time or transform domain encoding according to the input signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020080068369 2008-07-14
KR20080068369 2008-07-14
KR1020080071218 2008-07-22
KR20080071218 2008-07-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120076634A Division KR101565633B1 (ko) 2008-07-14 2012-07-13 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100007749A KR20100007749A (ko) 2010-01-22
KR101261677B1 true KR101261677B1 (ko) 2013-05-06

Family

ID=41816656

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020090062070A KR101261677B1 (ko) 2008-07-14 2009-07-08 음성/음악 통합 신호의 부호화/복호화 장치
KR1020120076634A KR101565633B1 (ko) 2008-07-14 2012-07-13 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020120076634A KR101565633B1 (ko) 2008-07-14 2012-07-13 음성/음악 통합 신호의 부호화/복호화 방법 및 장치

Country Status (5)

Country Link
US (5) US8990072B2 (ko)
EP (2) EP2302345B1 (ko)
KR (2) KR101261677B1 (ko)
CN (2) CN102150024B (ko)
WO (1) WO2010008179A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261677B1 (ko) 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
US20120095729A1 (en) * 2010-10-14 2012-04-19 Electronics And Telecommunications Research Institute Known information compression apparatus and method for separating sound source
CN103035248B (zh) * 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
US9111531B2 (en) * 2012-01-13 2015-08-18 Qualcomm Incorporated Multiple coding mode signal classification
BR112015025092B1 (pt) 2013-04-05 2022-01-11 Dolby International Ab Sistema de processamento de áudio e método para processar um fluxo de bits de áudio
CN103413553B (zh) * 2013-08-20 2016-03-09 腾讯科技（深圳）有限公司 音频编码方法、音频解码方法、编码端、解码端和系统
CN110992965A (zh) 2014-02-24 2020-04-10 三星电子株式会社 信号分类方法和装置以及使用其的音频编码方法和装置
LT3511935T (lt) 2014-04-17 2021-01-11 Voiceage Evs Llc Būdas, įrenginys ir kompiuteriu nuskaitoma neperkeliama atmintis garso signalų tiesinės prognozės kodavimui ir dekodavimui po perėjimo tarp kadrų su skirtingais mėginių ėmimo greičiais
CN110970041B (zh) 2014-07-01 2023-10-20 韩国电子通信研究院 处理多信道音频信号的方法和装置
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
KR102398124B1 (ko) 2015-08-11 2022-05-17 삼성전자주식회사 음향 데이터의 적응적 처리
KR20220009563A (ko) 2020-07-16 2022-01-25 한국전자통신연구원 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기
KR20220158395A (ko) 2021-05-24 2022-12-01 한국전자통신연구원 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175098A (ja) * 1997-12-12 1999-07-02 Nec Corp 音声及び音楽符号化方式
US6134518A (en) 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
WO2007083934A1 (en) * 2006-01-18 2007-07-26 Lg Electronics Inc. Apparatus and method for encoding and decoding signal
US20080077412A1 (en) 2006-09-22 2008-03-27 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE504010C2 (sv) * 1995-02-08 1996-10-14 Ericsson Telefon Ab L M Förfarande och anordning för prediktiv kodning av tal- och datasignaler
ATE302991T1 (de) * 1998-01-22 2005-09-15 Deutsche Telekom Ag Verfahren zur signalgesteuerten schaltung zwischen verschiedenen audiokodierungssystemen
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US7555434B2 (en) * 2002-07-19 2009-06-30 Nec Corporation Audio decoding device, decoding method, and program
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
JP4871501B2 (ja) * 2004-11-04 2012-02-08 パナソニック株式会社 ベクトル変換装置及びベクトル変換方法
DE102005032724B4 (de) * 2005-07-13 2009-10-08 Siemens Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
KR100647336B1 (ko) * 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
KR20070077652A (ko) * 2006-01-24 2007-07-27 삼성전자주식회사 적응적 시간/주파수 기반 부호화 모드 결정 장치 및 이를위한 부호화 모드 결정 방법
KR101393298B1 (ko) 2006-07-08 2014-05-12 삼성전자주식회사 적응적 부호화/복호화 방법 및 장치
US20080114608A1 (en) * 2006-11-13 2008-05-15 Rene Bastien System and method for rating performance
KR101434198B1 (ko) 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
JP5377974B2 (ja) * 2006-11-30 2013-12-25 パナソニック株式会社 信号処理装置
KR100964402B1 (ko) * 2006-12-14 2010-06-17 삼성전자주식회사 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
KR101411901B1 (ko) * 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
KR101261677B1 (ko) * 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
CN105264599B (zh) * 2013-01-29 2019-05-10 弗劳恩霍夫应用研究促进协会 音频编码器、音频解码器、提供编码音频信息的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134518A (en) 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
JPH11175098A (ja) * 1997-12-12 1999-07-02 Nec Corp 音声及び音楽符号化方式
WO2007083934A1 (en) * 2006-01-18 2007-07-26 Lg Electronics Inc. Apparatus and method for encoding and decoding signal
US20080077412A1 (en) 2006-09-22 2008-03-27 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding

Also Published As

Publication number Publication date
CN104299618A (zh) 2015-01-21
EP2302345A4 (en) 2012-10-24
US10777212B2 (en) 2020-09-15
US9711159B2 (en) 2017-07-18
KR20100007749A (ko) 2010-01-22
US20170345435A1 (en) 2017-11-30
CN104299618B (zh) 2019-07-12
US20190074022A1 (en) 2019-03-07
EP2302345B1 (en) 2017-06-21
US8990072B2 (en) 2015-03-24
CN102150024B (zh) 2014-10-22
EP2302345A1 (en) 2011-03-30
US20200411022A1 (en) 2020-12-31
KR101565633B1 (ko) 2015-11-13
KR20120089221A (ko) 2012-08-09
WO2010008179A1 (ko) 2010-01-21
EP3249373A1 (en) 2017-11-29
US11456002B2 (en) 2022-09-27
US20150154974A1 (en) 2015-06-04
CN102150024A (zh) 2011-08-10
US20110112829A1 (en) 2011-05-12
US10121482B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
KR101261677B1 (ko) 음성/음악 통합 신호의 부호화/복호화 장치
US11705137B2 (en) Apparatus for encoding and decoding of integrated speech and audio
KR101785885B1 (ko) 적응적 대역폭 확장 및 그것을 위한 장치
US9489962B2 (en) Sound signal hybrid encoder, sound signal hybrid decoder, sound signal encoding method, and sound signal decoding method
MX2011000362A (es) Esquema de codificacion/decodificacion de audio a baja velocidad binaria y conmutadores en cascada.
Kim et al. Spatial audio object coding with two-step coding structure for interactive audio service
Lu et al. Dual-mode switching used for unified speech and audio codec
Tai et al. MPEG-4 parametric audio coding and its implementation

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 7