KR20150069919A - 오디오 신호의 부호화, 복호화 방법 및 장치 - Google Patents
오디오 신호의 부호화, 복호화 방법 및 장치 Download PDFInfo
- Publication number
- KR20150069919A KR20150069919A KR1020130156643A KR20130156643A KR20150069919A KR 20150069919 A KR20150069919 A KR 20150069919A KR 1020130156643 A KR1020130156643 A KR 1020130156643A KR 20130156643 A KR20130156643 A KR 20130156643A KR 20150069919 A KR20150069919 A KR 20150069919A
- Authority
- KR
- South Korea
- Prior art keywords
- pitch
- audio signal
- information
- filtering
- filter
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 300
- 238000000034 method Methods 0.000 title claims abstract description 125
- 238000001914 filtration Methods 0.000 claims abstract description 157
- 238000011045 prefiltration Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 24
- 230000003111 delayed effect Effects 0.000 claims description 17
- 230000001131 transforming effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000011295 pitch Substances 0.000 description 335
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 14
- 230000000873 masking effect Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
오디오 신호의 부호화 및 복호화 시 발생되는 에러를 감소시킴으로써, 복원된 오디오 신호의 음질을 높일 수 있는 오디오 신호의 부호화 방법 및 장치, 및 복호화 방법 및 장치를 제공한다.
본 발명의 제 1 실시예에 따르면, 오디오 신호로부터 피치를 검출하는 단계; 검출된 피치를 고려하여 필터 계수를 결정하는 단계; 결정된 필터 계수에 기초하여 오디오 신호에 대하여 제 2 필터링을 수행하는 단계; 제 2 필터링된 오디오 신호를 부호화하는 단계를 포함하는 오디오 부호화 방법이 제공된다.
본 발명의 제 1 실시예에 따르면, 오디오 신호로부터 피치를 검출하는 단계; 검출된 피치를 고려하여 필터 계수를 결정하는 단계; 결정된 필터 계수에 기초하여 오디오 신호에 대하여 제 2 필터링을 수행하는 단계; 제 2 필터링된 오디오 신호를 부호화하는 단계를 포함하는 오디오 부호화 방법이 제공된다.
Description
본 발명은 오디오 신호를 부호화 또는 복호화하는 방법 및 장치에 관한 것으로서, 보다 상세하게는, 피치 필터를 이용하여 오디오 신호를 부호화 또는 복호화하는 방법 및 장치에 관한 것이다.
오디오 신호를 부호화 하는데 있어서, 짧은 지연 시간 (latency time) 을 확보하기 위해서는 부호화의 기본 단위인 프레임의 길이가 짧아야 하고, 높은 음질을 확보하기 위해서는 충분한 주파수 분해능이 필요하기 때문에 프레임의 길이가 길어야 한다. 따라서 짧은 지연 시간과 높은 음질은 동시에 만족시키기 어렵다.
일반적인 오디오 부호화 시스템에 있어서, 사용하고자 하는 어플리케이션 (application) 에 따라서 프레임의 길이를 줄임으로써 지연율을 감소시키고 음질의 열화를 감수하는 방법이 이용될 수 있다. 또는, 완벽한 복원 (Perfect reconstruction) 을 포기하는 특별한 형태의 윈도우 (window) 함수를 사용하는 방법이 이용될 수 있다. 특히 짧은 지연시간이 요구되는 어플리케이션의 경우 짧은 프레임의 길이로 인해서 주파수 분해능이 저하되고 음질 열화가 발생하게 된다.
피치 필터 (pitch filter) 는, 짧은 지연시간을 위해 짧은 윈도우를 이용하는 오디오 부호화 시스템에 있어서, 주기적인 음악 및 음성 신호에 대해서 두드러지게 발생되는 부호화 왜곡 (coding distortion) 을 감소시키기 위해 사용될 수 있다.
본 발명의 일 실시예는, 오디오 신호의 부호화 및 복호화 시 발생되는 에러를 감소시킴으로써, 복원된 오디오 신호의 음질을 높일 수 있는 오디오 신호의 부호화 방법 및 장치, 및 복호화 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 오디오 부호화 방법은, 오디오 신호로부터 피치를 검출하는 단계; 상기 검출된 피치를 고려하여 필터 계수를 결정하는 단계; 상기 결정된 필터 계수에 기초하여 상기 오디오 신호에 대하여 제 2 필터링을 수행하는 단계; 상기 제 2 필터링된 오디오 신호를 부호화하는 단계를 포함한다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 오디오 신호를 제 1 필터링하는 단계를 더 포함하며, 상기 피치를 검출하는 단계는, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 제 1 필터링하는 단계는, 상기 오디오 신호에 포함되는 소정 대역 내의 주파수 성분들의 크기를 다른 주파수 성분들의 크기보다 증가시키거나, 상기 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들을 필터링하는 프리-엠퍼시스 (pre-emphasis) 를 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 피치를 검출하는 단계는, 상기 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는, 상기 피치에 관한 정보를 상기 오디오 신호로부터 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 제 2 필터링하는 단계는, 상기 오디오 신호에 대하여 콤브 필터링 (comb filtering) 을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 피치를 검출하는 단계는, 상기 오디오 신호로부터 상기 피치에 관한 정보를 획득하는 단계를 포함하고, 상기 부호화하는 단계는, 상기 제 2 필터링된 오디오 신호 및 상기 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하는 단계를 포함하고, 상기 피치에 관한 정보는, 상기 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 비트스트림을 생성하여 출력하는 단계는, 상기 피치에 관한 정보를 상기 비트스트림의 보조 영역 (auxiliary area) 내에 포함하는 상기 비트스트림을 생성하여 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 피치를 검출하는 단계는, 프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하는 단계를 포함하고, 상기 부호화하는 단계는, 상기 피치에 관한 정보를 1 프레임 지연하는 단계; 및 상기 제 2 필터링된 오디오 신호 및 상기 지연된 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하는 단계를 포함하고, 상기 피치에 관한 정보는, 상기 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 복호화 방법은, 부호화된 신호를 수신하는 단계; 상기 수신된 신호를 복호화하는 단계; 및 상기 복호화된 신호를 필터링하는 단계를 포함하고, 상기 부호화된 신호는, 오디오 신호로부터 피치를 검출하고, 상기 검출된 피치를 고려하여 상기 오디오 신호를 제 2 필터링하고, 상기 제 2 필터링된 오디오 신호를 부호화함으로써 생성되고, 상기 복호화된 신호를 필터링하는 단계는, 상기 제 2 필터링의 역필터링을 수행하는 단계를 포함한다.
본 발명의 일 실시예에 따른 오디오 복호화 방법에 있어서, 상기 부호화된 신호는, 상기 오디오 신호를 제 1 필터링하고, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출함으로써 생성되는 것일 수 있다.
본 발명의 일 실시예에 따른 오디오 복호화 방법에 있어서, 상기 부호화된 신호를 수신하는 단계는, 상기 제 1 필터링된 오디오 신호로부터 획득된 피치에 관한 정보를 더 포함하는 상기 부호화된 신호를 수신하는 단계를 포함하고, 상기 복호화된 신호를 필터링하는 단계는, 상기 부호화된 신호로부터 상기 피치에 관한 정보를 추출하는 단계; 및 상기 피치에 관한 정보에 기초하여, 상기 복호화된 신호를 필터링하기 위한 필터 계수를 결정하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 부호화 장치는, 오디오 신호로부터 피치를 검출하는 피치 검출부; 상기 검출된 피치를 고려하여 필터 계수를 결정하고, 상기 결정된 필터 계수에 기초하여 상기 오디오 신호에 대하여 제 2 필터링을 수행하는 제 2 필터; 상기 제 2 필터링된 오디오 신호를 부호화하는 부호화부를 포함한다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 오디오 신호를 제 1 필터링하는 제 1 필터를 더 포함하며, 상기 피치 검출부는, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 제 1 필터는, 상기 오디오 신호 에 포함되는 소정 대역 내의 주파수 성분들의 크기를 다른 주파수 성분들의 크기보다 증가시키거나, 상기 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들을 필터링하는 프리-엠퍼시스 (pre-emphasis) 를 수행할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 피치 검출부는, 상기 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는, 상기 피치에 관한 정보를 상기 오디오 신호로부터 획득할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 제 2 필터는, 상기 오디오 신호에 대하여 콤브 필터링을 수행하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 피치 검출부는, 상기 오디오 신호로부터 상기 피치에 관한 정보를 획득하고, 상기 부호화부는, 상기 제 2 필터링된 오디오 신호 및 상기 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하고, 상기 피치에 관한 정보는, 상기 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 부호화부는, 상기 피치에 관한 정보를 상기 비트스트림의 보조 영역 내에 포함하는 상기 비트스트림을 생성하여 출력할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 피치 검출부는, 프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하고, 상기 부호화부는, 상기 피치에 관한 정보를 1 프레임 지연하고, 상기 제 2 필터링된 오디오 신호 및 상기 지연된 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하고, 상기 피치에 관한 정보는, 상기 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 복호화 장치는, 부호화된 신호를 수신하고 상기 수신된 신호를 복호화하는 복호화부; 및 상기 복호화된 신호를 필터링하는 필터를 포함하고, 상기 부호화된 신호는, 오디오 신호로부터 피치를 검출하고, 상기 검출된 피치를 고려하여 상기 오디오 신호를 제 2 필터링하고, 상기 제 2 필터링된 오디오 신호를 부호화함으로써 생성되고, 상기 필터는, 상기 제 2 필터링의 역필터링을 수행한다.
본 발명의 일 실시예에 따른 오디오 복호화 장치에 있어서, 상기 부호화된 신호는, 상기 오디오 신호를 제 1 필터링하고, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출함으로써 생성될 수 있다.
본 발명의 일 실시예에 따른 오디오 복호화 장치에 있어서, 상기 복호화부는, 상기 제 1 필터링된 오디오 신호로부터 획득된 피치에 관한 정보를 더 포함하는 상기 부호화된 신호를 수신하는 단계를 포함하고, 상기 필터는, 상기 부호화된 신호로부터 상기 피치에 관한 정보를 추출하고, 상기 피치에 관한 정보에 기초하여, 상기 복호화된 신호를 필터링하기 위한 필터 계수를 결정할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 부호화 방법은, 오디오 신호로부터 획득된 피치에 관한 정보를 이용하여, 상기 오디오 신호를 프리-필터링하는 단계; 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여 상기 프리-필터링된 오디오 신호에 대하여 윈도윙을 수행하는 단계; 상기 오버랩 구간을 고려하여 상기 윈도윙이 수행된 오디오 신호 및 상기 피치에 관한 정보를 부호화함으로써, 비트스트림을 생성하여 출력하는 단계를 포함한다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 비트스트림을 생성하여 출력하는 단계는, 상기 오버랩 구간을 고려하여, 부호화 지연을 결정하는 단계; 및 상기 결정된 부호화 지연에 따라, 상기 피치에 관한 정보를 지연시켜 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 프리-필터링하는 단계는, 프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하는 단계를 포함하고, 상기 오버랩 구간의 길이는 상기 윈도우의 50% 이상이고, 상기 비트스트림을 생성하여 출력하는 단계는, 상기 오버랩 구간을 고려하여, 상기 피치에 관한 정보를 1 프레임 지연 시켜 출력하는 단계를 포함할 수 있다.하는 것을 특징으로 하는 오디오 부호화 방법.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 비트스트림을 생성하여 출력하는 단계는, 상기 피치에 관한 정보가 상기 비트스트림의 보조 영역에 포함되도록 상기 비트스트림을 생성하여 출력하는 단계를 포함하고, 상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그를 포함하고, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 더 포함하고, 상기 비트스트림을 생성하여 출력하는 단계는, 상기 플래그를 상기 비트스트림의 헤더 내에 포함하고, 상기 피치 주기, 상기 피치 게인, 및 상기 피치 탭 중 적어도 하나를 상기 비트스트림의 보조 영역 내에 포함하는 상기 비트스트림을 생성하여 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 방법에 있어서, 상기 프리-필터링하는 단계는, 상기 오디오 신호를 제 1 필터링하는 단계; 상기 제 1 필터링된 오디오 신호로부터 상기 피치에 관한 정보를 획득하는 단계; 상기 피치에 관한 정보를 고려하여 필터 계수를 결정하는 단계; 및 상기 결정된 필터 계수를 이용하여 상기 오디오 신호에 대하여 제 2 필터링을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 복호화 방법은, 수신된 비트스트림으로부터 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득하는 단계; 상기 주파수 변환된 오디오 신호를 역변환하는 단계; 소정의 오버랩 (overlap) 구간을 갖도록 설계되는 윈도우를 이용하여, 상기 역변환된 오디오 신호에 대하여 윈도윙을 수행하는 단계; 및 상기 피치에 관한 정보를 이용하여, 상기 윈도윙이 수행된 오디오 신호를 포스트-필터링하는 단계를 포함하고, 상기 포스트-필터링은 부호화 과정에서 수행된 프리-필터링에 대응되고, 상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 상기 비트 스트림에 포함되도록 부호화된 것을 특징으로 한다.
본 발명의 일 실시예에 따른 오디오 복호화 방법에 있어서, 상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 결정된 부호화 지연에 따라 지연되어 출력된 것일 수 있다.
본 발명의 일 실시예에 따른 오디오 복호화 방법에 있어서, 상기 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득하는 단계는, 상기 수신된 비트스트림의 보조 영역 내에 포함된 상기 피치에 관한 정보를 획득하는 단계를 포함하고, 상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 부호화 장치는, 오디오 신호로부터 획득된 피치에 관한 정보를 이용하여, 상기 오디오 신호를 프리-필터링하는 프리-필터; 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여 상기 피치 필터링된 오디오 신호에 대하여 윈도윙을 수행하고, 상기 오버랩 구간을 고려하여 상기 윈도윙이 수행된 오디오 신호 및 상기 피치에 관한 정보를 부호화함으로써, 비트스트림을 생성하여 출력하는 부호화부를 포함한다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 부호화부는, 상기 오버랩 구간을 고려하여, 부호화 지연을 결정하고, 상기 결정된 부호화 지연에 따라, 상기 피치에 관한 정보를 지연시켜 출력할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 프리-필터는, 프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하고, 상기 오버랩 구간의 길이는 상기 윈도우의 50% 이상이고, 상기 부호화부는, 상기 오버랩 구간을 고려하여, 상기 피치에 관한 정보를 1 프레임 지연 시켜 출력할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 부호화부는, 상기 피치에 관한 정보가 상기 비트스트림의 보조 영역에 포함되도록 상기 비트스트림을 생성하여 출력하고, 상기 피치에 관한 정보는, 상기 프리-필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 피치에 관한 정보는, 상기 프리-필터의 적용 여부를 나타내는 플래그를 포함하고, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 더 포함하고, 상기 부호화부는, 상기 플래그를 상기 비트스트림의 헤더 내에 포함하고, 상기 피치 주기, 상기 피치 게인, 및 상기 피치 탭 중 적어도 하나를 상기 비트스트림의 보조 영역 내에 포함하는 상기 비트스트림을 생성하여 출력할 수 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치에 있어서, 상기 프리-필터는, 상기 오디오 신호를 제 1 필터링하고, 상기 제 1 필터링된 오디오 신호로부터 상기 피치에 관한 정보를 획득하고, 상기 피치에 관한 정보를 고려하여 필터 계수를 결정하고, 상기 결정된 필터 계수를 이용하여 상기 오디오 신호에 대하여 제 2 필터링을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 오디오 복호화 장치는, 수신된 비트스트림으로부터 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득하고, 상기 주파수 변환된 오디오 신호를 역변환하고, 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여, 상기 역변환된 오디오 신호에 대하여 윈도윙을 수행하는, 복호화부; 및 상기 피치에 관한 정보를 이용하여, 상기 윈도윙이 수행된 오디오 신호를 포스트-필터링하는 포스트-필터를 포함하고, 상기 포스트-필터는 부호화 과정에서 수행된 프리-필터링에 대응되는 상기 포스트-필터링을 수행하고, 상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 상기 비트 스트림에 포함되도록 부호화된 것을 특징으로 한다.
본 발명의 일 실시예에 따른 오디오 복호화 장치에 있어서, 상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 결정된 부호화 지연에 따라 지연되어 출력된 것일 수 있다.
본 발명의 일 실시예에 따른 오디오 복호화 장치에 있어서, 상기 복호화부는, 상기 수신된 비트스트림의 보조 영역 내에 포함된 상기 피치에 관한 정보를 획득하고, 상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 컴퓨터로 판독가능한 기록매체는, 상술한 방법을 실행하기 위한 프로그램을 기록할 수 있다.
도 1 은 일반적인 오디오 코덱 시스템의 블록도이다.
도 2 는 피치 프리-필터링을 수행하는 일반적인 오디오 부호화 장치의 블록도이다.
도 3 은 피치 포스트-필터링을 수행하는 일반적인 오디오 복호화 장치의 블록도이다.
도 4a 및 도 4b 는 본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치의 블록도이다.
도 5 는 본 발명의 일 실시예에 따른 오디오 복호화 장치의 블록도이다.
도 6 은 본 발명의 일 실시예의 다른 예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 7 은 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 8 은 일반적인 오디오 코덱 시스템에서 발생하는 지연을 설명하기 위한 도면이다.
도 9 는 본 발명의 일 실시예에 따른 오디오 부호화 장치의 블록도이다.
도 10 은 본 발명의 일 실시예에 따른 오디오 복호화 장치의 블록도이다.
도 11 은 본 발명의 일 실시예에 따른 오디오 코덱 시스템에서, 프레임의 복호화 시점을 고려하여 피치에 관한 정보를 전송하는 방법을 설명하기 위한 도면이다.
도 12 는 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 13 은 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 14 는 본 발명의 일 실시예에 따라 피치에 관한 정보를 전송하는 비트스트림의 구조를 설명하기 위한 도면이다.
도 15 는 AC-3 코덱 및 E-AC3 코덱에서 이용되는 비트스트림의 구조를 설명하기 위한 도면이다.
도 16 은 심리 음향 모델을 이용하는 본 발명의 일 실시예에 따른 오디오 부호화 장치의 블록도를 도시한다.
도 2 는 피치 프리-필터링을 수행하는 일반적인 오디오 부호화 장치의 블록도이다.
도 3 은 피치 포스트-필터링을 수행하는 일반적인 오디오 복호화 장치의 블록도이다.
도 4a 및 도 4b 는 본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치의 블록도이다.
도 5 는 본 발명의 일 실시예에 따른 오디오 복호화 장치의 블록도이다.
도 6 은 본 발명의 일 실시예의 다른 예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 7 은 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 8 은 일반적인 오디오 코덱 시스템에서 발생하는 지연을 설명하기 위한 도면이다.
도 9 는 본 발명의 일 실시예에 따른 오디오 부호화 장치의 블록도이다.
도 10 은 본 발명의 일 실시예에 따른 오디오 복호화 장치의 블록도이다.
도 11 은 본 발명의 일 실시예에 따른 오디오 코덱 시스템에서, 프레임의 복호화 시점을 고려하여 피치에 관한 정보를 전송하는 방법을 설명하기 위한 도면이다.
도 12 는 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 13 은 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 14 는 본 발명의 일 실시예에 따라 피치에 관한 정보를 전송하는 비트스트림의 구조를 설명하기 위한 도면이다.
도 15 는 AC-3 코덱 및 E-AC3 코덱에서 이용되는 비트스트림의 구조를 설명하기 위한 도면이다.
도 16 은 심리 음향 모델을 이용하는 본 발명의 일 실시예에 따른 오디오 부호화 장치의 블록도를 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
또한, 본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다.
본 실시예에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
한편, 본 명세서에서 "소정 윈도우의 크기"는 소정 윈도우가 적용된 시간 영역의 프레임들을 시간-주파수 변환하였을 때, 주파수 영역에서의 계수의 개수를 의미한다.
또한, 본 명세서에서 정보 (information) 는 값 (value), 파라미터 (parameter), 계수 (coefficients), 성분 (elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으며, 본 발명은 이에 한정되지 아니한다.
한편, 오디오 신호 (audio signal) 란, 광의로는, 비디오 신호와 구분되는 개념으로서, 재생시 청각으로 식별할 수 있는 신호를 의미할 수 있다. 오디오 신호는, 협의로는, 음성(speech) 신호와 구분되는 개념으로서, 음성 특성이 없거나 적은 신호를 의미한다. 본 발명에서의 오디오 신호는 광의로 해석되어야 하며 음성 신호와 구분되어 사용될 때 협의의 오디오 신호로 이해될 수 있다.
한편, 프레임이란, 오디오 신호를 부호화 또는 복호화하기 위한 데이터 단위를 일컫는 것으로서, 특정 샘플 수나 특정 시간에 한정되지 아니한다.
피치 필터링이란, 오디오 신호로부터 피치라는 시간 주기를 찾아 필터링함으로써 부호화 효율을 높이고자 하는 방법을 의미한다.
본 발명의 일 실시예에 따른 오디오 부호화/복호화 방법 및 장치는, 오디오 신호의 주파수 변환 계수의 부호화/복호화 장치 및 방법이 될 수도 있고, 나아가 이 장치 및 방법이 적용된 오디오 신호 처리 장치 및 방법이 될 수 있다.
또한, 본 명세서에서는 설명의 편의상 하나의 윈도우에 대한 오디오 부호화/복호화 방법 및 장치의 동작들을 기술한 경우가 있다. 그러나, 본 발명의 일 실시예에 따른 오디오 부호화/복호화 방법 및 장치는, 오디오 신호가 분할된 복수의 윈도우들마다 본 명세서에 기술한 동작들을 반복할 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 일반적인 오디오 코덱 시스템의 블록도이다.
도 1 에 도시된 바와 같이 일반적인 오디오 코덱 시스템 (30) 은 오디오 부호화 장치 (10), 및 오디오 복호화 장치 (20) 를 포함한다.
오디오 부호화 장치 (10) 는, 입력 오디오 신호를 수신하고, 입력 오디오 신호를 부호화한다. 오디오 부호화 장치 (10) 는, 입력 오디오 신호를 부호화함으로써 압축된 오디오 비트스트림을 생성한다. 오디오 복호화 장치 (20) 는, 압축된 오디오 비트스트림을 수신하고, 압축된 오디오 비트스트림을 복호화한다. 오디오 복호화 장치 (20) 는, 압축된 오디오 비트스트림을 복호화함으로써 출력 오디오 신호를 생성한다.
오디오 부호화 장치 (10) 는, 입력 오디오 신호를 프레임 단위로 처리할 수 있다. 예를 들어, 각 프레임은 2.5ms 내지 40ms 범위 내의 프레임 사이즈에 대응되는 오디오 샘플들을 포함할 수 있다.
오디오 부호화 장치 (10) 의 부호화부 (15) 는, 시간-도메인 오디오 신호 샘플들을 주파수-도메인 변환 계수들로 변환할 수 있다. 부호화부 (15) 는, 주파수-도메인 변환 계수들을 양자화하고, 부호화하고, 또는 압축할 수 있다. 부호화부 (15) 는, 압축된 주파수-도메인 변환 계수들에 대응되는 비트스트림을, 오디오 복호화 장치 (20) 로 전송하거나, 저장 매체에 저장하여 추후에 오디오 복호화 장치 (20) 로 전송할 수 있다.
오디오 복호화 장치 (20) 의 복호화부 (25) 는 압축된 오디오 비트스트림을 복호화함으로써 양자화된 변환 계수들을 회복 (recover) 한다. 오디오 복호화 장치 (20) 는, 양자화된 변환 계수들을 시간-도메인 오디오 신호 샘플들로 다시 바꾸기 위해서 역변환을 적용할 수 있다. 오디오 복호화 장치 (20) 는, 프레임 경계들에서 시간-도메인 파형의 불연속을 매끄럽게 하기 위해서 오버랩 애드 오퍼레이션 (overlap add operation) 을 수행할 수 있다.
오디오 신호가 주기적인 경우, 인간 청각 시스템은 매우 작은 부호화 왜곡들을 보다 민감하게 인지하는 경향이 있다. 따라서, 주기적인 음악 및 음성 신호에 대해서 두드러지게 발생되는 부호화 왜곡 (coding distortion) 을 감소시키기 위해서, 피치 프리-필터 (11) 및 피치 포스트-필터 (21) 가 사용될 수 있다.
피치 프리-필터 (11) 및 피치 포스트-필터 (21) 는, 하모닉 성분들 사이의 밸리에 대해 발생하는 양자화 노이즈의 크기를 감소시킬 수 있다. 피치 프리-필터 (11) 및 피치 포스트-필터 (21) 는, 일종의 노이즈 쉐이핑 (noise shaping) 역할을 한다. 이하, 피치 프리-필터 및 피치 포스트-필터와 관련하여 도 2 및 도 3 을 참조하여 구체적으로 살펴본다.
도 2 는 피치 프리-필터링을 수행하는 일반적인 오디오 부호화 장치의 블록도이다.
도 2 에 도시된 바와 같이, 오디오 부호화 장치 (10) 에 포함되는 피치 프리-필터 (11) 는, 프리-엠퍼시스 (pre-emphasis) 부 (12), 피치 검출부 (13), 및 콤브 필터 (comb-filter) (14) 를 포함할 수 있다. 도 2 의 부호화부 (15) 는, 도 1 의 부호화부 (15) 에 대응되는 바, 중복되는 설명은 생략한다.
프리-엠퍼시스부 (12) 는, 신호 내의 중요한 주파수 성분들 (frequency components) 을 강조하는 처리를 수행할 수 있다. 프리-엠퍼시스부 (12) 는, 소정 대역 내의 주파수 성분들의 크기 (magnitude) 를 다른 주파수 성분들의 크기보다 증가시키거나, 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들을 필터링함으로써, 소정 대역 내의 주파수 성분들을 강조하는 처리를 수행할 수 있다.
오디오 신호의 저주파 성분의 경우, 시간에 따른 변화가 상대적으로 작다. 따라서 오디오 신호를 처리함에 있어서, 피치 성분을 추출하기 위해서는, 시간에 따른 변화가 상대적으로 큰 고주파 대역을 강조하는 것이 필요하다. 오디오 부호화 장치 (10) 는, 프리-엠퍼시스부 (12) 로서 고역 통과 필터를 사용함으로써, 저주파 대역에 포함되는 성분들을 제거할 수 있다. 고역 통과 필터를 포함하는 프리-엠퍼시스부 (12) 는 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]에서, x[n] 은 프리-엠퍼시스부 (12) 로의 현재 입력 신호, x[n-1] 은 프리-엠퍼시스부 (12) 로의 과거 입력 신호, y[n] 은 프리-엠퍼시스부 (12) 의 출력 신호, α는 필터 계수로서 0.9에서 1사이의 값일 수 있다.
피치 검출부 (13) 는, 다양한 피치 검출 알고리즘을 이용하여 피치를 검출한다.
콤브 필터 (14) 는, 검출된 피치에 기초하여 필터 계수를 결정할 수 있다. 콤브 필터 (14) 는, 결정된 필터 계수를 이용하여, 입력된 오디오 신호에 대해 콤브 필터링을 적용할 수 있다. 콤브 필터 (14) 는, 일 예로서, 주파수-도메인에서의 피치 하모닉 성분들 간의 밸리 (valley) 를 강화 (boost) 할 수 있다. 또는, 콤브 필터 (14) 는, 주파수-도메인 내에서 피치 하모닉 피크들을 억제할 수 있다.
도 3 은 피치 포스트-필터링을 수행하는 일반적인 오디오 복호화 장치의 블록도이다.
도 3 에 도시된 바와 같이, 오디오 복호화 장치 (20) 에 포함되는 피치 포스트-필터 (21) 는, 콤브 필터 (24), 및 디-엠퍼시스 (de-emphasis) 부 (22) 를 포함할 수 있다. 도 3 의 복호화부 (25) 는, 도 1 의 복호화부 (25) 에 대응되는 바, 중복되는 설명은 생략한다.
도 3 의 콤브 필터 (24) 는, 도 2 의 콤브 필터 (14) 필터의 역 필터 (inver filter) 일 수 있다. 따라서, 콤브 필터 (24) 는, 주파수-도메인에서의 피치 하모닉 성분들 간의 밸리를 약화 (attenuate) 할 수 있다. 또는, 콤브 필터 (24) 는, 주파수-도메인 내에서 피치 하모닉 피크들을 강화할 수 있다.
디-엠퍼시스부 (22) 는, 프리-엠퍼시스부 (12) 의 보완물 (complement) 로서 프리-엠퍼시스부 (12) 의 역 필터를 사용할 수 있다. 디-엠퍼시스부 (22) 는, 오디오 부호화 장치 (10) 의 프리-엠퍼시스부 (12) 에서 강조된 주파수 성분들을 보상한다. 즉, 디-엠퍼시스부 (22) 는, 소정 대역 내의 주파수 성분들의 크기 (magnitude) 를, 다른 주파수 성분들의 크기 보다 감소시킬 수 있다.
제 1
실시예
도 1 내지 도 3 에 도시된 오디오 코덱 시스템 (30) 에 포함되는 오디오 부호화 장치 (10) 는, 정확한 피치 검출을 위하여 프리-엠퍼시스부 (12) 에서 프리-엠퍼시스 처리된 입력 오디오 신호에 대해 피치를 검출하게 된다. 오디오 부호화 장치 (10) 는, 검출된 피치에 기초하여 결정된 필터 계수를 이용하여 콤브 필터링을 수행하게 된다. 그리고, 오디오 부호화 장치 (10) 는, 프리-엠퍼시스부 (12) 에서 프리-엠퍼시스 처리된 입력 오디오 신호를 주파수-도메인 부호화하여 비트스트림을 출력한다.
또한, 오디오 코덱 시스템 (30) 에 포함되는 오디오 복호화 장치 (20) 는, 입력된 비트스트림을 주파수-도메인 복호화하고, 콤브 필터링을 수행하고, 디-엠퍼시스 처리를 수행하게 된다.
일반적인 오디오 코덱 시스템 (30) 에 의하면, 프리-엠퍼시스 처리된 오디오 신호가 콤브 필터링되고, 콤브 필터링 처리된 신호가 부호화, 복호화, 및 디-엠퍼시스 과정을 거치게 된다. 따라서, 오디오 코덱 시스템 (30) 을 통해 출력되는 오디오 신호에는, 프리-엠퍼시스 및 디-엠퍼시스 과정을 거치면서 에러가 누적된다.
일반적인 오디오 코덱 시스템 (30) 에 의하면, 오디오 신호가 오디오 부호화 장치 (10) 및 오디오 복호화 장치 (20)를 거치게 되면서, 부호화 에러가 발생한다. 따라서, 프리-엠퍼시스 처리, 콤브 필터링, 부호화, 및 복호화 과정을 거치게된 신호는, 부호화 에러를 포함하게 되므로. 오디오 부호화 장치 (10)로 입력된 오디오 신호와는 차이가 발생한다. 따라서, 오디오 복호화 장치 (20) 로 입력된 비트스트림이 디-엠퍼시스부 (22) 에서 디-엠퍼시스 처리된다고 하더라도, 오디오 복호화 장치 (20) 는 정확한 출력 오디오 신호를 출력하지 못한다는 문제점이 있다.
본 발명의 일 실시예에 따른 오디오 부호화 장치 및 방법, 및 오디오 복호화 장치 및 방법은, 오디오 신호에 대한 프리-엠퍼시스 처리를 선택적으로 적용함으로써, 상술한 문제점을 해결하고 복원된 음질을 향상시킬 수 있다.
도 4a 는 본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치 (100) 의 블록도이다.
도 4a 에 도시된 바와 같이, 본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치 (100) 는, 필터링부 (140) 및 부호화부 (150) 를 포함할 수 있다.
필터링부 (140) 는, 주기적인 오디오 신호에 대해서 발생되는 부호화 왜곡을 감소시키기 위한 것이다. 필터링부 (140) 는, 피치 검출부 (120), 및 제 2 필터 (130) 를 포함할 수 있다.
피치 검출부 (120) 는, 오디오 신호로부터 피치를 검출한다. 오디오 신호의 피치를 검출한다는 것은, 프레임 단위로 분할된 오디오 신호의 각 프레임으로부터 피치에 관한 정보를 획득하는 것을 의미할 수 있다. 또한, 오디오 신호의 피치를 검출한다는 것은, 후술할 제 2 필터 (130) 의 필터 계수를 결정하는 것을 의미할 수 있다. 예를 들어, 피치 검출부 (120) 는, 피치에 관한 정보로서, 후술할 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 (tap) 중 적어도 하나를 포함하는 피치에 관한 정보를 오디오 신호로부터 획득할 수 있다.
제 2 필터 (130) 는, 피치 검출부 (120) 에서 검출된 피치를 고려하여, 필터 계수를 결정한다. 제 2 필터 (130) 는, 결정된 필터 계수에 기초하여 오디오 신호에 대해 제 2 필터링을 수행한다. 피치 검출부 (120) 에서 검출된 피치에 관한 정보에 기초하여, 제 2 필터 (130) 의 게인이 결정될 수 있다. 예를 들어, 제 2 필터 (130) 는, 오디오 신호에 대하여 콤브 필터링을 수행할 수 있으나, 본 발명은 이에 한정되지 않는다.
예를 들어, 제 2 필터 (130) 가 올-제로 (all-zero) 콤브 필터인 경우, 제 2 필터 (130) 의 전달 함수 (Hpre(z)) 는 다음의 [수학식 2]과 같이 나타낼 수 있다.
이 때, p 는 오디오 신호로부터 획득된 피치 주기이고, b 는 오디오 신호로부터 획득된 피치 탭이다. b 는, 0 보다 크거나 같고 1 보다 작은 범위 내에서 선택되는 값으로서, 오디오 신호 내에서 충분한 주기성 (periodicity) 이 검출되지 않는 경우, b 는 0 이 될 수 있다. 오디오 신호가 주기적이 될 수록, b 는 1 에 가까워진다.
본 발명의 일 실시예에 따르면, 오디오 신호를 부호화하기 위해서 제 2 필터 (130) 가 선택적으로 사용될 수 있다. 제 2 필터 (130) 가 사용자의 선택에 따라 선택적으로 사용되는 경우, 별도의 스위칭부 (미도시) 가 제공될 수 있다. 제 2 필터 (130) 가 선택적으로 사용되는 경우에는, 후술할 오디오 복호화 장치 (200) 에서 대응하는 처리가 수행될 수 있도록, 피치 검출부 (120) 는 제 2 필터 (130) 의 적용 여부를 나타내는 플래그를 생성하고 오디오 복호화 장치 (200) 로 전송할 수 있다. 즉, 피치 검출부 (120) 는, 오디오 신호에 기초하여, 제 2 필터 (130) 에서 오디오 신호에 대해 제 2 필터링을 수행할지 여부를 결정할 수 있다. 피치 검출부 (120) 는, 결정된 결과에 따라 제 2 필터 (130) 의 적용 여부를 나타내는 플래그를 오디오 복호화 장치 (200) 로 전송할 수 있다. 예를 들어, 제 2 필터의 적용 여부를 나타내는 플래그는, 비트스트림의 헤더에 포함되어 전송될 수 있다.
부호화부 (150) 는, 제 2 필터링된 오디오 신호를 부호화한다. 부호화부 (150) 는, 제 2 필터링된 오디오 신호를 포함하는 비트스트림을 생성하여 출력할 수 있다.
구체적으로, 부호화부 (150) 는, 제 2 필터링된 오디오 신호가 분할된 각 윈도우를 주파수 변환할 수 있다. 부호화부 (150) 는, 입력되는 오디오 신호에 대해 시간-주파수 변환 ,바꿔 말하면, 시간-주파수 매핑(time to frequency mapping)이라 함, 을 수행하여, 주파수 변환 계수들을 생성할 수 있다. 이 때, 윈도우의 주파수 변환은 QMF (Quadrature Mirror Filterbank), MDCT(Modified Discrete Fourier Transform), FFT (Fast Fourier Transform) 또는 이와 유사한 방식으로 수행될 수 있지만 본 발명은 이에 한정되지 아니한다.
부호화부 (150) 는, 윈도우의 변환 계수들을 양자화할 수 있다. 부호화부 (150) 는, 양자화된 오디오 신호를 무잡음 부호화 (Noiseless coding) 및 비트스트림 패킹 (Bitstream Packing) 등의 과정을 거쳐 부호화된 비트스트림의 형태로 출력할 수 있다.
부호화부 (150) 는, 제 2 필터링된 오디오 신호와 더불어, 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력할 수 있다. 필터링부 (140) 에서 수행되는 피치 필터링은, 오디오 신호로부터 피치라는 시간 주기를 찾아 필터링함으로써 부호화 효율을 높이고자 하는 방법이다. 따라서, 기존 코덱에서 피치 필터링을 이용하고자 하는 경우, 피치 필터링을 이용하는 코덱과 기존 코덱 간의 호환성을 유지하기 위한 방법이 필요하다. 본 발명의 일 실시예에 따른 부호화부 (150) 는, 피치에 관한 정보가 비트스트림의 보조 영역 (auxiliary area) 에 포함되도록 비트스트림을 생성하고 출력할 수 있다.
한편, 오디오 부호화 시 발생하는 지연으로 인하여, 피치에 관한 정보와 오디오 신호가 전송되는 프레임이 달라질 수 있다. 따라서, 부호화부 (150) 는, 복호화되는 프레임에 적합하도록 피치에 관한 정보를 지연하여 출력할 수 있다. 예를 들어, 오디오 부호화 장치 (100) 가 50% 오버랩 윈도우를 사용하는 경우, 부호화부 (150) 는, 피치에 관한 정보를 1 프레임 지연할 수 있다. 이 경우, 오디오 부호화 장치 (100) 는, 제 2 필터링된 오디오 신호와 지연된 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력할 수 있다. 지연된 피치에 관한 정보를 출력하는 구체적인 방법과 관련하여서는, 후에 도 8 내지 도 13 을 참조하여 설명한다. 도 8 내지 도 13 은 본 발명의 제 2 실시예와 관련되지만 본 발명의 제 1 실시예에도 적용될 수 있다.
본 발명의 일 실시예의 일 예에 따르면, 오디오 부호화 장치 (10) 에서 프리-엠퍼시스 처리를 수행함으로써 발생하는 복잡도를 감소시킬 수 있다. 본 발명의 일 실시예의 다른 예에 따르면, 프리-엠퍼시스 처리된 오디오 신호 대신에 원본 오디오 신호를 부호화함으로써, 부호화 에러를 감소시킬 수 있다.
한편 본 발명의 일 실시예의 다른 예로서, 도 4b 에 도시된 바와 같이, 필터링부 (140) 는 제 1 필터 (110) 를 더 포함할 수 있다. 도 4b 의 피치 검출부 (120), 제 2 필터 (130), 및 부호화부 (150) 는, 도 4a 의 피치 검출부 (120), 제 2 필터 (130), 및 부호화부 (150) 에 대응되는 바, 중복되는 설명은 생략한다.
제 1 필터 (110) 는, 오디오 신호를 제 1 필터링한다. 제 1 필터 (110) 는, 피치 검출에 적합하도록 오디오 신호를 처리한다. 예를 들어, 제 1 필터 (110) 는, 오디오 신호의 일부 주파수 대역을 강조하기 위하여, 오디오 신호를 프리-엠퍼시스 (pre-emphasis) 처리할 수 있다. 프리-엠퍼시스 처리란, 오디오 신호에 포함되는 소정 대역 내의 주파수 성분들의 크기를, 다른 주파수 성분들의 크기 보다 증가시키거나, 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들의 크기를 감소시키는 것을 의미할 수 있다.
제 1 필터 (110) 가 프리-엠퍼시스 처리를 수행하는 경우를 예로 들어 설명하면, 본 발명의 일 실시예의 다른 예에 따른 오디오 부호화 장치 (100) 는, 프리-엠퍼시스 처리된 오디오 신호로부터 피치를 검출하고, 프리-엠퍼시스 처리되지 않은 원본 오디오 신호를 부호화함으로써, 피치 검출의 정확도를 높임과 동시에 부호화 에러를 감소시킬 수 있다.
피치 검출부 (120) 는, 제 1 필터 (110) 에서 제 1 필터링된 오디오 신호로부터 피치를 검출한다. 제 2 필터 (130) 는, 피치 검출부 (120) 에서 검출된 피치를 고려하여, 필터 계수를 결정한다. 제 2 필터 (130) 는, 결정된 필터 계수에 기초하여 오디오 신호에 대해 제 2 필터링을 수행한다.
도 5 는 본 발명의 일 실시예에 따른 오디오 복호화 장치의 블록도이다.
도 5 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 오디오 복호화 장치 (200) 는, 복호화부 (250), 및 필터 (240) 를 포함한다.
복호화부 (250) 는, 비트스트림을 수신하고 수신된 비트스트림을 복호화한다. 수신된 비트스트림은, 원본 오디오 신호로부터 피치를 검출하고, 검출된 피치를 고려하여 원본 오디오 신호를 제 2 필터링하고, 제 2 필터링된 오디오 신호를 부호화함으로써 생성된 비트스트림일 수 있다. 또는, 수신된 비트스트림은, 원본 오디오 신호를 제 1 필터링하고, 제 1 필터링된 오디오 신호에 대하여 피치를 검출하고, 검출된 피치를 고려하여 원본 오디오 신호를 제 2 필터링하고, 제 2 필터링된 오디오 신호를 부호화함으로써 생성된 비트스트림일 수 있다. 또한, 수신된 비트스트림은, 오디오 부호화 장치 (100) 의 필터링부 (140) 에서 피치 필터링시 이용된 피치에 관한 정보를 포함할 수 있다.
구체적으로, 복호화부 (250) 는, 수신된 비트스트림을 역양자화함으로써 주파수 변환 계수들을 생성한다. 복호화부 (250) 는, 주파수-시간 변환 , 바꿔 말하면, 주파수-시간 매핑(frequency to time mapping)이라 함, 을 수행함으로써 주파수 변환 계수들을 역변환하고, 복호화된 신호를 출력할 수 있다. 주파수-시간 변환은 IQMF (Inverse Quadrature Mirror Filterbank), IMDCT(Inverse Modified Discrete Fourier Transform), IFFT (Inverse Fast Fourier Transform) 또는 이와 유사한 방식으로 수행될 수 있지만 본 발명은 이에 한정되지 아니한다.
필터 (240) 는, 복호화부 (250) 에서 복호화된 신호를 필터링한다. 필터 (240) 는, 복호화된 신호에 대해서, 비트스트림을 생성하기 위해 수행된 제 2 필터링의 역필터링을 수행할 수 있다. 필터 (240) 는, 수신된 비트스트림으로부터 피치에 관한 정보를 추출하고, 수신된 비트스트림 내에 포함된 피치에 관한 정보에 기초하여 오디오 부호화 장치 (100) 에서 수행된 제 2 필터링에 대응되는 처리를 수행할 수 있다. 즉, 필터 (240) 는, 비트스트림 내에 포함되는 파라미터에 기초하여, 오디오 부호화 장치 (100) 에서 제거된 주기적인 성분을 복원할 수 있다.
필터 (240) 에서 이용하는 피치에 관한 정보는, 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 (tap) 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 오디오 신호를 복호화하기 위해서 필터 (240) 가 선택적으로 사용될 수 있다. 필터 (240) 는 비트스트림 내에 포함되는 제 2 필터의 적용 여부를 나타내는 플래그에 기초하여 선택적으로 사용될 수 있다. 예를 들어, 제 2 필터의 적용 여부를 나타내는 플래그는, 비트스트림의 헤더에 포함되어 전송될 수 있다. 필터 (240) 는, 제 2 필터의 적용 여부를 나타내는 플래그에 기초하여, 오디오 부호화 장치 (100) 에서 수행된 제 2 필터링에 대응되는 처리를 수행할 수 있다. 따라서, 필터 (240) 는, 오디오 부호화 장치 (100) 에서 오디오 신호를 부호화하기 위해서 제 2 필터 (130) 가 적용되었는지 여부에 따라 선택적으로 사용될 수 있다.
필터 (240) 는 복호화된 신호에 대해서 콤브 필터링을 수행할 수 있으나 본 발명은 이에 한정되지 않는다. 예를 들어, 오디오 부호화 장치 (100) 의 제 2 필터 (130) 가 올-제로 콤브 필터인 경우, 오디오 복호화 장치 (200) 의 필터 (240) 의 전달 함수 (Hpost(z)) 는 다음의 [수학식 3]과 같이 나타낼 수 있다.
이 때, p 는 오디오 신호로부터 획득된 피치 주기이고, b 는 오디오 신호로부터 획득된 피치 탭이다. b 는, 0 보다 크거나 같고 1 보다 작은 범위 내에서 선택되는 값으로서, 오디오 신호 내에서 충분한 주기성이 검출되지 않는 경우, b 는 0 이 될 수 있다. 오디오 신호가 주기적이 될 수록, b 는 1 에 가까워진다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 오디오 부호화 장치 (100) 및 오디오 복호화 장치 (200) 는, 프리-엠퍼시스 과정 및 디-엠퍼시스 과정을 생략함으로써, 오디오 코덱 시스템의 복잡도를 감소시킬 수 있다. 본 발명의 일 실시예에 따른 오디오 부호화 장치 (100) 는 프리-엠퍼시스 처리된 오디오 신호 대신에 원본 오디오 신호를 그대로 부호화함으로써, 부호화 에러를 감소시키고 결과적으로 복원된 오디오 신호의 음질을 향상킬 수 있다. 또한, 본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치 (100) 는, 피치 검출시에는 프리-엠퍼시스 처리된 오디오 신호를 이용하여 피치 검출의 정확도를 확보함과 동시에, 부호화시에는 원본 오디오 신호를 이용함으로써 복원된 오디오 신호의 음질을 향상킬 수 있다.
본 발명의 일 실시예의 일 예에 따른 오디오 부호화 방법은 도 4a 에 도시된 오디오 부호화 장치 (100) 에서 처리되는 단계들로 구성된다.
본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치 (100) 는, 오디오 신호로부터 피치를 검출하고, 검출된 피치를 고려하여 필터 계수를 결정할 수 있다. 본 발명의 일 실시예의 일 예에 따른 오디오 부호화 장치 (100) 는 결정된 필터 계수에 기초하여 오디오 신호에 대하여 제 2 필터링을 수행하고, 제 2 필터링된 오디오 신호를 부호화할 수 있다.
한편, 도 6 은 본 발명의 일 실시예의 다른 예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 6 을 참조하면, 본 발명의 일 실시예의 다른 예에 따른 오디오 부호화 방법은 도 4b 에 도시된 오디오 부호화 장치 (100) 에서 처리되는 단계들로 구성된다. 따라서, 이하에 생략된 내용이라 하더라도 도 4b 에 도시된 오디오 부호화 장치 (100) 에 관하여 상술된 내용은 도 6 의 오디오 부호화 방법에도 적용됨을 알 수 있다.
단계 S610 에서 본 발명의 일 실시예의 다른 예에 따른 오디오 부호화 장치 (100) 는, 오디오 신호를 제 1 필터링할 수 있다. 오디오 부호화 장치 (100) 는, 오디오 신호의 일부 주파수 대역을 강조하는 프리-엠퍼시스 처리를 수행할 수 있다. 즉, 오디오 부호화 장치 (100) 는 오디오 신호에 포함되는 소정 대역 내의 주파수 성분들의 크기를 다른 주파수 성분들의 크기보다 증가시키거나, 상기 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들의 크기를 감소시키는 처리를 수행할 수 있다.
단계 S620 에서 오디오 부호화 장치 (100) 는, 제 1 필터링된 오디오 신호에 대하여 피치를 검출할 수 있다. 오디오 부호화 장치 (100) 는, 프레임 단위로 분할된 오디오 신호의 각 프레임으로부터 피치에 관한 정보를 획득할 수 있다. 오디오 부호화 장치 (100) 는, 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 피치에 관한 정보를 상기 오디오 신호로부터 획득할 수 있다.
단계 S630 에서 오디오 부호화 장치 (100) 는 검출된 피치를 고려하여 필터 계수를 결정할 수 있다.
단계 S640 에서 오디오 부호화 장치 (100) 는, 결정된 필터 계수에 기초하여 오디오 신호에 대하여 제 2 필터링을 수행할 수 있다. 예를 들어, 오디오 부호화 장치 (100) 는, 오디오 신호에 대하여 콤브 필터링을 제 2 필터링으로서 수행할 수 있다.
단계 S650 에서 오디오 부호화 장치 (100) 는, 제 2 필터링된 오디오 신호를 부호화할 수 있다. 오디오 부호화 장치 (100) 는 제 2 필터링된 오디오 신호 및 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력할 수 있다. 이 때, 오디오 부호화 장치 (100) 는 피치에 관한 정보가 비트스트림의 보조 영역에 포함되도록 비트스트림을 생성하여 출력할 수 있다. 오디오 부호화 장치 (100) 는, 피치에 관한 정보를 1 프레임 지연하여 출력할 수 있다. 오디오 부호화 장치 (100) 는, 제 2 필터링된 오디오 신호 및 지연된 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력할 수 있다.
도 7 은 본 발명의 일 실시예에 따른 오디오 복호화 방법을 설명하기 위한 흐름도이다.
도 7 을 참조하면, 본 발명의 일 실시예에 따른 오디오 복호화 방법은 도 5 에 도시된 오디오 복호화 장치 (200) 에서 처리되는 단계들로 구성된다. 따라서, 이하에 생략된 내용이라 하더라도 도 5 에 도시된 오디오 복호화 장치 (200) 에 관하여 상술된 내용은 도 7 의 오디오 복호화 방법에도 적용됨을 알 수 있다.
단계 S710 에서 본 발명의 일 실시예에 따른 오디오 복호화 장치 (200) 는, 부호화된 신호를 수신한다. 이 때, 부호화된 신호는, 원본 오디오 신호로부터 피치를 검출되고, 검출된 피치를 고려하여 원본 오디오 신호를 제 2 필터링하고, 제 2 필터링된 오디오 신호를 부호화함으로써 생성된 신호일 수 있다. 또는, 부호화된 신호는, 원본 오디오 신호를 제 1 필터링하고, 제 1 필터링된 오디오 신호로부터 피치를 검출하고, 검출된 피치를 고려하여 원본 오디오 신호를 제 2 필터링하고, 제 2 필터링된 오디오 신호를 부호화함으로써 생성된 신호일 수 있다. 오디오 복호화 장치 (200) 는, 제 1 필터링된 오디오 신호로부터 획득된 피치에 관한 정보를 더 포함하는 부호화된 신호를 수신할 수 있다.
단계 S720 에서 오디오 복호화 장치 (200) 는, 수신된 신호를 복호화한다.
단계 S730 에서 오디오 복호화 장치 (200) 는, 복호화된 신호를 필터링한다. 이 때, 오디오 복호화 장치 (200) 는, 부호화된 오디오 신호의 부호화시 수행된 제 2 필터링의 역필터링을 수행할 수 있다. 오디오 복호화 장치 (200) 는, 수신된 신호로부터 피치에 관한 정보를 추출할 수 있다. 오디오 복호화 장치 (200) 는, 피치에 관한 정보에 기초하여, 복호화된 신호를 필터링하기 위한 필터 계수를 결정할 수 있다. 오디오 복호화 장치 (200) 는, 결정된 필터 계수에 기초하여, 복호화된 신호에 대해 필터링을 수행할 수 있다.
제 2
실시예
도 1 내지 도 3 에 도시된 오디오 코덱 시스템 (30) 에 있어서, 오디오 부호화 장치 (10) 는 피치에 관한 정보를 획득한 후, 로우 오버랩 윈도우 (Low overlap window) 또는 50 % 오버랩 윈도우를 이용하여 윈도윙을 수행하고, 주파수-도메인 부호화를 수행할 수 있다. 윈도윙이란, 주파수-도메인 부호화를 수행하기 위해서, 오디오 신호를 작은 세트들로 나누는 것을 의미한다.
도 8 은 일반적인 오디오 코덱 시스템에서 발생하는 지연을 설명하기 위한 도면이다. 도 8 은, N-2, N-1, N, 및 N1+1 프레임들을 포함하는 오디오 신호를 부호화 및 복호화하는 경우를 예로 들어 설명한다.
도 8 의 (a) 는 오디오 부호화 장치 (10) 에 입력되는 오디오 신호를 도시한다. 도 8 의 (b) 는 피치 프리-필터 (11) 에 의해 수행되는 피치의 검출을 도시한다. 도 8 의 (c) 는 부호화부 (15) 에 의해 수행되는 오디오 신호 및 피치에 관한 정보의 부호화를 도시한다.
도 8 의 (b) 에 도시된 바와 같이, 피치 프리-필터 (11) 는 현재 프레임 (801) 으로부터 피치를 검출한다. 피치 프리-필터 (11) 는 현재 프레임 (801) 으로부터 피치 정보 N+1 를 획득한다. 오디오 부호화 장치 (10) 는, 오디오 신호로부터 피치에 관한 정보를 획득한 후, 오디오 신호에 윈도우 (804) 를 적용한 후, 주파수 변환을 수행하여, 주파수-도메인 부호화를 수행한다. 따라서, 도 8 의 (c) 에 도시된 바와 같이, 오디오 부호화 장치 (10) 는 오디오 복호화 장치 (20) 로 현재 프레임 (801) 과 함께 피치 정보 N+1 을 부호화하여 전송한다.
도 1 내지 도 3 에 도시된 오디오 코덱 시스템 (30) 에 있어서, 오디오 복호화 장치 (10) 는 압축된 비트스트림에 포함되는 양자화된 변환 계수들을 역변환하고, 복호화된 신호를 출력한다.
도 8 의 (d) 는 복호화부 (25) 에 의해 수행되는 복호화를 도시한다. 도 8 의 (e) 는, 피치 포스트-필터 (21) 에 의해 수행되는 필터링을 도시한다. 도 8 의 (d) 에 도시된 바와 같이, 오디오 복호화 장치 (20) 는 오디오 부호화 장치 (10) 에서 적용된 윈도우 (804) 와 동일한 크기의 윈도우 (805) 를 이용하여 오디오 신호를 복호화할 수 있다. 오디오 복호화 장치 (20) 는, 현재 프레임 (802) 을 역변환하기 위하여, 현재 프레임 (802) 과 오버랩되는 다음 프레임 (803) 을 기다려야 한다. 즉, 오버랩 구간에 따라 시간 지연이 발생한다. 예를 들어, 도 8 의 (e) 에 도시된 바와 같이 50% 오버랩 윈도우를 적용하는 경우, 1 프레임 지연이 발생한다.
도 8 에 도시된 바와 같이, 오디오 부호화 장치 (10) 에서 소정의 프레임으로부터 추출된 피치에 관한 정보는, 해당 프레임과 함께 오디오 복호화 장치 (20) 로 전송된다. 그러나, 오디오 복호화 장치 (20) 는 해당 프레임보다 이전의 프레임을 복호화하기 위해 상기 피치에 관한 정보를 이용한다. 도 8 의 (e) 에 도시된 바와 같이, 오디오 복호화 장치 (20) 는 현재 프레임 (802) 을 복호화하기 위해서 피치 정보 N+1 을 이용한다. 피치 정보 N+1 (803) 은 오디오 부호화 장치 (10) 가 현재 프레임 (802) 의 다음 프레임인 프레임 N+1 (803) 로부터 획득한 정보이다.
도 8 의 (c) 에 도시된 바와 같이, 오디오 부호화 장치 (10) 가 피치에 관한 정보를 보내는 프레임과 주파수 변환된 오디오 신호를 보내는 프레임이 동일하다. 그러나 주파수-도메인 복호화를 수행하는 경우, 복호화 지연 (delay) 이 발생한다. 따라서, 오디오 코덱 시스템 (30) 에 의하면, 오디오 복호화 장치 (20) 에서 복호화되는 프레임에 적용되는 피치에 관한 정보는 복호화된 프레임의 이전 프레임의 오디오 신호로부터 획득된 정보이다.
그러므로, 복호화된 오디오 신호에 대해 피치에 관한 정보를 적용함에 있어서 복원되는 오디오 신호의 음질을 높이기 위해서는, 복호화 지연을 고려하여 피치에 관한 정보를 전송하는 방법이 필요하다. 즉, 피치에 관한 정보가 추출된 프레임이 복호화되는 시점에 상기 피치에 관한 정보가 이용될 수 있도록 하는 방법이 필요하다.
본 발명의 일 실시예에 따른 오디오 부호화 장치 및 방법, 및 오디오 복호화 장치 및 방법은, 피치에 관한 정보를 대응되는 프레임이 복호화되는 시점을 고려하여 전송함으로써, 상술한 문제점을 해결하고 복원된 음질을 향상시킬 수 있다.
도 9 는 본 발명의 일 실시예에 따른 오디오 부호화 장치의 블록도이다.
도 9 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 프리-필터 (510), 및 부호화부 (550) 를 포함한다.
프리-필터 (510) 는, 주기적인 오디오 신호의 부호화 및 복호화 과정 내에서 두드러지게 발생하는 부호화 왜곡을 감소시키기 위한 것이다. 프리-필터 (510) 는, 입력 오디오 신호로부터 피치에 관한 정보를 획득한다. 프리-필터 (510) 는, 피치에 관한 정보를 이용하여 오디오 신호를 프리-필터링할 수 있다. 예를 들어, 프리-필터링이란, 주파수-도메인에서의 피치 하모닉 성분들 간의 밸리를 강화하거나, 피치 하모닉 피크들을 억제하는 동작을 의미할 수 있다.
프리-필터 (510) 는 도 1 및 도 2 의 피치 프리-필터 (11) 를 포함할 수 있다. 또는, 프리-필터 (510) 는, 도 4a 또는 도 4b 의 필터링부 (140) 를 포함할 수 있다. 중복되는 설명은 생략한다.
프리-필터 (510) 는, 입력 오디오 신호를 제 1 필터링하고, 제 1 필터링된 오디오 신호로부터 피치에 관한 정보를 획득할 수 있다. 프리-필터 (510) 는, 프레임 단위로 분할된 오디오 신호의 각 프레임으로부터 피치에 관한 정보를 획득할 수 있다. 프리-필터 (510) 는, 피치에 관한 정보를 고려하여 필터 계수를 결정하고, 결정된 필터 계수를 이용하여 오디오 신호를 제 2 필터링할 수 있다.
부호화부 (550) 는, 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여, 피치 필터링된 오디오 신호에 대하여 윈도윙을 수행할 수 있다. 부호화부 (550) 는, 윈도우의 오버랩 구간을 고려하여, 윈도윙이 수행된 오디오 신호 및 피치에 관한 정보를 부호화할 수 있다. 윈도우의 오버랩 구간을 고려하여 피치에 관한 정보를 부호화한다는 것은, 윈도우의 오버랩 구간에 기초하여 복호화 지연을 결정하고, 결정된 복호화 지연에 따라 피치에 관한 정보를 지연시켜 부호화한다는 것을 의미한다. 부호화부 (550) 는, 부호화된 오디오 신호 및 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력할 수 있다.
본 발명의 일 실시예에 따른 부호화부 (550) 는, 윈도우의 오버랩 구간을 고려하여, 부호화 지연을 결정할 수 있다. 부호화시 이용되는 윈도우와 복호화시 이용되는 윈도우의 길이가 동일하고, 오버랩 구간의 길이가 동일한 경우, 부호화부 (550) 는, 부호화시 이용되는 윈도우의 오버랩 구간에 기초하여 복호화시 발생되는 지연 시간을 계산할 수 있다.
부호화부 (550) 는, 결정된 부호화 지연에 따라, 피치에 관한 정보를 지연 시키고, 지연된 피치에 관한 정보를 출력할 수 있다. 이를 위해서 부호화부 (550) 는 피치에 관한 정보를 복호화 지연만큼 저장한 후 출력하는 버퍼 (미도시) 를 포함할 수 있다. 일 예로서, 오버랩 구간의 길이가 윈도우의 50% 이상인 경우, 부호화부 (550) 는, 오버랩 구간을 고려하여, 피치에 관한 정보를 1 프레임 지연 시켜 출력할 수 있다. 다른 예로서, 오버랩 구간의 길이가 윈도우의 50% 미만인 경우, 부호화부 (550) 는, 오버랩 구간을 고려하여, 1 프레임보다 짧은 시간 만큼 피치에 관한 정보를 지연시켜 출력할 수 있다.
도 11 은 본 발명의 일 실시예에 따른 오디오 코덱 시스템에서, 프레임의 복호화 시점을 고려하여 피치에 관한 정보를 전송하는 방법을 설명하기 위한 도면이다. 도 11 은, N-2, N-1, N, 및 N1+1 프레임들을 포함하는 오디오 신호를 부호화 및 복호화하는 경우를 예로 들어 설명한다
도 11 의 (a) 는 오디오 부호화 장치 (500) 에 입력되는 오디오 신호를 도시한다. 도 11 의 (b) 는 프리-필터 (510) 에 의해 수행되는 피치의 검출을 도시한다. 도 11 의 (c) 는 부호화부 (550) 에 의해 수행되는 오디오 신호 및 피치에 관한 정보의 부호화를 도시한다.
도 11 의 (b) 에 도시된 바와 같이, 프리-필터 (510) 는 현재 프레임 (1101) 으로부터 피치를 검출한다. 프리-필터 (510) 는 현재 프레임 (1101) 으로부터 피치 정보 N+1 를 획득한다.
오디오 부호화 장치 (500) 는, 오디오 신호로부터 피치에 관한 정보를 획득한 후, 오디오 신호에 윈도우 (1104) 를 적용한 후, 주파수 변환을 수행하여, 주파수-도메인 부호화를 수행한다. 본 발명의 일 실시예에 따른 부호화부 (550) 는, 윈도우의 오버랩 구간에 기초하여 복호화 지연을 결정하고, 결정된 복호화 지연에 따라 피치에 관한 정보를 지연시켜 부호화한다. 도 11 에 도시된 바와 같이 50% 오버랩 윈도우를 이용하는 오디오 코덱 시스템의 경우, 피치에 관한 정보를 1 프레임 지연시켜 출력할 수 있다. 도 11 의 (c) 에 도시된 바와 같이, 부호화부 (550) 는, 현재 프레임 (1101) 을 부호화하고 부호화된 오디오 신호를 포함하는 비트스트림을 출력함에 있어서, 현재 프레임 (1101) 에 대응되는 피치에 관한 정보인 피치 정보 N+1 을 현재 프레임 (1101) 과 함께 출력하는 대신에, 1 프레임 지연되어 출력되는 피치 정보 N 을 현재 프레임 (1101) 과 함께 출력한다.
본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 피치에 관한 정보를 비트스트림에 포함시켜 출력하는데 있어서, 복호화 지연을 고려하여 피치에 관한 정보를 버퍼에 저장하고, 지연된 피치에 관한 정보를 출력할 수 있다.
한편, 부호화부 (550) 는, 기존 오디오 코덱 (예를 들어, AAC (Advanced Audio Coding), MP3 (MPEG-1 Audio Layer-3), AAC ELD (Advanced Audio Coding Enhanced Low Delay) 등) 과의 호환성을 위해서, 피치에 관한 정보가 출력되는 비트스트림의 보조 영역에 포함되도록 비트스트림을 생성하여 출력할 수 있다.
이 때, 피치에 관한 정보는, 프리-필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다. 프리-필터의 적용 여부를 나타내는 플래그는, 후술할 오디오 복호화 장치 (600) 에서 대응하는 처리가 수행될 수 있도록 프리-필터링 처리를 했는지 여부를 나타내는 플래그를 의미한다.
도 14 는 본 발명의 일 실시예에 따라 피치에 관한 정보를 전송하는 비트 스트림의 구조를 설명하기 위한 도면이다.
도 14 의 (a) 도시된 바와 같이, 일반적인 비트스트림은 헤더 (header) (1401), 부가 정보 (side information) 영역 (1402), 러 데이터 (raw data) 영역 (1403), 및 보조 (auxiliary) 영역 (1404) 을 포함할 수 있다.
예를 들어, 도 14 의 (b) 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부호화부 (550) 는, 헤더 (1401) 다음에 피치에 관한 정보 (1410) 를 포함하는 비트스트림을 생성하고 출력할 수 있다. 또는, 도 14 의 (c) 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부호화부 (550) 는, 부가 정보 영역 (1402) 다음에 피치에 관한 정보 (1410) 를 포함하는 비트스트림을 생성하고 출력할 수 있다. 또는, 도 14 의 (d) 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부호화부 (550) 는, 러 데이터 영역 (1403) 다음에 피치에 관한 정보 (1410) 를 포함하는 비트스트림을 생성하고 출력할 수 있다. 또는, 도 14 의 (e) 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 부호화부 (550) 는, 보조 영역 (1404) 내에 피치에 관한 정보 (1410) 를 포함하는 비트스트림을 생성하고 출력할 수 있다.
또한, 부호화부 (550) 는, 프리-필터의 적용 여부를 나타내는 플래그가 비트스트림의 헤더에 포함되도록 비트스트림을 생성하고, 프리-필터의 적용 여부를 나타내는 플래그를 제외한 나머지 피치에 관한 정보는 도 14 의 (b) 내지 (e) 에 도시된 영역 내에 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력할 수 있다.
즉, 부호화부 (550) 는, 프리-필터의 적용 여부를 나타내는 플래그를 제외한 나머지 피치에 관한 정보가, 헤더 다음, 부가 정보 (side information) 다음, 보조 영역 이전 중 적어도 하나에 위치하도록, 비트스트림을 생성하여 출력할 수 있다.
도 15 의 (a) 는 AC-3 코덱에서 이용되는 비트스트림의 구조를 도시하고, 도 15 의 (b) 는 E-AC3 코덱에서 이용되는 비트스트림의 구조를 도시한다. 도 15 에 도시된 구조를 갖는 비트스트림을 이용하는 AC-3/E-AC3 코덱의 경우, 본 발명의 일 실시예에 따른 부호화부 (550) 는 BSI의 addbsi, AB0~AB5의 skipfld 또는 auxiliary 영역에 피치에 관한 정보를 포함하도록 비트스트림을 생성하여 출력할 수 있다. 본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 상술한 예에 한정되지 않으며, CELT (Constrained Energy Lapped Transform), AAC, MP3, AAC ELD, AC-3, E-AC3 등 다양한 코덱들 간의 호환성을 유지할 수 있도록, 비트스트림의 소정 영역에 피치에 관한 정보를 포함하도록 비트스트림을 생성하고 출력할 수 있다.
도 10 은 본 발명의 일 실시예에 따른 오디오 복호화 장치의 블록도이다.
도 10 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 오디오 복호화 장치 (600) 는, 복호화부 (650) 및 포스트-필터 (610) 를 포함한다.
복호화부 (650) 는, 압축된 오디오 비트스트림을 복호화한다. 복호화부 (650) 는, 수신된 비트스트림으로부터 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득한다. 복호화부 (650) 는, 주파수 변환된 오디오 신호를 역변환하고, 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여, 역변환된 오디오 신호에 대하여 윈도윙을 수행한다. 복호화부 (650) 는, 오디오 부호화 장치 (500) 에서 윈도윙을 수행하기 위하여 이용된 윈도우와 동일한 크기의 윈도우를 이용하여 윈도윙을 수행할 수 있다.
오디오 복호화 장치 (600) 는, 오디오 부호화 장치 (500) 의 프리-필터 (510) 에 대응되는 포스트-필터 (610) 를 사용할 수 있다. 포스트-필터 (610) 는, 주기적인 오디오 신호의 부호화 및 복호화 과정 내에서 두드러지게 발생하는 부호화 왜곡을 감소시키기 위한 것이다. 포스트-필터 (610) 는, 수신된 비트스트림 내에 포함된 피치에 관한 정보에 기초하여, 오디오 부호화 장치 (500) 에서 수행된 프리-필터링에 대응되는 처리를 수행할 수 있다. 즉, 포스트-필터 (610) 는, 비트스트림 내에 포함되는 파라미터에 기초하여, 오디오 부호화 장치 (500) 에서 제거된 주기적인 성분을 복원할 수 있다. 예를 들어, 피치에 관한 정보는 수신된 비트스트림의 보조 영역 내에 포함될 수 있다.
피치에 관한 정보는, 앞서 오디오 부호화 장치 (500) 와 관련하여 설명한 바와 같이, 윈도우의 오버랩 구간을 고려하여 결정된 부호화 지연에 따라 지연되어 출력된 것일 수 있다. 피치에 관한 정보는, 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
포스트-필터 (610) 는, 피치에 관한 정보를 이용하여, 윈도윙이 수행된 오디오 신호를 포스트-필터링할 수 있다. 포스트-필터 (610) 는, 피치에 관한 정보를 고려하여 필터 계수를 결정할 수 있다. 포스트-필터 (610) 는, 결정된 필터 계수에 기초하여 복호화된 오디오 신호에 대해 포스트-필터링을 수행 할 수 있다. 포스트-필터링이란, 주파수-도메인에서의 피치 하모닉 성분들 간의 밸리를 억제하거나, 피치 하모닉 피크들을 강화하는 동작을 의미할 수 있다.
포스트-필터링은, 부호화 과정에서 수행된 프리-필터링에 대응되는 것일 수 있다. 따라서, 일 예에 따르면, 오디오 복호화 장치 (600) 는, 수신된 비트스트림의 헤더에 포함된 프리-필터링 처리 여부와 관련된 플래그를 참조하여 선택적으로 포스트-필터링을 수행할 수 있다.
포스트-필터 (610) 는 도 1 및 도 3 의 피치 포스트-필터 (21) 를 포함할 수 있다. 또는, 포스트-필터 (610) 는, 도 5 의 필터 (240) 를 포함할 수 있다. 중복되는 설명은 생략한다.
도 11 의 (d) 는 복호화부 (650) 에 의해 수행되는 복호화를 도시한다. 도 11 의 (e) 는, 포스트-필터 (610) 에 의해 수행되는 필터링을 도시한다. 도 11 의 (d) 에 도시된 바와 같이, 오디오 복호화 장치 (600) 는 오디오 부호화 장치 (500) 에서 적용된 윈도우 (1104) 와 동일한 크기의 윈도우 (1105) 를 이용하여 오디오 신호를 복호화할 수 있다. 오디오 복호화 장치 (600) 는, 현재 프레임 (1102) 을 역변환하기 위하여, 현재 프레임 (1102) 과 오버랩되는 다음 프레임 (1103) 을 기다려야 한다. 즉, 오버랩 구간에 따라 시간 지연이 발생한다. 예를 들어, 도 11 에 도시된 바와 같이 50% 오버랩 윈도우를 적용하는 경우, 1 프레임 지연이 발생한다.
따라서, 도 11 의 (e) 에 도시된 바와 같이, 오디오 복호화 장치 (600) 는 현재 프레임 (1102) 을 복호화하기 위해서 복호화되는 현재 프레임 (1102) 과 대응되는 피치 정보 N 을 이용한다. 피치 정보 N 은 오디오 부호화 장치 (500) 가 프레임 N 으로부터 획득한 정보이다.
본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 및 오디오 복호화 장치 (600) 에 의하면, 오디오 복호화 장치 (600) 에서 복호화되는 프레임에 정확하게 대응되는 피치에 관한 정보가 이용될 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 복원되는 오디오 신호의 음질이 향상될 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따른 오디오 코덱 시스템에 포함되는 오디오 부호화 장치 (500) 는, 부호화 지연을 고려하여 피치에 관한 정보를 전송한다. 따라서, 오디오 복호화 장치 (600) 는, 오디오 복호화 장치 (600) 에서 복호화되는 프레임에 대응되는 피치에 관한 정보를 필요한 시점, 즉, 해당 프레임이 복호화되는 시점, 에 제공받을 수 있다. 따라서, 본 발명의 일 실시예에 따른 오디오 코덱 시스템은 랜덤 억세스 (random access) 를 지원할 수 있다. 또한, 패킷이 손실된 상황에서 에러가 발생하지 않는 프레임에 대해, 정확한 피치에 관한 정보를 이용하여 복호화를 수행할 수 있다.
도 12 는 본 발명의 일 실시예에 따른 오디오 부호화 방법을 설명하기 위한 흐름도이다.
도 12 를 참조하면, 본 발명의 제 1 실시예의 일 예에 따른 오디오 부호화 방법은 도 8 에 도시된 오디오 부호화 장치 (500) 에서 처리되는 단계들로 구성된다. 따라서, 이하에 생략된 내용이라 하더라도 도 8 에 도시된 오디오 부호화 장치 (500) 에 관하여 상술된 내용은 도 12 의 오디오 부호화 방법에도 적용됨을 알 수 있다.
단계 S1210 에서 본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 오디오 신호로부터 획득된 피치에 관한 정보를 이용하여, 오디오 신호를 프리-필터링할 수 있다. 본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 본 발명의 일 실시예에 따른 오디오 부호화 장치 (100) 와 관련하여 상술한 바와 같이, 입력 오디오 신호에 대한 프리-엠퍼시스 처리를 선택적으로 수행할 수 있다.
즉, 오디오 부호화 장치 (500) 는, 오디오 신호를 제 1 필터링하고, 제 1 필터링된 오디오 신호로부터 피치에 관한 정보를 획득할 수 있다. 제 1 필터링은, 오디오 신호로부터 피치에 관한 정보를 획득하기 위하여, 소정의 주파수 대역의 신호를 강조하는 동작을 의미한다. 오디오 부호화 장치 (400) 는, 획득된 피치에 관한 정보를 고려하여 필터 계수를 결정하고, 결정된 필터 계수를 이용하여 설계된 제 2 필터를 이용하여 오디오 신호를 제 2 필터링할 수 있다. 예를 들어, 제 2 필터링은, 콤브 필터링을 포함할 수 있다.
또한, 오디오 부호화 장치 (500) 는, 프레임 단위로 분할된 오디오 신호의 각 프레임으로부터 피치에 관한 정보를 획득할 수 있다.
단계 S1220 에서 본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여, 프리-필터링된 오디오 신호에 대하여 윈도윙을 수행할 수 있다.
단계 S1230 에서 본 발명의 일 실시예에 따른 오디오 부호화 장치 (500) 는, 오버랩 구간을 고려하여, 윈도윙이 수행된 오디오 신호 및 피치에 관한 정보를 부호화할 수 있다. 오디오 부호화 장치 (500) 는 윈도윙이 수행된 오디오 신호 및 피치에 관한 정보를 부호화함으로써, 비트스트림을 생성하여 출력할 수 있다.
오디오 부호화 장치 (500) 는 오버랩 구간을 고려하여, 부호화 지연을 결정하고, 결정된 부호화 지연에 따라, 피치에 관한 정보를 지연시켜 출력할 수 있다. 예를 들어, 오버랩 구간의 길이가 윈도우의 50% 이상인 경우, 오디오 부호화 장치 (500) 는, 피치에 관한 정보를 1 프레임 지연 시켜 출력할 수 있다.
또한, 오디오 부호화 장치 (500) 는, 피치에 관한 정보가 비트스트림의 보조 영역에 포함되도록 비트스트림을 생성하여 출력할 수 있고, 이 때, 피치에 관한 정보는, 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다. 예를 들어, 오디오 부호화 장치 (500) 는, 프리-필터링의 수행 여부를 나타내는 플래그를 비트스트림의 헤더 내에 포함하고, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 비트스트림의 보조 영역 내에 포함하는, 비트스트림을 생성하여 출력할 수 있다.
도 13 은 본 발명의 일 실시예에 따른 오디오 복호화 방법을 설명하기 위한 흐름도이다.
도 13 을 참조하면, 본 발명의 일 실시예에 따른 오디오 복호화 방법은 도 9 에 도시된 오디오 복호화 장치 (600) 에서 처리되는 단계들로 구성된다. 따라서, 이하에 생략된 내용이라 하더라도 도 9 에 도시된 오디오 복호화 장치 (600) 에 관하여 상술된 내용은 도 13 의 오디오 복호화 방법에도 적용됨을 알 수 있다.
단계 S1310 에서 본 발명의 일 실시예에 따른 오디오 복호화 장치 (600) 는, 수신된 비트스트림으로부터 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득한다. 오디오 복호화 장치 (600) 에게 수신되는 피치에 관한 정보는, 부호화 또는 복호화시 적용되는 윈도우의 오버랩 구간을 고려하여 지연되어 출력된 것일 수 있다.
단계 S1320 에서 오디오 복호화 장치 (600) 는, 주파수 변환된 오디오 신호를 역변환함으로써, 시간-도메인 오디오 신호 샘플들을 획득한다.
단계 S1330 에서 오디오 복호화 장치 (600) 는, 소정의 오버랩 (overlap) 구간을 갖도록 설계되는 윈도우를 이용하여, 역변환된 오디오 신호에 대하여 윈도윙을 수행한다.
단계 S1340 에서 오디오 복호화 장치 (600) 는, 피치에 관한 정보를 이용하여, 윈도윙이 수행된 오디오 신호를 포스트-필터링한다. 이 때, 오디오 복호화 장치 (600) 에서 수행되는 포스트-필터링은, 오디오 부호화 장치 (500) 에서 수행된 프리-필터링에 대응될 수 있다. 포스트-필터링과 프리-필터링이 대응된다는 것은, 서로 역필터링 관계임을 의미할 수 있다. 오디오 복호화 장치 (600) 는 수신된 비트스트림의 보조 영역 내에 포함된 피치에 관한 정보를 획득할 수 있다. 이 때, 피치에 관한 정보는, 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함할 수 있다.
도 16 은 심리 음향 모델을 이용하는 본 발명의 일 실시예에 따른 오디오 부호화 장치의 블록도를 도시한다.
도 16 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 오디오 부호화 장치 (1600) 는 심리 음향 모델부 (1650) 를 포함할 수 있다.
도 16 의 피치 프리-필터 (1610) 는, 도 4 의 필터링부 (140), 또는 도 9 의 프리-필터 (510) 에 대응될 수 있다. 따라서, 중복되는 설명은 생략한다.
도 16 의 윈도윙부 (1620), 주파수 변환부 (1630), 양자화부 (1640), 심리 음향 모델부 (1650), 엔트로피 부호화부 (1660), 및 비트스트림 형성부 (1670) 는 도 4 의 부호화부 (150), 또는 도 9 의 부호화부 (550) 에 대응될 수 있다.
윈도윙부 (1620) 는 입력된 오디오 신호를 윈도우 단위로 분할할 수 있다. 윈도우의 프레임 길이는 오디오 부호화 장치 (1600) 에 적용되는 어플리케이션에 따라 변경될 수 있다.
주파수 변환부 (1630) 는, 오디오 신호가 분할된 각 윈도우를 시간-주파수 변환할 수 있다. 주파수 변환부 (1630) 는 윈도우를 시간-주파수 변환함으로써 변환 계수들을 생성할 수 있다. 이 때, 시간-주파수 변환은 QMF (Quadrature Mirror Filterbank), MDCT(Modified Discrete Fourier Transform), FFT (Fast Fourier Transform) 또는 이와 유사한 방식으로 수행될 수 있지만 본 발명은 이에 한정되지 아니한다.
심리 음향 모델부 (1650) 는 입력 오디오 신호에 대해 마스킹 효과를 적용하여 마스킹 임계치(masking threshold)를 생성한다.
마스킹(masking) 효과란, 심리 음향 이론에 의한 것으로, 크기가 큰 신호에 인접한 작은 신호들은 큰 신호에 의해서 가려지기 때문에 인간의 청각 구조가 이를 잘 인지하지 못한다는 특성을 이용하는 것이다. 예를 들어, 시끄러운 버스가 지나가는 버스 정류장에서와 같이 소음이 심한 공간에서는, 조용한 공간에서 들릴 수 있는 대화 소리가 들리지 않게 된다.
마스킹 임계치란, 청자가 들을 수 있는 한계값을 의미할 수 있다. 마스킹 효과에 의하면, 마스킹 임계치 아래에 위치한 오디오 신호는 청자가 들을 수 없다.
심리 음향 모델을 적용함에 있어서, 오디오 신호가 분할된 하나의 윈도우에 포함되는 복수의 주파수 변환 계수 대역 (frequency scale factor band) 에는 에너지가 가장 큰 신호가 중간에 존재하고, 이 신호보다 훨씬 작은 크기의 신호가 주변에 몇 개 존재할 수 있다. 여기서 가장 큰 신호가 마스커 (masker) 가 되고, 이 마스커를 기준으로 마스킹 커브 (masking curve) 가 그려진다. 이 마스킹 커브에 의해서 가려지는 작은 신호는 마스킹된 신호 (masked signal) 또는 마스키 (maskee) 가 될 수 있다. 이 마스킹된 신호를 제외하고 나머지 신호만을 유효한 신호로 남겨두는 것을 마스킹(masking)이라 한다.
양자화부 (1640) 는, 심리 음향 모델부 (1650) 에서 결정된 마스킹 임계치를 이용하여, 주파수 변환부 (1630) 에서 변환된 윈도우의 변환 계수들을 양자화할 수 있다.
양자화부 (1640) 가 변환 계수들을 양자화하는 과정에서 노이즈가 발생할 수 있는데, 양자화부 (1640) 는 발생하는 양자화 노이즈가 마스킹 임계치보다 작도록 변환 계수들을 양자화할 수 있다. 양자화 노이즈가 마스킹 임계치보다 작다는 것은, 양자화에 따른 노이즈의 에너지가 마스킹 효과로 인해 가려진다는 것을 의미한다. 다시 말해서, 마스킹 임계치보다 작은 양자화 노이즈는 청취자가 듣지 못한다.
엔트로피 부호화부 (1660) 는 양자화된 오디오 신호에 대하여 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화부 (1660) 는 예를 들어, 허프만 부호화 (Huffman coding), 범위 부호화 (range encoding), 산술 부호화 (arithmetic coding), 및 이와 유사한 방식을 이용하여 양자화된 오디오 신호를 부호화할 수 있지만 이에 한정되지 않는다.
비트스트림 형성부 (1670) 는 엔트로피 부호화부 (1660) 로부터 출력된 부호화된 오디오 신호로부터 하나 또는 그 이상의 비트스트림을 생성하여 출력할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (41)
- 오디오 신호로부터 피치를 검출하는 단계;
상기 검출된 피치를 고려하여 필터 계수를 결정하는 단계;
상기 결정된 필터 계수에 기초하여 상기 오디오 신호에 대하여 제 2 필터링을 수행하는 단계;
상기 제 2 필터링된 오디오 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 1 항에 있어서,
상기 오디오 신호를 제 1 필터링하는 단계를 더 포함하며,
상기 피치를 검출하는 단계는, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 2 항에 있어서,
상기 제 1 필터링하는 단계는,
상기 오디오 신호에 포함되는 소정 대역 내의 주파수 성분들의 크기를 다른 주파수 성분들의 크기보다 증가시키거나, 상기 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들을 필터링하는 프리-엠퍼시스 (pre-emphasis) 를 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 1 항에 있어서,
상기 피치를 검출하는 단계는,
상기 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는, 상기 피치에 관한 정보를 상기 오디오 신호로부터 획득하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 1 항에 있어서,
상기 제 2 필터링하는 단계는,
상기 오디오 신호에 대하여 콤브 필터링 (comb filtering) 을 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 1 항에 있어서,
상기 피치를 검출하는 단계는,
상기 오디오 신호로부터 상기 피치에 관한 정보를 획득하는 단계를 포함하고,
상기 부호화하는 단계는,
상기 제 2 필터링된 오디오 신호 및 상기 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하는 단계를 포함하고,
상기 피치에 관한 정보는, 상기 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 6 항에 있어서,
상기 비트스트림을 생성하여 출력하는 단계는,
상기 피치에 관한 정보를 상기 비트스트림의 보조 영역 (auxiliary area) 내에 포함하는 상기 비트스트림을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 1 항에 있어서,
상기 피치를 검출하는 단계는,
프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하는 단계를 포함하고,
상기 부호화하는 단계는,
상기 피치에 관한 정보를 1 프레임 지연하는 단계; 및
상기 제 2 필터링된 오디오 신호 및 상기 지연된 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하는 단계를 포함하고,
상기 피치에 관한 정보는, 상기 제 2 필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 부호화된 신호를 수신하는 단계;
상기 수신된 신호를 복호화하는 단계; 및
상기 복호화된 신호를 필터링하는 단계를 포함하고,
상기 부호화된 신호는, 오디오 신호로부터 피치를 검출하고, 상기 검출된 피치를 고려하여 상기 오디오 신호를 제 2 필터링하고, 상기 제 2 필터링된 오디오 신호를 부호화함으로써 생성되고,
상기 복호화된 신호를 필터링하는 단계는, 상기 제 2 필터링의 역필터링을 수행하는 단계를 포함하는 것을 특징으로 하는, 오디오 복호화 방법. - 제 9 항에 있어서,
상기 부호화된 신호는, 상기 오디오 신호를 제 1 필터링하고, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출함으로써 생성되는 것을 특징으로 하는, 오디오 복호화 방법. - 제 10 항에 있어서,
상기 부호화된 신호를 수신하는 단계는,
상기 제 1 필터링된 오디오 신호로부터 획득된 피치에 관한 정보를 더 포함하는 상기 부호화된 신호를 수신하는 단계를 포함하고,
상기 복호화된 신호를 필터링하는 단계는,
상기 수신된 신호로부터 상기 피치에 관한 정보를 추출하는 단계; 및
상기 피치에 관한 정보에 기초하여, 상기 복호화된 신호를 필터링하기 위한 필터 계수를 결정하는 단계를 포함하는 것을 특징으로 하는 오디오 복호화 방법. - 오디오 신호로부터 피치를 검출하는 피치 검출부;
상기 검출된 피치를 고려하여 필터 계수를 결정하고, 상기 결정된 필터 계수에 기초하여 상기 오디오 신호에 대하여 제 2 필터링을 수행하는 제 2 필터; 및
상기 제 2 필터링된 오디오 신호를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 오디오 부호화 장치. - 제 12 항에 있어서,
상기 오디오 신호를 제 1 필터링하는 제 1 필터를 더 포함하며,
상기 피치 검출부는, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출하는 것을 특징으로 하는 오디오 부호화 장치. - 제 13 항에 있어서,
상기 제 1 필터는,
상기 오디오 신호 에 포함되는 소정 대역 내의 주파수 성분들의 크기를 다른 주파수 성분들의 크기보다 증가시키거나, 상기 소정 대역 내의 주파수 성분들을 제외한 다른 주파수 성분들을 필터링하는 프리-엠퍼시스 (pre-emphasis) 를 수행하는 것을 특징으로 하는 오디오 부호화 장치. - 제 12 항에 있어서,
상기 피치 검출부는,
상기 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는, 상기 피치에 관한 정보를 상기 오디오 신호로부터 획득하는 것을 특징으로 하는 오디오 부호화 장치. - 제 12 항에 있어서,
상기 제 2 필터는,
상기 오디오 신호에 대하여 콤브 필터링을 수행하는 것을 특징으로 하는 오디오 부호화 장치. - 제 12 항에 있어서,
상기 피치 검출부는,
상기 오디오 신호로부터 상기 피치에 관한 정보를 획득하고,
상기 부호화부는,
상기 제 2 필터링된 오디오 신호 및 상기 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하고,
상기 피치에 관한 정보는, 상기 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 부호화 장치. - 제 17 항에 있어서,
상기 부호화부는,
상기 피치에 관한 정보를 상기 비트스트림의 보조 영역 내에 포함하는 상기 비트스트림을 생성하여 출력하는 것을 특징으로 하는 오디오 부호화 장치. - 제 12 항에 있어서,
상기 피치 검출부는,
프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하고,
상기 부호화부는,
상기 피치에 관한 정보를 1 프레임 지연하고,
상기 제 2 필터링된 오디오 신호 및 상기 지연된 피치에 관한 정보를 포함하는 비트스트림을 생성하여 출력하고,
상기 피치에 관한 정보는, 상기 제 2 필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 부호화 장치. - 부호화된 신호를 수신하고 상기 수신된 신호를 복호화하는 복호화부; 및
상기 복호화된 신호를 필터링하는 필터를 포함하고,
상기 부호화된 신호는, 오디오 신호로부터 피치를 검출하고, 상기 검출된 피치를 고려하여 상기 오디오 신호를 제 2 필터링하고, 상기 제 2 필터링된 오디오 신호를 부호화함으로써 생성되고,
상기 필터는, 상기 제 2 필터링의 역필터링을 수행하는 것을 특징으로 하는, 오디오 복호화 장치. - 제 20 항에 있어서,
상기 부호화된 신호는, 상기 오디오 신호를 제 1 필터링하고, 상기 제 1 필터링된 오디오 신호로부터 피치를 검출함으로써 생성되는 것을 특징으로 하는, 오디오 복호화 장치. - 제 21 항에 있어서,
상기 복호화부는,
상기 제 1 필터링된 오디오 신호로부터 획득된 피치에 관한 정보를 더 포함하는 상기 부호화된 신호를 수신하는 단계를 포함하고,
상기 필터는,
상기 수신된 신호로부터 상기 피치에 관한 정보를 추출하고, 상기 피치에 관한 정보에 기초하여, 상기 복호화된 신호를 필터링하기 위한 필터 계수를 결정하는 것을 특징으로 하는 오디오 복호화 장치. - 오디오 신호로부터 획득된 피치에 관한 정보를 이용하여, 상기 오디오 신호를 프리-필터링하는 단계;
소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여 상기 프리-필터링된 오디오 신호에 대하여 윈도윙을 수행하는 단계;
상기 오버랩 구간을 고려하여 상기 윈도윙이 수행된 오디오 신호 및 상기 피치에 관한 정보를 부호화함으로써, 비트스트림을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 23 항에 있어서,
상기 비트스트림을 생성하여 출력하는 단계는,
상기 오버랩 구간을 고려하여, 부호화 지연을 결정하는 단계; 및
상기 결정된 부호화 지연에 따라, 상기 피치에 관한 정보를 지연시켜 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 23 항에 있어서,
상기 프리-필터링하는 단계는,
프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하는 단계를 포함하고,
상기 오버랩 구간의 길이는 상기 윈도우의 50% 이상이고,
상기 비트스트림을 생성하여 출력하는 단계는,
상기 오버랩 구간을 고려하여, 상기 피치에 관한 정보를 1 프레임 지연 시켜 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 23 항에 있어서,
상기 비트스트림을 생성하여 출력하는 단계는,
상기 피치에 관한 정보가 상기 비트스트림의 보조 영역에 포함되도록 상기 비트스트림을 생성하여 출력하는 단계를 포함하고,
상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 23 항에 있어서,
상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그를 포함하고, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 더 포함하고,
상기 비트스트림을 생성하여 출력하는 단계는,
상기 플래그를 상기 비트스트림의 헤더 내에 포함하고, 상기 피치 주기, 상기 피치 게인, 및 상기 피치 탭 중 적어도 하나를 상기 비트스트림의 보조 영역 내에 포함하는 상기 비트스트림을 생성하여 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 제 23 항에 있어서,
상기 프리-필터링하는 단계는,
상기 오디오 신호를 제 1 필터링하는 단계;
상기 제 1 필터링된 오디오 신호로부터 상기 피치에 관한 정보를 획득하는 단계;
상기 피치에 관한 정보를 고려하여 필터 계수를 결정하는 단계; 및
상기 결정된 필터 계수를 이용하여 상기 오디오 신호에 대하여 제 2 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 오디오 부호화 방법. - 수신된 비트스트림으로부터 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득하는 단계;
상기 주파수 변환된 오디오 신호를 역변환하는 단계;
소정의 오버랩 (overlap) 구간을 갖도록 설계되는 윈도우를 이용하여, 상기 역변환된 오디오 신호에 대하여 윈도윙을 수행하는 단계; 및
상기 피치에 관한 정보를 이용하여, 상기 윈도윙이 수행된 오디오 신호를 포스트-필터링하는 단계를 포함하고,
상기 포스트-필터링은 부호화 과정에서 수행된 프리-필터링에 대응되고,
상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 상기 비트 스트림에 포함되도록 부호화된 것을 특징으로 하는 오디오 복호화 방법. - 제 29 항에 있어서,
상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 결정된 부호화 지연에 따라 지연되어 출력된 것을 특징으로 하는 오디오 복호화 방법. - 제 29 항에 있어서,
상기 포스트-필터링하는 단계는,
상기 수신된 비트스트림의 보조 영역 내에 포함된 상기 피치에 관한 정보를 획득하는 단계를 포함하고,
상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 복호화 방법. - 오디오 신호로부터 획득된 피치에 관한 정보를 이용하여, 상기 오디오 신호를 프리-필터링하는 프리-필터;
소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여 상기 피치 필터링된 오디오 신호에 대하여 윈도윙을 수행하고, 상기 오버랩 구간을 고려하여 상기 윈도윙이 수행된 오디오 신호 및 상기 피치에 관한 정보를 부호화함으로써, 비트스트림을 생성하여 출력하는 부호화부를 포함하는 것을 특징으로 하는 오디오 부호화 장치. - 제 32 항에 있어서,
상기 부호화부는,
상기 오버랩 구간을 고려하여, 부호화 지연을 결정하고,
상기 결정된 부호화 지연에 따라, 상기 피치에 관한 정보를 지연시켜 출력하는 것을 특징으로 하는 오디오 부호화 장치. - 제 32 항에 있어서,
상기 프리-필터는,
프레임 단위로 분할된 상기 오디오 신호의 각 프레임으로부터 상기 피치에 관한 정보를 획득하고,
상기 오버랩 구간의 길이는 상기 윈도우의 50% 이상이고,
상기 부호화부는,
상기 오버랩 구간을 고려하여, 상기 피치에 관한 정보를 1 프레임 지연시켜 출력하는 것을 특징으로 하는 오디오 부호화 장치. - 제 32 항에 있어서,
상기 부호화부는,
상기 피치에 관한 정보가 상기 비트스트림의 보조 영역에 포함되도록 상기 비트스트림을 생성하여 출력하고,
상기 피치에 관한 정보는, 상기 프리-필터의 적용 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 부호화 장치. - 제 32 항에 있어서,
상기 피치에 관한 정보는, 상기 프리-필터의 적용 여부를 나타내는 플래그를 포함하고, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 더 포함하고,
상기 부호화부는,
상기 플래그를 상기 비트스트림의 헤더 내에 포함하고,
상기 피치 주기, 상기 피치 게인, 및 상기 피치 탭 중 적어도 하나를 상기 비트스트림의 보조 영역 내에 포함하는 상기 비트스트림을 생성하여 출력하는 것을 특징으로 하는 오디오 부호화 장치. - 제 32 항에 있어서,
상기 프리-필터는,
상기 오디오 신호를 제 1 필터링하고, 상기 제 1 필터링된 오디오 신호로부터 상기 피치에 관한 정보를 획득하고, 상기 피치에 관한 정보를 고려하여 필터 계수를 결정하고, 상기 결정된 필터 계수를 이용하여 상기 오디오 신호에 대하여 제 2 필터링을 수행하는 것을 특징으로 하는 오디오 부호화 장치. - 수신된 비트스트림으로부터 주파수 변환된 오디오 신호 및 피치에 관한 정보를 획득하고, 상기 주파수 변환된 오디오 신호를 역변환하고, 소정의 오버랩 구간을 갖도록 설계되는 윈도우를 이용하여, 상기 역변환된 오디오 신호에 대하여 윈도윙을 수행하는, 복호화부; 및
상기 피치에 관한 정보를 이용하여, 상기 윈도윙이 수행된 오디오 신호를 포스트-필터링하는 포스트-필터를 포함하고,
상기 포스트-필터는 부호화 과정에서 수행된 프리-필터링에 대응되는 상기 포스트-필터링을 수행하고,
상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 상기 비트 스트림에 포함되도록 부호화된 것을 특징으로 하는 오디오 복호화 장치. - 제 38 항에 있어서,
상기 피치에 관한 정보는, 상기 오버랩 구간을 고려하여 결정된 부호화 지연에 따라 지연되어 출력된 것을 특징으로 하는 오디오 복호화 장치. - 제 38 항에 있어서,
상기 포스트-필터는,
상기 수신된 비트스트림의 보조 영역 내에 포함된 상기 피치에 관한 정보를 획득하고,
상기 피치에 관한 정보는, 상기 프리-필터링의 수행 여부를 나타내는 플래그, 피치 주기, 피치 게인, 및 피치 탭 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 복호화 장치. - 제 1 항 내지 제 11 항, 및 제 23 항 내지 제 31 항 중 어느 한 항에 기재된 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130156643A KR102251833B1 (ko) | 2013-12-16 | 2013-12-16 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
| JP2016540509A JP6573887B2 (ja) | 2013-12-16 | 2014-11-25 | オーディオ信号の符号化方法、復号方法及びその装置 |
| US15/105,363 US10186273B2 (en) | 2013-12-16 | 2014-11-25 | Method and apparatus for encoding/decoding an audio signal |
| PCT/KR2014/011365 WO2015093742A1 (en) | 2013-12-16 | 2014-11-25 | Method and apparatus for encoding/decoding an audio signal |
| EP14872819.9A EP3069337B1 (en) | 2013-12-16 | 2014-11-25 | Method and apparatus for encoding an audio signal |
| CN201480075642.6A CN106030704B (zh) | 2013-12-16 | 2014-11-25 | 用于对音频信号进行编码/解码的方法和设备 |
| TW103143185A TWI555010B (zh) | 2013-12-16 | 2014-12-11 | 音訊編碼方法及裝置、音訊解碼方法以及非暫時性電腦可讀記錄媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130156643A KR102251833B1 (ko) | 2013-12-16 | 2013-12-16 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150069919A true KR20150069919A (ko) | 2015-06-24 |
| KR102251833B1 KR102251833B1 (ko) | 2021-05-13 |
Family
ID=53403046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130156643A KR102251833B1 (ko) | 2013-12-16 | 2013-12-16 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10186273B2 (ko) |
| EP (1) | EP3069337B1 (ko) |
| JP (1) | JP6573887B2 (ko) |
| KR (1) | KR102251833B1 (ko) |
| CN (1) | CN106030704B (ko) |
| TW (1) | TWI555010B (ko) |
| WO (1) | WO2015093742A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108780648A (zh) * | 2016-03-18 | 2018-11-09 | 高通股份有限公司 | 用于在时间上失配的信号的音频处理 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550371B (zh) * | 2018-03-30 | 2021-06-01 | 云知声智能科技股份有限公司 | 智能语音交互设备快速稳定的回声消除方法 |
| CN108550369B (zh) * | 2018-04-14 | 2020-08-11 | 全景声科技南京有限公司 | 一种可变长度的全景声信号编解码方法 |
| US11405739B2 (en) * | 2020-12-01 | 2022-08-02 | Bose Corporation | Dynamic audio headroom management system |
| CN112992161A (zh) * | 2021-04-12 | 2021-06-18 | 北京世纪好未来教育科技有限公司 | 音频编码方法、音频解码方法、装置、介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070088546A1 (en) * | 2005-09-12 | 2007-04-19 | Geun-Bae Song | Apparatus and method for transmitting audio signals |
| WO2008072701A1 (ja) * | 2006-12-13 | 2008-06-19 | Panasonic Corporation | ポストフィルタおよびフィルタリング方法 |
| US20100138219A1 (en) * | 2003-09-16 | 2010-06-03 | Panasonic Corporation | Coding Apparatus and Decoding Apparatus |
| US20100161323A1 (en) * | 2006-04-27 | 2010-06-24 | Panasonic Corporation | Audio encoding device, audio decoding device, and their method |
| WO2013183928A1 (ko) * | 2012-06-04 | 2013-12-12 | 삼성전자 주식회사 | 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5819213A (en) | 1996-01-31 | 1998-10-06 | Kabushiki Kaisha Toshiba | Speech encoding and decoding with pitch filter range unrestricted by codebook range and preselecting, then increasing, search candidates from linear overlap codebooks |
| US5848391A (en) | 1996-07-11 | 1998-12-08 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Method subband of coding and decoding audio signals using variable length windows |
| US6064954A (en) * | 1997-04-03 | 2000-05-16 | International Business Machines Corp. | Digital audio signal coding |
| WO1999059139A2 (en) * | 1998-05-11 | 1999-11-18 | Koninklijke Philips Electronics N.V. | Speech coding based on determining a noise contribution from a phase change |
| CA2252170A1 (en) | 1998-10-27 | 2000-04-27 | Bruno Bessette | A method and device for high quality coding of wideband speech and audio signals |
| FI116992B (fi) | 1999-07-05 | 2006-04-28 | Nokia Corp | Menetelmät, järjestelmä ja laitteet audiosignaalin koodauksen ja siirron tehostamiseksi |
| GB2357231B (en) * | 1999-10-01 | 2004-06-09 | Ibm | Method and system for encoding and decoding speech signals |
| WO2003019527A1 (fr) * | 2001-08-31 | 2003-03-06 | Kabushiki Kaisha Kenwood | Procede et appareil de generation d'un signal affecte d'un pas et procede et appareil de compression/decompression et de synthese d'un signal vocal l'utilisant |
| JP4287637B2 (ja) * | 2002-10-17 | 2009-07-01 | パナソニック株式会社 | 音声符号化装置、音声符号化方法及びプログラム |
| US20040098255A1 (en) * | 2002-11-14 | 2004-05-20 | France Telecom | Generalized analysis-by-synthesis speech coding method, and coder implementing such method |
| US7418013B2 (en) | 2004-09-22 | 2008-08-26 | Intel Corporation | Techniques to synchronize packet rate in voice over packet networks |
| US7949520B2 (en) * | 2004-10-26 | 2011-05-24 | QNX Software Sytems Co. | Adaptive filter pitch extraction |
| RU2500043C2 (ru) | 2004-11-05 | 2013-11-27 | Панасоник Корпорэйшн | Кодер, декодер, способ кодирования и способ декодирования |
| JP4599558B2 (ja) | 2005-04-22 | 2010-12-15 | 国立大学法人九州工業大学 | ピッチ周期等化装置及びピッチ周期等化方法、並びに音声符号化装置、音声復号装置及び音声符号化方法 |
| EP1895511B1 (en) * | 2005-06-23 | 2011-09-07 | Panasonic Corporation | Audio encoding apparatus, audio decoding apparatus and audio encoding information transmitting apparatus |
| CN101395661B (zh) * | 2006-03-07 | 2013-02-06 | 艾利森电话股份有限公司 | 音频编码和解码的方法和设备 |
| CN101000768B (zh) * | 2006-06-21 | 2010-12-08 | 北京工业大学 | 嵌入式语音编解码的方法及编解码器 |
| US8812306B2 (en) | 2006-07-12 | 2014-08-19 | Panasonic Intellectual Property Corporation Of America | Speech decoding and encoding apparatus for lost frame concealment using predetermined number of waveform samples peripheral to the lost frame |
| KR20080034818A (ko) | 2006-10-17 | 2008-04-22 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
| WO2009081568A1 (ja) * | 2007-12-21 | 2009-07-02 | Panasonic Corporation | 符号化装置、復号装置および符号化方法 |
| ATE518224T1 (de) | 2008-01-04 | 2011-08-15 | Dolby Int Ab | Audiokodierer und -dekodierer |
| US8738385B2 (en) | 2010-10-20 | 2014-05-27 | Broadcom Corporation | Pitch-based pre-filtering and post-filtering for compression of audio signals |
| CN103038825B (zh) * | 2011-08-05 | 2014-04-30 | 华为技术有限公司 | 语音增强方法和设备 |
| US9418674B2 (en) * | 2012-01-17 | 2016-08-16 | GM Global Technology Operations LLC | Method and system for using vehicle sound information to enhance audio prompting |
| US9633652B2 (en) * | 2012-11-30 | 2017-04-25 | Stmicroelectronics Asia Pacific Pte Ltd. | Methods, systems, and circuits for speaker dependent voice recognition with a single lexicon |
| US9842598B2 (en) * | 2013-02-21 | 2017-12-12 | Qualcomm Incorporated | Systems and methods for mitigating potential frame instability |
-
2013
- 2013-12-16 KR KR1020130156643A patent/KR102251833B1/ko active IP Right Grant
-
2014
- 2014-11-25 CN CN201480075642.6A patent/CN106030704B/zh not_active Expired - Fee Related
- 2014-11-25 EP EP14872819.9A patent/EP3069337B1/en not_active Not-in-force
- 2014-11-25 WO PCT/KR2014/011365 patent/WO2015093742A1/en active Application Filing
- 2014-11-25 JP JP2016540509A patent/JP6573887B2/ja not_active Expired - Fee Related
- 2014-11-25 US US15/105,363 patent/US10186273B2/en not_active Expired - Fee Related
- 2014-12-11 TW TW103143185A patent/TWI555010B/zh not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100138219A1 (en) * | 2003-09-16 | 2010-06-03 | Panasonic Corporation | Coding Apparatus and Decoding Apparatus |
| US20070088546A1 (en) * | 2005-09-12 | 2007-04-19 | Geun-Bae Song | Apparatus and method for transmitting audio signals |
| US20100161323A1 (en) * | 2006-04-27 | 2010-06-24 | Panasonic Corporation | Audio encoding device, audio decoding device, and their method |
| WO2008072701A1 (ja) * | 2006-12-13 | 2008-06-19 | Panasonic Corporation | ポストフィルタおよびフィルタリング方法 |
| EP2099026A1 (en) * | 2006-12-13 | 2009-09-09 | Panasonic Corporation | Post filter and filtering method |
| WO2013183928A1 (ko) * | 2012-06-04 | 2013-12-12 | 삼성전자 주식회사 | 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108780648A (zh) * | 2016-03-18 | 2018-11-09 | 高通股份有限公司 | 用于在时间上失配的信号的音频处理 |
| CN108780648B (zh) * | 2016-03-18 | 2023-07-14 | 高通股份有限公司 | 用于在时间上失配的信号的音频处理 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI555010B (zh) | 2016-10-21 |
| EP3069337A1 (en) | 2016-09-21 |
| US10186273B2 (en) | 2019-01-22 |
| TW201539432A (zh) | 2015-10-16 |
| KR102251833B1 (ko) | 2021-05-13 |
| JP2017504054A (ja) | 2017-02-02 |
| EP3069337B1 (en) | 2019-01-02 |
| JP6573887B2 (ja) | 2019-09-11 |
| CN106030704B (zh) | 2020-07-31 |
| CN106030704A (zh) | 2016-10-12 |
| WO2015093742A1 (en) | 2015-06-25 |
| EP3069337A4 (en) | 2017-05-10 |
| US20170018280A1 (en) | 2017-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7483792B2 (ja) | 符号化オーディオ信号を復号する復号装置および復号方法 | |
| CN107925388B (zh) | 后置处理器、预处理器、音频编解码器及相关方法 | |
| RU2449387C2 (ru) | Способ и устройство для обработки сигнала | |
| US8255211B2 (en) | Temporal envelope shaping for spatial audio coding using frequency domain wiener filtering | |
| JP5047268B2 (ja) | Ｍｄｃｔ係数を使用する音声後処理 | |
| JP6992024B2 (ja) | 独立したノイズ充填を用いた強化された信号を生成するための装置および方法 | |
| JP6573887B2 (ja) | オーディオ信号の符号化方法、復号方法及びその装置 | |
| CN110556118B (zh) | 立体声信号的编码方法和装置 | |
| KR101418227B1 (ko) | 스피치 시그널 부호화 방법 및 복호화 방법 | |
| RU2481650C2 (ru) | Ослабление опережающих эхо-сигналов в цифровом звуковом сигнале | |
| KR101108955B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR102231756B1 (ko) | 오디오 신호의 부호화, 복호화 방법 및 장치 | |
| Lin et al. | Adaptive bandwidth extension of low bitrate compressed audio based on spectral correlation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |