KR20130141478A - 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램 - Google Patents
부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램 Download PDFInfo
- Publication number
- KR20130141478A KR20130141478A KR1020137008804A KR20137008804A KR20130141478A KR 20130141478 A KR20130141478 A KR 20130141478A KR 1020137008804 A KR1020137008804 A KR 1020137008804A KR 20137008804 A KR20137008804 A KR 20137008804A KR 20130141478 A KR20130141478 A KR 20130141478A
- Authority
- KR
- South Korea
- Prior art keywords
- subband
- signal
- band
- power
- low
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 257
- 230000008569 process Effects 0.000 claims description 139
- 238000009499 grossing Methods 0.000 claims description 132
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 92
- 238000011156 evaluation Methods 0.000 description 66
- 238000012545 processing Methods 0.000 description 62
- 239000013598 vector Substances 0.000 description 54
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 45
- 238000001228 spectrum Methods 0.000 description 32
- 230000002123 temporal effect Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000000611 regression analysis Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 230000001755 vocal effect Effects 0.000 description 10
- 230000001052 transient effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 240000008168 Ficus benjamina Species 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 208000016354 hearing loss disease Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000003518 caustics Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것이다. 대역 통과 필터는, 입력 신호를 복수의 서브 밴드 신호로 분할하고, 특징량 산출 회로는, 분할된 복수의 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용하여 특징량을 산출하고, 고역 서브 밴드 파워 추정 회로는, 산출된 특징량에 기초하여 고역 서브 밴드 파워의 추정값을 산출하고, 고역 신호 생성 회로는, 대역 통과 필터에 의해 분할된 복수의 서브 밴드 신호와, 고역 서브 밴드 파워 추정 회로에 의해 산출된 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성한다. 주파수 대역 확대 장치는, 고역 신호 생성 회로에 의해 생성된 고역 신호 성분을 사용하여, 입력 신호의 주파수 대역을 확대한다. 본 발명은 예를 들어 주파수 대역 확대 장치, 부호화 장치 및 복호 장치 등에 적용할 수 있다.
Description
본 발명은 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것으로, 특히, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있게 하는 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것이다.
최근 들어, 인터넷 등을 통해 음악 데이터를 배신하는 음악 배신 서비스가 널리 확산되고 있다. 이 음악 배신 서비스에서는, 음악 신호를 부호화함으로써 얻어지는 부호화 데이터를 음악 데이터로서 배신한다. 음악 신호의 부호화 방법으로는, 다운로드시에 시간이 걸리지 않도록, 부호화 데이터의 파일 용량을 줄여 비트 레이트를 낮게 하는 부호화 방법이 주류를 이루고 있다.
이러한 음악 신호의 부호화 방법으로는, 크게 구별해서, MP3(MPEG(Moving Picture Experts Group) Audio Layer 3)(국제 표준 규격 ISO/IEC 11172-3) 등의 부호화 방법이나 HE-AAC(High Efficiency MPEG4 AAC)(국제 표준 규격 ISO/IEC 14496-3) 등의 부호화 방법이 존재한다.
MP3로 대표되는 부호화 방법에서는, 음악 신호 중 인간의 귀에는 지각되기 어려운 약 15kHz 이상의 고주파수 대역(이하, 고역이라고 함)의 신호 성분을 삭제하고, 나머지 저주파수 대역(이하, 저역이라고 함)의 신호 성분을 부호화한다. 이러한 부호화 방법을, 이하, 고역 삭제 부호화 방법이라고 한다. 이 고역 삭제 부호화 방법에서는, 부호화 데이터의 파일 용량을 줄일 수 있다. 그러나, 고역의 소리는, 약간이지만 인간에게 지각 가능하므로, 부호화 데이터를 복호함으로써 얻어지는 복호 후의 음악 신호로부터 소리를 생성하여 출력하면, 원음이 갖는 현장감이 상실되거나, 소리가 탁해지는 음질 열화가 발생하는 경우가 있었다.
이에 반해, HE-AAC로 대표되는 부호화 방법에서는, 고역의 신호 성분으로부터 특징적인 정보를 추출하여, 저역의 신호 성분과 함께 부호화한다. 이러한 부호화 방법을, 이하, 고역 특징 부호화 방법이라고 한다. 이 고역 특징 부호화 방법에서는, 고역의 신호 성분의 특징적인 정보만을 고역의 신호 성분에 관한 정보로서 부호화하므로, 음질의 열화를 억제하면서 부호화 효율을 향상시킬 수 있다.
이 고역 특징 부호화 방법으로 부호화된 부호화 데이터의 복호에서는, 저역의 신호 성분과 특징적인 정보를 복호하고, 복호 후의 저역의 신호 성분과 특징적인 정보로부터 고역의 신호 성분을 생성한다. 이와 같이, 고역의 신호 성분을 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확대하는 기술을, 이하, 대역 확대 기술이라고 한다.
대역 확대 기술의 응용예의 하나로서, 상술한 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후의 후처리가 있다. 이 후처리에서는, 부호화로 상실된 고역의 신호 성분을, 복호 후의 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확대한다(특허문헌 1 참조). 또한, 특허문헌 1의 주파수 대역 확대 방법을, 이하, 특허문헌 1의 대역 확대 방법이라고 한다.
특허문헌 1의 대역 확대 방법에서는, 장치는, 복호 후의 저역의 신호 성분을 입력 신호로 해서, 입력 신호의 파워 스펙트럼으로부터 고역의 파워 스펙트럼(이하, 적절히, 고역의 주파수 포락이라고 함)을 추정하고, 그 고역의 주파수 포락을 갖는 고역의 신호 성분을 저역의 신호 성분으로부터 생성한다.
도 1은, 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 나타내고 있다.
도 1에서, 종축은, 파워를 로그로 나타내고, 횡축은, 주파수를 나타내고 있다.
장치는, 입력 신호에 관한 부호화 방식의 종류나, 샘플링 레이트, 비트 레이트 등의 정보(이하, 사이드 정보라고 함)로부터, 고역의 신호 성분의 저역단의 대역(이하, 확대 개시 대역이라고 함)을 결정한다. 이어서, 장치는, 저역의 신호 성분으로서의 입력 신호를 복수의 서브 밴드 신호로 분할한다. 장치는, 분할 후의 복수의 서브 밴드 신호, 즉, 확대 개시 대역보다 저역측(이하, 간단히 저역측이라고 함)의 복수의 서브 밴드 신호 각각의 파워의, 시간 방향에 대한 그룹마다의 평균(이하, 그룹 파워라고 함)을 구한다. 도 1에 도시되는 바와 같이, 장치는, 저역측의 복수의 서브 밴드의 신호 각각의 그룹 파워의 평균을 파워로 하고, 또한, 확대 개시 대역의 하단부의 주파수를 주파수로 하는 점을 기점으로 한다. 장치는, 그 기점을 지나는 소정의 기울기의 1차 직선을, 확대 개시 대역보다 고역측(이하, 간단히 고역측이라고 함)의 주파수 포락으로서 추정한다. 또한, 기점의 파워 방향에 대한 위치는, 유저에 의해 조정 가능하게 된다. 장치는, 고역측의 복수의 서브 밴드의 신호 각각을, 추정한 고역측의 주파수 포락이 되도록, 저역측의 복수의 서브 밴드의 신호로부터 생성한다. 장치는, 생성한 고역측의 복수의 서브 밴드의 신호를 가산하여 고역의 신호 성분으로 하고, 또한, 저역의 신호 성분을 가산하여 출력한다. 이에 의해, 주파수 대역의 확대 후의 음악 신호는, 본래의 음악 신호에 보다 가까운 것이 된다. 따라서, 보다 음질이 좋은 음악 신호를 재생하는 것이 가능하게 된다.
상술한 특허문헌 1의 대역 확대 방법은, 다양한 고역 삭제 부호화 방법이나 다양한 비트 레이트의 부호화 데이터에 대해서, 그 부호화 데이터의 복호 후의 음악 신호에 대한 주파수 대역을 확대할 수 있다는 특징을 갖고 있다.
그러나, 특허문헌 1의 대역 확대 방법은, 추정한 고역측의 주파수 포락이 소정의 기울기의 1차 직선으로 되어 있는 점에서, 즉, 주파수 포락의 형상이 고정되어 있는 점에서 개선의 여지가 있다.
즉, 음악 신호의 파워 스펙트럼은 다양한 형상을 갖고 있어, 음악 신호의 종류에 따라서는, 특허문헌 1의 대역 확대 방법에 의해 추정되는 고역측의 주파수 포락으로부터 크게 벗어나는 경우도 적지 않다.
도 2는, 예를 들어 드럼을 한번 강하게 두드렸을 때와 같은, 시간적으로 급격한 변화를 수반하는 어택성(attack nature)의 음악 신호(어택성 음악 신호)의 본래의 파워 스펙트럼의 일례를 나타내고 있다.
또한, 도 2에는, 특허문헌 1의 대역 확대 방법에 의해, 어택성 음악 신호 중 저역측의 신호 성분을 입력 신호로 해서, 그 입력 신호로부터 추정한 고역측의 주파수 포락에 대해서도 함께 나타나 있다.
도 2에 도시된 바와 같이, 어택성 음악 신호의 본래의 고역측의 파워 스펙트럼은 거의 평탄하게 되어 있다.
이에 반해, 추정한 고역측의 주파수 포락은, 소정의 음의 기울기를 갖고 있어, 기점에서, 본래의 파워 스펙트럼에 가까운 파워로 조절했다고 해도, 주파수가 높아짐에 따라 본래의 파워 스펙트럼과의 차가 커진다.
이와 같이, 특허문헌 1의 대역 확대 방법에서는, 추정한 고역측의 주파수 포락은, 본래의 고역측의 주파수 포락을 고정밀도로 재현할 수 없다. 그 결과, 주파수 대역의 확대 후의 음악 신호로부터 소리를 생성하여 출력하면, 청감상, 원음보다 소리의 명료성이 상실된 경우가 있었다.
또한, 상술한 HE-AAC 등의 고역 특징 부호화 방법에서는, 부호화되는 고역의 신호 성분의 특징적인 정보로서 고역측의 주파수 포락이 사용되는데, 복호측에서 본래의 고역측의 주파수 포락을 고정밀도로 재현할 것이 요구된다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 것이다.
본 발명의 제1 측면의 부호화 장치는, 입력 신호를 복수의 서브 밴드로 분할하여, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과, 상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽에 기초하여, 상기 입력 신호의 특징을 표현하는 특징량을 산출하는 특징량 산출 수단과, 상기 특징량을 평활화하는 평활화 수단과, 평활화된 상기 특징량과, 소정의 계수에 기초하여, 상기 고역 서브 밴드 신호의 파워의 추정값인 의사 고역 서브 밴드 파워를 산출하는 의사 고역 서브 밴드 파워 산출 수단과, 상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출하고, 상기 고역 서브 밴드 파워와 상기 의사 고역 서브 밴드 파워를 비교하여, 복수의 상기 계수 중의 어느 하나를 선택하는 선택 수단과, 선택된 상기 계수를 얻기 위한 계수 정보와, 상기 평활화에 관한 평활화 정보를 부호화하여, 고역 부호화 데이터를 생성하는 고역 부호화 수단과, 상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여 저역 부호화 데이터를 생성하는 저역 부호화 수단과, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화해서 출력 부호열을 얻는 다중화 수단을 구비한다.
상기 평활화 수단에는, 상기 입력 신호의 연속되는 소정수의 프레임의 상기 특징량을 가중 평균함으로써 상기 특징량을 평활화시킬 수 있다.
상기 평활화 정보는, 상기 가중 평균에 사용되는 상기 프레임의 수 또는 상기 가중 평균에 사용되는 가중치 중 적어도 한쪽을 나타내는 정보로 할 수 있다.
부호화 장치에는, 상기 고역 서브 밴드 신호에 기초하여, 상기 가중 평균에 사용되는 상기 프레임의 수 또는 상기 가중 평균에 사용되는 가중치 중 적어도 한쪽을 결정하는 파라미터 결정 수단을 더 설치할 수 있다.
상기 계수는, 광대역 교사(敎師) 신호로부터 얻어진 상기 특징량 및 상기 고역 서브 밴드 파워를, 설명 변수 및 피설명 변수로 한 학습에 의해 생성할 수 있다.
상기 광대역 교사 신호를, 소정의 신호를 소정의 부호화 방식 및 인코드 알고리즘에 따라 부호화하여, 부호화된 상기 소정의 신호를 복호해서 얻어진 신호로 하고, 상기 계수는, 복수의 서로 다른 부호화 방식 및 인코드 알고리즘마다, 상기 광대역 교사 신호를 사용한 상기 학습에 의해 생성할 수 있다.
본 발명의 제1 측면의 부호화 방법 또는 프로그램은, 입력 신호를 복수의 서브 밴드로 분할하여, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하고, 상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽에 기초하여, 상기 입력 신호의 특징을 표현하는 특징량을 산출하고, 상기 특징량을 평활화하여, 평활화된 상기 특징량과, 소정의 계수에 기초하여, 상기 고역 서브 밴드 신호의 파워의 추정값인 의사 고역 서브 밴드 파워를 산출하고, 상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출하고, 상기 고역 서브 밴드 파워와 상기 의사 고역 서브 밴드 파워를 비교하여, 복수의 상기 계수 중 어느 하나를 선택해서, 선택된 상기 계수를 얻기 위한 계수 정보와, 상기 평활화에 관한 평활화 정보를 부호화하여, 고역 부호화 데이터를 생성하고, 상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여, 저역 부호화 데이터를 생성하고, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화해서 출력 부호열을 얻는 스텝을 포함한다.
본 발명의 제1 측면에서는, 입력 신호가 복수의 서브 밴드로 분할되어, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호가 생성되고, 상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽에 기초하여, 상기 입력 신호의 특징을 표현하는 특징량이 산출되고, 상기 특징량이 평활화되어, 평활화된 상기 특징량과, 소정의 계수에 기초하여, 상기 고역 서브 밴드 신호의 파워의 추정값인 의사 고역 서브 밴드 파워가 산출되고, 상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워가 산출되고, 상기 고역 서브 밴드 파워와 상기 의사 고역 서브 밴드 파워가 비교되어, 복수의 상기 계수 중 어느 하나가 선택되고, 선택된 상기 계수를 얻기 위한 계수 정보와, 상기 평활화에 관한 평활화 정보가 부호화되어, 고역 부호화 데이터가 생성되고, 상기 입력 신호의 저역의 신호인 저역 신호가 부호화되어, 저역 부호화 데이터가 생성되고, 상기 저역 부호화 데이터와 상기 고역 부호화 데이터가 다중화되어서 출력 부호열이 얻어진다.
본 발명의 제2 측면의 복호 장치는, 입력된 부호화 데이터를, 저역 부호화 데이터와, 계수를 얻기 위한 계수 정보 및 평활화에 관한 평활화 정보로 비다중화하는 비다중화 수단과, 상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 수단과, 상기 저역 신호를 복수의 서브 밴드로 분할하여, 상기 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과, 상기 저역 서브 밴드 신호에 기초하여 특징량을 산출하는 특징량 산출 수단과, 상기 평활화 정보에 기초하여 상기 특징량을 평활화하는 평활화 수단과, 상기 계수 정보로부터 얻어지는 상기 계수, 평활화된 상기 특징량 및 상기 저역 서브 밴드 신호에 기초하여 고역 신호를 생성하는 생성 수단을 구비한다.
상기 평활화 수단에는, 상기 저역 신호의 연속되는 소정수의 프레임의 상기 특징량을 가중 평균함으로써, 상기 특징량을 평활화시킬 수 있다.
상기 평활화 정보는, 상기 가중 평균에 사용되는 상기 프레임의 수 또는 상기 가중 평균에 사용되는 가중치 중 적어도 한쪽을 나타내는 정보로 할 수 있다.
상기 생성 수단에는, 평활화된 상기 특징량과, 상기 계수에 기초하여, 상기 고역 신호를 구성하는 서브 밴드의 파워의 추정값인 복호 고역 서브 밴드 파워를 산출하는 복호 고역 서브 밴드 파워 산출 수단과, 상기 복호 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성 수단을 설치할 수 있다.
상기 계수는, 광대역 교사 신호로부터 얻어진 상기 특징량 및 상기 광대역 교사 신호에서의, 상기 고역 신호를 구성하는 서브 밴드와 동일한 서브 밴드의 파워를, 설명 변수 및 피설명 변수로 한 학습에 의해 생성할 수 있다.
상기 광대역 교사 신호를, 소정의 신호를 소정의 부호화 방식 및 인코드 알고리즘에 따라 부호화하고, 부호화된 상기 소정의 신호를 복호해서 얻어진 신호로 하고, 상기 계수는, 복수의 서로 다른 부호화 방식 및 인코드 알고리즘마다, 상기 광대역 교사 신호를 사용한 상기 학습에 의해 생성할 수 있다.
본 발명의 제2 측면의 복호 방법 또는 프로그램은, 입력된 부호화 데이터를, 저역 부호화 데이터와, 계수를 얻기 위한 계수 정보 및 평활화에 관한 평활화 정보로 비다중화하고, 상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고, 상기 저역 신호를 복수의 서브 밴드로 분할하여, 상기 서브 밴드마다의 저역 서브 밴드 신호를 생성하고, 상기 저역 서브 밴드 신호에 기초하여 특징량을 산출하고, 상기 평활화 정보에 기초하여 상기 특징량을 평활화하고, 상기 계수 정보로부터 얻어지는 상기 계수, 평활화된 상기 특징량 및 상기 저역 서브 밴드 신호에 기초하여, 고역 신호를 생성하는 스텝을 포함한다.
본 발명의 제2 측면에서는, 입력된 부호화 데이터가, 저역 부호화 데이터와, 계수를 얻기 위한 계수 정보 및 평활화에 관한 평활화 정보로 비다중화되고, 상기 저역 부호화 데이터가 복호되어 저역 신호가 생성되고, 상기 저역 신호가 복수의 서브 밴드로 분할되어, 상기 서브 밴드마다의 저역 서브 밴드 신호가 생성되고, 상기 저역 서브 밴드 신호에 기초하여 특징량이 산출되고, 상기 평활화 정보에 기초하여 상기 특징량이 평활화되고, 상기 계수 정보로부터 얻어지는 상기 계수, 평활화된 상기 특징량 및 상기 저역 서브 밴드 신호에 기초하여, 고역 신호가 생성된다.
본 발명의 제1 측면 및 제2 측면에 의하면, 주파수 대역의 확대에 의해, 음악 신호를 보다 고음질로 재생할 수 있다.
도 1은 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 나타내는 도면이다.
도 2는 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호의 본래의 파워 스펙트럼의 일례를 나타내는 도면이다.
도 3은 본 발명의 제1 실시 형태에서의 주파수 대역 확대 장치의 기능적 구성예를 도시하는 블록도이다.
도 4는, 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리의 예를 설명하는 흐름도이다.
도 5는, 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼과 대역 통과 필터의 주파수 축상의 배치를 도시하는 도면이다.
도 6은 보컬 구간의 주파수 특성과, 추정된 고역의 파워 스펙트럼의 예를 나타내는 도면이다.
도 7은 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼의 예를 나타내는 도면이다.
도 8은, 도 7의 입력 신호의 리프터링(liftering) 후의 파워 스펙트럼의 예를 나타내는 도면이다.
도 9는, 도 3의 주파수 대역 확대 장치의 고역 신호 생성 회로에서 사용되는 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도이다.
도 10은, 도 9의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 흐름도이다.
도 11은 본 발명의 제2 실시 형태에서의 부호화 장치의 기능적 구성예를 도시하는 블록도이다.
도 12는, 도 11의 부호화 장치에 의한 부호화 처리의 예를 설명하는 흐름도이다.
도 13은 본 발명의 제2 실시 형태에서의 복호 장치의 기능적 구성예를 도시하는 블록도이다.
도 14는, 도 13의 복호 장치에 의한 복호 처리의 예를 설명하는 흐름도이다.
도 15는, 도 11의 부호화 장치의 고역 부호화 회로에서 사용되는 대표 벡터 및 도 13의 복호 장치의 고역 복호 회로에서 사용되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도이다.
도 16은, 도 15의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 흐름도이다.
도 17은, 도 11의 부호화 장치가 출력하는 부호열의 예를 나타내는 도면이다.
도 18은 부호화 장치의 기능적 구성예를 도시하는 블록도이다.
도 19는 부호화 처리를 설명하는 흐름도이다.
도 20은 복호 장치의 기능적 구성예를 도시하는 블록도이다.
도 21은 복호 처리를 설명하는 흐름도이다.
도 22는 부호화 처리를 설명하는 흐름도이다.
도 23은 복호 처리를 설명하는 흐름도이다.
도 24는 부호화 처리를 설명하는 흐름도이다.
도 25는 부호화 처리를 설명하는 흐름도이다.
도 26은 부호화 처리를 설명하는 흐름도이다.
도 27은 부호화 처리를 설명하는 흐름도이다.
도 28은 계수 학습 장치의 구성예를 도시하는 도면이다.
도 29는 계수 학습 처리를 설명하는 흐름도이다.
도 30은 부호화 장치의 기능적 구성예를 도시하는 블록도이다.
도 31은 부호화 처리를 설명하는 흐름도이다.
도 32는 복호 장치의 기능적 구성예를 도시하는 블록도이다.
도 33은 복호 처리를 설명하는 흐름도이다.
도 34는 본 발명이 적용되는 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
도 2는 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호의 본래의 파워 스펙트럼의 일례를 나타내는 도면이다.
도 3은 본 발명의 제1 실시 형태에서의 주파수 대역 확대 장치의 기능적 구성예를 도시하는 블록도이다.
도 4는, 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리의 예를 설명하는 흐름도이다.
도 5는, 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼과 대역 통과 필터의 주파수 축상의 배치를 도시하는 도면이다.
도 6은 보컬 구간의 주파수 특성과, 추정된 고역의 파워 스펙트럼의 예를 나타내는 도면이다.
도 7은 도 3의 주파수 대역 확대 장치에 입력되는 신호의 파워 스펙트럼의 예를 나타내는 도면이다.
도 8은, 도 7의 입력 신호의 리프터링(liftering) 후의 파워 스펙트럼의 예를 나타내는 도면이다.
도 9는, 도 3의 주파수 대역 확대 장치의 고역 신호 생성 회로에서 사용되는 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도이다.
도 10은, 도 9의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 흐름도이다.
도 11은 본 발명의 제2 실시 형태에서의 부호화 장치의 기능적 구성예를 도시하는 블록도이다.
도 12는, 도 11의 부호화 장치에 의한 부호화 처리의 예를 설명하는 흐름도이다.
도 13은 본 발명의 제2 실시 형태에서의 복호 장치의 기능적 구성예를 도시하는 블록도이다.
도 14는, 도 13의 복호 장치에 의한 복호 처리의 예를 설명하는 흐름도이다.
도 15는, 도 11의 부호화 장치의 고역 부호화 회로에서 사용되는 대표 벡터 및 도 13의 복호 장치의 고역 복호 회로에서 사용되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 도시하는 블록도이다.
도 16은, 도 15의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 흐름도이다.
도 17은, 도 11의 부호화 장치가 출력하는 부호열의 예를 나타내는 도면이다.
도 18은 부호화 장치의 기능적 구성예를 도시하는 블록도이다.
도 19는 부호화 처리를 설명하는 흐름도이다.
도 20은 복호 장치의 기능적 구성예를 도시하는 블록도이다.
도 21은 복호 처리를 설명하는 흐름도이다.
도 22는 부호화 처리를 설명하는 흐름도이다.
도 23은 복호 처리를 설명하는 흐름도이다.
도 24는 부호화 처리를 설명하는 흐름도이다.
도 25는 부호화 처리를 설명하는 흐름도이다.
도 26은 부호화 처리를 설명하는 흐름도이다.
도 27은 부호화 처리를 설명하는 흐름도이다.
도 28은 계수 학습 장치의 구성예를 도시하는 도면이다.
도 29는 계수 학습 처리를 설명하는 흐름도이다.
도 30은 부호화 장치의 기능적 구성예를 도시하는 블록도이다.
도 31은 부호화 처리를 설명하는 흐름도이다.
도 32는 복호 장치의 기능적 구성예를 도시하는 블록도이다.
도 33은 복호 처리를 설명하는 흐름도이다.
도 34는 본 발명이 적용되는 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이하, 본 발명의 실시 형태에 대하여 도를 참조하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(주파수 대역 확대 장치에 본 발명을 적용한 경우)
2. 제2 실시 형태(부호화 장치 및 복호 장치에 본 발명을 적용한 경우)
3. 제3 실시 형태(계수 인덱스를 고역 부호화 데이터에 포함하는 경우)
4. 제4 실시 형태(계수 인덱스와 의사 고역 서브 밴드 파워 차분을 고역 부호화 데이터에 포함하는 경우)
5. 제5 실시 형태(평가값을 사용하여 계수 인덱스를 선택하는 경우)
6. 제6 실시 형태(계수의 일부를 공통으로 하는 경우)
7. 제7 실시 형태(특징량을 평활화하는 경우)
<1. 제1 실시 형태>
제1 실시 형태에서는, 고역 삭제 부호화 방법으로 부호화 데이터를 복호함으로써 얻어지는 복호 후의 저역의 신호 성분에 대하여 주파수 대역을 확대시키는 처리(이하, 주파수 대역 확대 처리라고 함)가 실시된다.
[주파수 대역 확대 장치의 기능적 구성예]
도 3은, 본 발명을 적용한 주파수 대역 확대 장치의 기능적 구성예를 나타내고 있다.
주파수 대역 확대 장치(10)는 복호 후의 저역의 신호 성분을 입력 신호로 해서, 그 입력 신호에 대해 주파수 대역 확대 처리를 실시하고, 그 결과 얻어지는 주파수 대역 확대 처리 후의 신호를 출력 신호로서 출력한다.
주파수 대역 확대 장치(10)는, 저역 통과 필터(11), 지연 회로(12), 대역 통과 필터(13), 특징량 산출 회로(14), 고역 서브 밴드 파워 추정 회로(15), 고역 신호 생성 회로(16), 고역 통과 필터(17) 및 신호 가산기(18)를 포함하여 구성된다.
저역 통과 필터(11)는 입력 신호를 소정의 차단 주파수에서 필터링하고, 필터링 후의 신호로서, 저역의 신호 성분인 저역 신호 성분을 지연 회로(12)에 공급한다.
지연 회로(12)는 저역 통과 필터(11)로부터의 저역 신호 성분과 후술하는 고역 신호 성분을 가산할 때의 동기를 취하기 위해서, 저역 신호 성분을, 일정한 지연시간만큼 지연하여 신호 가산기(18)에 공급한다.
대역 통과 필터(13)는 각각 상이한 통과 대역을 갖는 대역 통과 필터(13-1 내지 13-N)를 포함하여 구성된다. 대역 통과 필터(13-i)(1≤i≤N)는 입력 신호 중 소정의 통과 대역의 신호를 통과시켜, 복수의 서브 밴드 신호 중 하나로서, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다.
특징량 산출 회로(14)는 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용해서, 1개 또는 복수의 특징량을 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다. 여기서, 특징량이란, 입력 신호의, 신호로서의 특징을 나타내는 정보이다.
고역 서브 밴드 파워 추정 회로(15)는 특징량 산출 회로(14)로부터의, 1개 또는 복수의 특징량에 기초해서, 고역의 서브 밴드 신호의 파워인 고역 서브 밴드 파워의 추정값을 고역 서브 밴드마다 산출하여, 이들을 고역 신호 생성 회로(16)에 공급한다.
고역 신호 생성 회로(16)는 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 고역 서브 밴드 파워 추정 회로(15)로부터의 복수의 고역 서브 밴드 파워의 추정값에 기초해서, 고역의 신호 성분인 고역 신호 성분을 생성하여, 고역 통과 필터(17)에 공급한다.
고역 통과 필터(17)는 고역 신호 생성 회로(16)로부터의 고역 신호 성분을, 저역 통과 필터(11)에서의 차단 주파수에 대응하는 차단 주파수에서 필터링하여, 신호 가산기(18)에 공급한다.
신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하여, 출력 신호로서 출력한다.
또한, 도 3의 구성에서는, 서브 밴드 신호를 취득하기 위하여 대역 통과 필터(13)를 적용하도록 했지만, 이에 한정하지 않고, 예를 들어 특허문헌 1에 기재되어 있는 바와 같은 대역 분할 필터를 적용하도록 해도 된다.
또한 마찬가지로, 도 3의 구성에서는, 서브 밴드 신호를 합성하기 위하여 신호 가산기(18)를 적용하도록 했지만, 이에 한정하지 않고, 예를 들어 특허문헌 1에 기재되어 있는 바와 같은 대역 합성 필터를 적용하도록 해도 된다.
[주파수 대역 확대 장치의 주파수 대역 확대 처리]
이어서, 도 4의 흐름도를 참조하여, 도 3의 주파수 대역 확대 장치에 의한 주파수 대역 확대 처리에 대하여 설명한다.
스텝 S1에서, 저역 통과 필터(11)는 입력 신호를 소정의 차단 주파수에서 필터링하고, 필터링 후의 신호로서의 저역 신호 성분을 지연 회로(12)에 공급한다.
저역 통과 필터(11)는 차단 주파수로서 임의의 주파수를 설정하는 것이 가능하지만, 본 실시 형태에서는, 소정의 대역을 후술하는 확대 개시 대역으로서, 그 확대 개시 대역의 하단부의 주파수에 대응하여 차단 주파수가 설정된다. 따라서, 저역 통과 필터(11)는 필터링 후의 신호로서, 확대 개시 대역보다 저역의 신호 성분인 저역 신호 성분을 지연 회로(12)에 공급한다.
또한, 저역 통과 필터(11)는 입력 신호의 고역 삭제 부호화 방법이나 비트 레이트 등의 부호화 파라미터에 따라, 최적의 주파수를 차단 주파수로서 설정할 수도 있다. 이 부호화 파라미터로는, 예를 들어 특허문헌 1의 대역 확대 방법에서 채용되고 있는 사이드 정보를 이용할 수 있다.
스텝 S2에서, 지연 회로(12)는 저역 통과 필터(11)로부터의 저역 신호 성분을 일정한 지연 시간만큼 지연하여 신호 가산기(18)에 공급한다.
스텝 S3에서, 대역 통과 필터(13)(대역 통과 필터(13-1 내지 13-N))는 입력 신호를 복수의 서브 밴드 신호로 분할하고, 분할 후의 복수의 서브 밴드 신호 각각을, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다. 또한, 대역 통과 필터(13)에 의한 입력 신호의 분할의 처리에 대해서는, 그 상세를 후술한다.
스텝 S4에서, 특징량 산출 회로(14)는 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용해서, 1개 또는 복수의 특징량을 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다. 또한, 특징량 산출 회로(14)에 의한 특징량의 산출 처리에 대해서는, 그 상세를 후술한다.
스텝 S5에서, 고역 서브 밴드 파워 추정 회로(15)는 특징량 산출 회로(14)로부터의, 1개 또는 복수의 특징량에 기초해서, 복수의 고역 서브 밴드 파워의 추정값을 산출하여, 고역 신호 생성 회로(16)에 공급한다. 또한, 고역 서브 밴드 파워 추정 회로(15)에 의한 고역 서브 밴드 파워의 추정값의 산출 처리에 대해서는, 그 상세를 후술한다.
스텝 S6에서, 고역 신호 생성 회로(16)는 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 고역 서브 밴드 파워 추정 회로(15)로부터의 복수의 고역 서브 밴드 파워의 추정값에 기초해서, 고역 신호 성분을 생성하여, 고역 통과 필터(17)에 공급한다. 여기에서 말하는 고역 신호 성분이란, 확대 개시 대역보다 고역의 신호 성분이다. 또한, 고역 신호 생성 회로(16)에 의한 고역 신호 성분의 생성 처리에 대해서는, 그 상세를 후술한다.
스텝 S7에서, 고역 통과 필터(17)는 고역 신호 생성 회로(16)로부터의 고역 신호 성분을 필터링함으로써, 고역 신호 성분에 포함되는 저역으로의 에일리어싱(aliasing) 성분 등의 노이즈를 제거하여, 그 고역 신호 성분을 신호 가산기(18)에 공급한다.
스텝 S8에서, 신호 가산기(18)는 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하여, 출력 신호로서 출력한다.
이상의 처리에 의하면, 복호 후의 저역의 신호 성분에 대하여 주파수 대역을 확대시킬 수 있다.
이어서, 도 4의 흐름도의 스텝 S3 내지 S6 각각의 처리의 상세에 대하여 설명한다.
[대역 통과 필터에 의한 처리의 상세]
우선, 도 4의 흐름도의 스텝 S3에서의 대역 통과 필터(13)에 의한 처리의 상세에 대하여 설명한다.
또한, 설명의 편의를 위해서, 이하에서는 대역 통과 필터(13)의 개수(N)를 N=4로 한다.
예를 들어, 입력 신호의 나이키스트 주파수를 16 등분으로 분할함으로써 얻어지는 16개의 서브 밴드 중 1개를 확대 개시 대역으로 하고, 그 16개의 서브 밴드 중 확대 개시 대역보다 저역인 4개의 서브 밴드 각각을, 대역 통과 필터(13-1 내지 13-4)의 통과 대역 각각으로 한다.
도 5는, 대역 통과 필터(13-1 내지 13-4)의 각 통과 대역 각각의 주파수 축상에서의 배치를 나타내고 있다.
도 5에 도시되는 바와 같이, 확대 개시 대역보다 저역인 주파수 대역(서브 밴드) 중의 고역에서부터 1번째의 서브 밴드의 인덱스를 sb, 2번째의 서브 밴드의 인덱스를 sb-1, I번째의 서브 밴드의 인덱스를 sb-(I-1)이라 하면, 대역 통과 필터(13-1 내지 13-4) 각각은, 확대 개시 대역보다 저역인 서브 밴드 중, 인덱스가 sb 내지 sb-3의 서브 밴드 각각을 통과 대역으로서 할당한다.
또한, 본 실시 형태에서는, 대역 통과 필터(13-1 내지 13-4)의 통과 대역 각각은, 입력 신호의 나이키스트 주파수를 16 등분함으로써 얻어지는 16개의 서브 밴드 중 소정의 4개 각각인 것으로 했지만, 이에 한정하지 않고, 입력 신호의 나이키스트 주파수를 256 등분함으로써 얻어지는 256개의 서브 밴드 중 소정의 4개 각각으로 해도 된다. 또한, 대역 통과 필터(13-1 내지 13-4) 각각의 대역 폭은, 각각 상이해도 된다.
[특징량 산출 회로에 의한 처리의 상세]
이어서, 도 4의 흐름도의 스텝 S4에서의 특징량 산출 회로(14)에 의한 처리의 상세에 대하여 설명한다.
특징량 산출 회로(14)는 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용해서, 고역 서브 밴드 파워 추정 회로(15)가 고역 서브 밴드 파워의 추정값을 산출하기 위해 사용하는, 1개 또는 복수의 특징량을 산출한다.
보다 구체적으로는, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브 밴드 신호로부터, 서브 밴드마다, 서브 밴드 신호의 파워(서브 밴드 파워(이하, 저역 서브 밴드 파워라고도 함))를 특징량으로서 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다.
즉, 특징량 산출 회로(14)는 대역 통과 필터(13)로부터 공급된, 4개의 서브 밴드 신호(x(ib, n))로부터, 어떤 소정의 시간 프레임(J)에서의 저역 서브 밴드 파워(power(ib, J))를 이하의 수학식 1에 의해 구한다. 여기서, ib는, 서브 밴드의 인덱스, n은 이산 시간의 인덱스를 나타내고 있다. 또한, 1 프레임의 샘플수를 FSIZE라 하고, 파워는 데시벨로 표현되는 것으로 한다.
이와 같이 하여, 특징량 산출 회로(14)에 의해 구해진 저역 서브 밴드 파워(power(ib, J))는 특징량으로서 고역 서브 밴드 파워 추정 회로(15)에 공급된다.
[고역 서브 밴드 파워 추정 회로에 의한 처리의 상세]
이어서, 도 4의 흐름도의 스텝 S5에서의 고역 서브 밴드 파워 추정 회로(15)에 의한 처리의 상세에 대하여 설명한다.
고역 서브 밴드 파워 추정 회로(15)는 특징량 산출 회로(14)로부터 공급된 4개의 서브 밴드 파워에 기초하여, 인덱스가 sb+1인 서브 밴드(확대 개시 대역) 이후의, 확대하고자 하는 대역(주파수 확대 대역)의 서브 밴드 파워(고역 서브 밴드 파워)의 추정값을 산출한다.
즉, 고역 서브 밴드 파워 추정 회로(15)는, 주파수 확대 대역의 최고역의 서브 밴드의 인덱스를 eb라 하면, 인덱스가 sb+1 내지 eb인 서브 밴드에 대해서, (eb-sb)개의 서브 밴드 파워를 추정한다.
주파수 확대 대역에서의, 인덱스가 ib인 서브 밴드 파워의 추정값(powerest(ib, J))은 특징량 산출 회로(14)로부터 공급된 4개의 서브 밴드 파워(power(ib, j))를 사용해서, 예를 들어 이하의 수학식 2에 의해 나타내진다.
여기서, 수학식 2에서, 계수 Aib(kb), Bib는, 서브 밴드 ib마다 상이한 값을 갖는 계수이다. 계수 Aib(kb), Bib는, 다양한 입력 신호에 대하여 적합한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브 밴드 sb의 변경에 의해, 계수 Aib(kb), Bib도 최적의 값으로 변경된다. 또한, 계수 Aib(kb), Bib의 도출에 대해서는 후술한다.
수학식 2에서, 고역 서브 밴드 파워의 추정값은, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호 각각의 파워를 사용한 1차 선형 결합에 의해 산출되고 있지만, 이에 한정하지 않고, 예를 들어 시간 프레임(J)의 전후 수 프레임의 복수의 저역 서브 밴드 파워의 선형 결합을 사용하여 산출되도록 해도 되고, 비선형인 함수를 사용하여 산출되도록 해도 된다.
이와 같이 하여, 고역 서브 밴드 파워 추정 회로(15)에 의해 산출된 고역 서브 밴드 파워의 추정값은, 고역 신호 생성 회로(16)에 공급된다.
[고역 신호 생성 회로에 의한 처리의 상세]
이어서, 도 4의 흐름도의 스텝 S6에서의 고역 신호 생성 회로(16)에 의한 처리의 상세에 대하여 설명한다.
고역 신호 생성 회로(16)는 대역 통과 필터(13)로부터 공급된 복수의 서브 밴드 신호로부터, 상술한 수학식 1에 기초하여, 각각의 서브 밴드의 저역 서브 밴드 파워(power(ib, J))를 산출한다. 고역 신호 생성 회로(16)는 산출한 복수의 저역 서브 밴드 파워(power(ib, J))와, 고역 서브 밴드 파워 추정 회로(15)에 의해 상술한 수학식 2에 기초하여 산출된 고역 서브 밴드 파워의 추정값(powerest(ib, J))을 사용하여, 이하의 수학식 3에 의해 이득량(G(ib, J))을 구한다.
여기서, 수학식 3에서, sbmap(ib)는 서브 밴드 ib를 사상처의 서브 밴드로 했을 경우의 사상원의 서브 밴드의 인덱스를 나타내고 있으며, 이하의 수학식 4로 표현된다.
또한, 수학식 4에서, INT(a)는 값 a의 소수점 이하를 버리는 함수이다.
이어서, 고역 신호 생성 회로(16)는 이하의 수학식 5를 사용하여, 수학식 3에 의해 구한 이득량(G(ib, J))을 대역 통과 필터(13)의 출력에 곱함으로써, 이득 조정 후의 서브 밴드 신호(x2(ib, n))를 산출한다.
또한, 고역 신호 생성 회로(16)는 이하의 수학식 6에 의해, 인덱스가 sb-3인 서브 밴드의 하단부의 주파수에 대응하는 주파수에서, 인덱스가 sb인 서브 밴드의 상단부의 주파수에 대응하는 주파수로 코사인 변조를 행함으로써, 이득 조정 후의 서브 밴드 신호(x2(ib, n))로부터, 코사인 변환된 이득 조정 후의 서브 밴드 신호(x3(ib, n))를 산출한다.
또한, 수학식 6에서, Π는 원주율을 표현한다. 이 수학식 6은 이득 조정 후의 서브 밴드 신호(x2(ib, n))가 각각 4 밴드분 고역측의 주파수로 시프트되는 것을 의미하고 있다.
그리고, 고역 신호 생성 회로(16)는 이하의 수학식 7에 의해, 고역측으로 시프트한 이득 조정 후의 서브 밴드 신호(x3(ib, n))로부터, 고역 신호 성분(xhigh(n))을 산출한다.
이와 같이 하여, 고역 신호 생성 회로(16)에 의해, 대역 통과 필터(13)로부터의 4개의 서브 밴드 신호에 기초해서 산출한 4개의 저역 서브 밴드 파워, 및 고역 서브 밴드 파워 추정 회로(15)로부터의 고역 서브 밴드 파워의 추정값에 기초해서 고역 신호 성분이 생성되어, 고역 통과 필터(17)에 공급된다.
이상의 처리에 의하면, 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후에 얻어진 입력 신호에 대하여 복수의 서브 밴드 신호로부터 산출된 저역 서브 밴드 파워를 특징량으로 하고, 이것과 적절하게 설정된 계수에 기초해서, 고역 서브 밴드 파워의 추정값이 산출되어, 저역 서브 밴드 파워와 고역 서브 밴드 파워의 추정값으로부터 적절하게 고역 신호 성분이 생성되므로, 주파수 확대 대역의 서브 밴드 파워를 고정밀도로 추정할 수 있어, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
이상에서는, 특징량 산출 회로(14)가, 복수의 서브 밴드 신호로부터 산출된 저역 서브 밴드 파워만을 특징량으로서 산출하는 예에 대하여 설명했지만, 이 경우, 입력 신호의 종류에 따라서는, 주파수 확대 대역의 서브 밴드 파워를 고정밀도로 추정할 수 없는 경우가 있다.
따라서, 특징량 산출 회로(14)가, 주파수 확대 대역의 서브 밴드 파워의 출력 양상(고역의 파워 스펙트럼의 형상)과 상관이 강한 특징량을 산출하도록 함으로써, 고역 서브 밴드 파워 추정 회로(15)에서의 주파수 확대 대역의 서브 밴드 파워의 추정을 보다 고정밀도로 행할 수도 있다.
[특징량 산출 회로에 의해 산출되는 특징량의 다른 예]
도 6은, 어떤 입력 신호에 있어서, 보컬이 그 대부분을 차지하는 구간인 보컬 구간의 주파수 특성의 일례와, 저역 서브 밴드 파워만을 특징량으로서 산출하여 고역 서브 밴드 파워를 추정함으로써 얻어진 고역의 파워 스펙트럼을 나타내고 있다.
도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에서는, 추정된 고역의 파워 스펙트럼이, 원신호의 고역의 파워 스펙트럼보다 위에 위치하는 경우가 많다. 인간의 가성의 위화감은 인간의 귀에 지각되기 쉽기 때문에, 보컬 구간에서는 고역 서브 밴드 파워의 추정을 특히 고정밀도로 행할 필요가 있다.
또한, 도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에서는, 4.9kHz에서 11.025kHz의 사이에 1개의 큰 오목부가 있는 경우가 많다.
따라서, 이하에서는, 보컬 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로서, 주파수 영역에서의 4.9kHz 내지 11.025kHz에서의 오목부의 정도를 적용하는 예에 대하여 설명한다. 또한, 이 오목부의 정도를 나타내는 특징량을, 이하, 딥이라고 한다.
이하, 시간 프레임(J)에서의 딥(dip(J))의 산출예에 대하여 설명한다.
우선, 입력 신호 중, 시간 프레임(J)을 포함하는 전후 수 프레임의 범위에 포함되는 2048 샘플 구간의 신호에 대해 2048점 FFT(Fast Fourier Transform)를 실시하여, 주파수 축상에서의 계수를 산출한다. 산출된 각 계수의 절대값에 db 변환을 실시함으로써 파워 스펙트럼을 얻는다.
도 7은, 상술한 바와 같이 하여 얻어진 파워 스펙트럼의 일례를 나타내고 있다. 여기서, 파워 스펙트럼이 미세한 성분을 제거하기 위해서, 예를 들어 1.3kHz 이하의 성분을 제거하도록 리프터링 처리를 행한다. 리프터링 처리에 의하면, 파워 스펙트럼의 각 차원을 시간 계열로 판단하여, 저역 통과 필터에 적용함으로써 필터링 처리를 행함으로써, 스펙트럼 피크의 미세한 성분을 평활화할 수 있다.
도 8은, 리프터링 후의 입력 신호의 파워 스펙트럼의 일례를 나타내고 있다. 도 8에 나타내는 리프터링 후의 파워 스펙트럼에 있어서, 4.9kHz 내지 11.025kHz에 상당하는 범위에 포함되는 파워 스펙트럼의 최소값과 최대값의 차를 딥(dip(J))이라 한다.
이와 같이 하여, 주파수 확대 대역의 서브 밴드 파워와 상관이 강한 특징량이 산출된다. 또한, 딥(dip(J))의 산출예는, 상술한 방법에 한하지 않고, 다른 방법이어도 된다.
이어서, 주파수 확대 대역의 서브 밴드 파워와 상관이 강한 특징량의 산출의 다른 예에 대하여 설명한다.
[특징량 산출 회로에 의해 산출되는 특징량의 또 다른 예]
어떤 입력 신호에, 어택성 음악 신호를 포함하는 구간인 어택 구간의 주파수 특성에서는, 도 2를 참조하여 설명한 바와 같이 고역측의 파워 스펙트럼은 거의 평탄해져 있는 경우가 많다. 저역 서브 밴드 파워만을 특징량으로서 산출하는 방법으로는, 어택 구간을 포함하는 입력 신호 특유의 시간 변동을 나타내는 특징량을 사용하지 않고 주파수 확대 대역의 서브 밴드 파워를 추정하기 때문에, 어택 구간에 나타나는 거의 평탄한 주파수 확대 대역의 서브 밴드 파워를 고정밀도로 추정하는 것은 어렵다.
따라서, 이하에서는, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로서, 저역 서브 밴드 파워의 시간 변동을 적용하는 예에 대하여 설명한다.
어떤 시간 프레임(J)에서의 저역 서브 밴드 파워의 시간 변동(powerd(J))은 예를 들어 이하의 수학식 8에 의해 구해진다.
수학식 8에 의하면, 저역 서브 밴드 파워의 시간 변동(powerd(J))은 시간 프레임(J)에서의 4개의 저역 서브 밴드 파워의 합과, 시간 프레임(J)의 1 프레임 전의 시간 프레임(J-1)에서의 4개의 저역 서브 밴드 파워의 합의 비를 나타내고 있으며, 이 값이 클수록, 프레임간의 파워의 시간 변동이 크고, 즉, 시간 프레임(J)에 포함되는 신호는 어택성이 강한 것으로 생각된다.
또한, 도 1에서 나타낸 통계적으로 평균적인 파워 스펙트럼과, 도 2에서 나타낸 어택 구간(어택성 음악 신호)의 파워 스펙트럼을 비교하면, 어택 구간의 파워 스펙트럼은 중역에서는 우측 상승으로 되어 있다. 어택 구간에서는, 이러한 주파수 특성을 나타내는 경우가 많다.
따라서, 이하에서는, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로서, 그 중역에서의 경사를 적용하는 예에 대하여 설명한다.
어떤 시간 프레임(J)에서의 중역의 경사(slope(J))는 예를 들어 이하의 수학식 9에 의해 구해진다.
수학식 9에서, 계수(w(ib))는 고역 서브 밴드 파워에 가중치 부여하도록 조정된 가중 계수이다. 수학식 9에 의하면, slope(J)는 고역에 가중치 부여된 4개의 저역 서브 밴드 파워의 합과, 4개의 저역 서브 밴드 파워의 합의 비를 나타내고 있다. 예를 들어, 4개의 저역 서브 밴드 파워가 중역의 서브 밴드에 대한 파워로 되어 있을 경우, slope(J)는, 중역의 파워 스펙트럼이 우측 상승일 때는 큰 값을, 우측 하강일 때는 작은 값을 취한다.
또한, 어택 구간의 전후에서 중역의 경사는 크게 변동되는 경우가 많으므로, 이하의 수학식 10으로 나타내는 경사의 시간 변동(sloped(J))을, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로 하도록 해도 된다.
또한 마찬가지로, 이하의 수학식 11로 표현되는, 상술한 딥(dip(J))의 시간 변동(dipd(J))을 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로 하도록 해도 된다.
이상의 방법에 의하면, 주파수 확대 대역의 서브 밴드 파워와 상관이 강한 특징량이 산출되므로, 이들을 사용함으로써 고역 서브 밴드 파워 추정 회로(15)에서의 주파수 확대 대역의 서브 밴드 파워의 추정을, 보다 고정밀도로 행할 수 있게 된다.
이상에서는, 주파수 확대 대역의 서브 밴드 파워와 상관이 강한 특징량을 산출하는 예에 대하여 설명해 왔지만, 이하에서는, 이와 같이 해서 산출된 특징량을 사용하여 고역 서브 밴드 파워를 추정하는 예에 대하여 설명한다.
[고역 서브 밴드 파워 추정 회로에 의한 처리의 상세]
여기에서는, 도 8을 참조하여 설명한 딥과 저역 서브 밴드 파워를 특징량으로서 사용하여, 고역 서브 밴드 파워를 추정하는 예에 대하여 설명한다.
즉, 도 4의 흐름도의 스텝 S4에서, 특징량 산출 회로(14)는 대역 통과 필터(13)로부터의 4개의 서브 밴드 신호로부터, 서브 밴드마다, 저역 서브 밴드 파워와 딥을 특징량으로서 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다.
그리고, 스텝 S5에서, 고역 서브 밴드 파워 추정 회로(15)는 특징량 산출 회로(14)로부터의 4개의 저역 서브 밴드 파워 및 딥에 기초하여, 고역 서브 밴드 파워의 추정값을 산출한다.
여기서, 서브 밴드 파워와 딥에서는, 취할 수 있는 값의 범위(스케일)가 상이하기 때문에, 고역 서브 밴드 파워 추정 회로(15)는 딥의 값에 대하여 예를 들어 이하와 같은 변환을 행한다.
고역 서브 밴드 파워 추정 회로(15)는, 미리 대량의 수의 입력 신호에 대해서, 4개의 저역 서브 밴드 파워 중 최고역의 서브 밴드 파워와 딥의 값을 산출하고, 각각에 대해 평균값과 표준 편차를 구해 둔다. 여기서, 서브 밴드 파워의 평균값을 powerave, 서브 밴드 파워의 표준 편차를 powerstd, 딥의 평균값을 dipave, 딥의 표준 편차를 dipstd라 한다.
고역 서브 밴드 파워 추정 회로(15)는, 이들 값을 사용하여 딥의 값(dip(J))을 이하의 수학식 12와 같이 변환하여, 변환 후의 딥(dips(J))을 얻는다.
수학식 12로 나타나는 변환을 행함으로써, 고역 서브 밴드 파워 추정 회로(15)는, 딥의 값(dip(J))을 통계적으로 저역 서브 밴드 파워의 평균 및 분산과 동일한 변수(딥)(dips(J))로 변환할 수 있어, 딥이 취할 수 있는 값의 범위를, 서브 밴드 파워가 취할 수 있는 값의 범위와 거의 동일하게 하는 것이 가능하게 된다.
주파수 확대 대역에서의, 인덱스가 ib인 서브 밴드 파워의 추정값(powerest(ib, J))은, 특징량 산출 회로(14)로부터의 4개의 저역 서브 밴드 파워(power(ib, J))와 수학식 12로 나타난 딥(dips(J))의 선형 결합을 사용해서, 예를 들어 이하의 수학식 13에 의해 표현된다.
여기서, 수학식 13에서, 계수 Cib(kb), Dib, Eib는, 서브 밴드 ib마다 상이한 값을 갖는 계수이다. 계수 Cib(kb), Dib, Eib는, 다양한 입력 신호에 대하여 적합한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브 밴드 sb의 변경에 의해, 계수 Cib(kb), Dib, Eib도 최적의 값으로 변경된다. 또한, 계수 Cib(kb), Dib, Eib의 도출에 대해서는 후술한다.
수학식 13에서, 고역 서브 밴드 파워의 추정값은, 1차 선형 결합에 의해 산출되어 있지만, 이에 한정하지 않고, 예를 들어 시간 프레임(J)의 전후 수 프레임의 복수의 특징량의 선형 결합을 사용하여 산출되도록 해도 되고, 비선형의 함수를 사용하여 산출되도록 해도 된다.
이상의 처리에 의하면, 고역 서브 밴드 파워의 추정에, 보컬 구간 특유의 딥의 값을 특징량으로서 사용함으로써, 저역 서브 밴드 파워만을 특징량으로 할 경우에 비해, 보컬 구간에서의 고역 서브 밴드 파워의 추정 정밀도가 향상되어, 저역 서브 밴드 파워만을 특징량으로 하는 방법에서, 고역의 파워 스펙트럼이 원신호의 고역 파워 스펙트럼보다 크게 추정됨으로써 발생하는, 인간의 귀에 지각되기 쉬운 위화감이 저감되므로, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
그런데, 상술에서 설명한 방법에서 특징량으로서 산출된 딥(보컬 구간의 주파수 특성에서의 오목부의 정도)에 대해서, 서브 밴드의 분할 수가 16인 경우, 주파수 분해능이 낮기 때문에, 저역 서브 밴드 파워만으로 이 오목부의 정도를 표현할 수는 없다.
따라서, 서브 밴드의 분할 수를 증가시키고(예를 들어 16배의 256 분할), 대역 통과 필터(13)에 의한 대역 분할 수를 증가시키고(예를 들어 16배의 64개), 특징량 산출 회로(14)에 의해 산출되는 저역 서브 밴드 파워의 수를 증가시킴(예를 들어 16배의 64개)으로써, 주파수 분해능을 높여, 저역 서브 밴드 파워만으로 오목부의 정도를 표현하는 것이 가능하게 된다.
이에 의해, 저역 서브 밴드 파워만으로, 상술한 딥을 특징량으로서 사용한 고역 서브 밴드 파워의 추정과 거의 동등한 정밀도로, 고역 서브 밴드 파워를 추정하는 것이 가능할 것으로 생각된다.
그러나, 서브 밴드의 분할 수, 대역 분할 수 및 저역 서브 밴드 파워의 수를 증가시킴으로써 계산량은 증가한다. 어떠한 방법이든 동등한 정밀도로 고역 서브 밴드 파워를 추정할 수 있음을 생각하면, 서브 밴드의 분할 수는 증가시키지 않고, 딥을 특징량으로서 사용하여 고역 서브 밴드 파워를 추정하는 방법이, 계산량의 면에서 더 효율적이라고 생각된다.
이상에서는, 딥과 저역 서브 밴드 파워를 사용하여 고역 서브 밴드 파워를 추정하는 방법에 대하여 설명해 왔지만, 고역 서브 밴드 파워의 추정에 사용하는 특징량으로는, 이 조합에 한하지 않고, 상술에서 설명한 특징량(저역 서브 밴드 파워, 딥, 저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동) 중의 1개 또는 복수를 사용하도록 해도 된다. 이에 의해, 고역 서브 밴드 파워의 추정에 있어서, 더욱 정밀도를 향상시키도록 할 수 있다.
또한, 상술에서 설명한 바와 같이, 입력 신호에 있어서, 고역 서브 밴드 파워의 추정이 곤란한 구간에 특유의 파라미터를, 고역 서브 밴드 파워의 추정에 사용하는 특징량으로서 사용함으로써, 그 구간의 추정 정밀도를 향상시킬 수 있다. 예를 들어, 저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동은, 어택 구간에 특유의 파라미터이며, 이들 파라미터를 특징량으로서 사용함으로써 어택 구간에서의 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다.
또한, 저역 서브 밴드 파워와 딥 이외의 특징량, 즉, 저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동을 사용하여 고역 서브 밴드 파워의 추정을 행하는 경우에 대해서도, 상술에서 설명한 방법과 동일한 방법으로 고역 서브 밴드 파워를 추정할 수 있다.
또한, 여기에서 나타낸 특징량 각각의 산출 방법은, 상술에서 설명한 방법에 한하지 않고, 다른 방법을 사용하도록 해도 된다.
[계수 Cib(kb), Dib, Eib를 구하는 방법]
이어서, 상술한 수학식 13에서의 계수 Cib(kb), Dib, Eib를 구하는 방법에 대해 설명한다.
계수 Cib(kb), Dib, Eib를 구하는 방법으로서, 계수 Cib(kb), Dib, Eib가, 주파수 확대 대역의 서브 밴드 파워를 추정함에 있어서 다양한 입력 신호에 대하여 적합한 값이 되도록 하기 위해서, 미리 광대역의 교사 신호(이하, 광대역 교사 신호라고 함)에 의해 학습을 행하고, 그 학습 결과에 기초하여 결정하는 방법을 적용한다.
계수 Cib(kb), Dib, Eib의 학습을 행할 때에는, 확대 개시 대역보다 고역에, 도 5를 참조하여 설명한 대역 통과 필터(13-1 내지 13-4)와 동일한 통과 대역 폭을 갖는 대역 통과 필터를 배치한 계수 학습 장치를 적용한다. 계수 학습 장치는, 광대역 교사 신호가 입력되면 학습을 행한다.
[계수 학습 장치의 기능적 구성예]
도 9는, 계수 Cib(kb), Dib, Eib의 학습을 행하는 계수 학습 장치의 기능적 구성예를 나타내고 있다.
도 9의 계수 학습 장치(20)에 입력되는 광대역 교사 신호의, 확대 개시 대역보다 저역의 신호 성분은, 도 3의 주파수 대역 확대 장치(10)에 입력되는 대역 제한된 입력 신호가, 부호화시에 실시된 부호화 방식과 동일한 방식으로 부호화된 신호이면 적합하다.
계수 학습 장치(20)는, 대역 통과 필터(21), 고역 서브 밴드 파워 산출 회로(22), 특징량 산출 회로(23) 및 계수 추정 회로(24)를 포함하여 구성되어 있다.
대역 통과 필터(21)는, 각각 상이한 통과 대역을 갖는 대역 통과 필터(21-1 내지 21-(K+N))를 포함하여 구성된다. 대역 통과 필터(21-i)(1≤i≤K+N)는 입력 신호 중 소정의 통과 대역의 신호를 통과시켜, 복수의 서브 밴드 신호 중 하나로서, 고역 서브 밴드 파워 산출 회로(22) 또는 특징량 산출 회로(23)에 공급한다. 또한, 대역 통과 필터(21-1 내지 21-(K+N)) 중의 대역 통과 필터(21-1 내지 21-K)는, 확대 개시 대역보다 고역의 신호를 통과시킨다.
고역 서브 밴드 파워 산출 회로(22)는, 대역 통과 필터(21)로부터의 고역의 복수의 서브 밴드 신호에 대하여, 어떤 일정한 시간 프레임마다, 서브 밴드마다의 고역 서브 밴드 파워를 산출하여, 계수 추정 회로(24)에 공급한다.
특징량 산출 회로(23)는 고역 서브 밴드 파워 산출 회로(22)에 의해 고역 서브 밴드 파워가 산출되는 일정한 시간 프레임과 동일한 시간 프레임마다, 도 3의 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 의해 산출되는 특징량과 동일한 특징량을 산출한다. 즉, 특징량 산출 회로(23)는 대역 통과 필터(21)로부터의 복수의 서브 밴드 신호와 광대역 교사 신호 중 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하여, 계수 추정 회로(24)에 공급한다.
계수 추정 회로(24)는 일정한 시간 프레임마다의, 고역 서브 밴드 파워 산출 회로(22)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(23)로부터의 특징량에 기초하여, 도 3의 주파수 대역 확대 장치(10)의 고역 서브 밴드 파워 추정 회로(15)에서 사용되는 계수(계수 데이터)를 추정한다.
[계수 학습 장치의 계수 학습 처리]
이어서, 도 10의 흐름도를 참조하여, 도 9의 계수 학습 장치에 의한 계수 학습 처리에 대하여 설명한다.
스텝 S11에서, 대역 통과 필터(21)는 입력 신호(광대역 교사 신호)를 K+N개의 서브 밴드 신호로 분할한다. 대역 통과 필터(21-1 내지 21-K)는, 확대 개시 대역보다 고역의 복수의 서브 밴드 신호를, 고역 서브 밴드 파워 산출 회로(22)에 공급한다. 또한, 대역 통과 필터(21-(K+1) 내지 21-(K+N))는 확대 개시 대역보다 저역의 복수의 서브 밴드 신호를, 특징량 산출 회로(23)에 공급한다.
스텝 S12에서, 고역 서브 밴드 파워 산출 회로(22)는 대역 통과 필터(21)(대역 통과 필터(21-1 내지 21-K)로부터의 고역의 복수의 서브 밴드 신호에 대하여 어떤 일정한 시간 프레임마다, 서브 밴드마다의 고역 서브 밴드 파워(power(ib, J))를 산출한다. 고역 서브 밴드 파워(power(ib, J))는 상술한 수학식 1에 의해 구해진다. 고역 서브 밴드 파워 산출 회로(22)는 산출한 고역 서브 밴드 파워를 계수 추정 회로(24)에 공급한다.
스텝 S13에서, 특징량 산출 회로(23)는 고역 서브 밴드 파워 산출 회로(22)에 의해 고역 서브 밴드 파워가 산출되는 일정한 시간 프레임과 동일한 시간 프레임마다 특징량을 산출한다.
또한, 이하에서는, 도 3의 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 있어서, 저역의 4개의 서브 밴드 파워와 딥이 특징량으로서 산출되는 것을 상정하고, 계수 학습 장치(20)의 특징량 산출 회로(23)에서도 마찬가지로, 저역의 4개의 서브 밴드 파워와 딥이 산출되는 것으로서 설명한다.
즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)(대역 통과 필터(21-(K+1) 내지 21-(K+4))로부터의, 주파수 대역 확대 장치(10)의 특징량 산출 회로(14)에 입력되는 4개의 서브 밴드 신호와 각각 동일한 대역의 4개의 서브 밴드 신호를 사용하여, 4개의 저역 서브 밴드 파워를 산출한다. 또한, 특징량 산출 회로(23)는 광대역 교사 신호로부터 딥을 산출하고, 상술한 수학식 12에 기초하여 딥(dips(J))을 산출한다. 특징량 산출 회로(23)는 산출한 4개의 저역 서브 밴드 파워와 딥(dips(J))을 특징량으로서 계수 추정 회로(24)에 공급한다.
스텝 S14에서, 계수 추정 회로(24)는, 고역 서브 밴드 파워 산출 회로(22)와 특징량 산출 회로(23)로부터 동일 시간 프레임에 공급된 (eb-sb)개의 고역 서브 밴드 파워와 특징량(4개의 저역 서브 밴드 파워 및 딥(dips(J)))의 다수의 조합에 기초하여, 계수 Cib(kb), Dib, Eib의 추정을 행한다. 예를 들어, 계수 추정 회로(24)는 어떤 고역의 서브 밴드 1개에 대해서, 5개의 특징량(4개의 저역 서브 밴드 파워 및 딥(dips(J)))을 설명 변수로 하고, 고역 서브 밴드 파워의 power(ib, J)를 피설명 변수로 해서, 최소 제곱법을 사용한 회귀 분석을 행함으로써, 수학식 13에서의 계수 Cib(kb), Dib, Eib를 결정한다.
또한, 당연한 일이지만, 계수 Cib(kb), Dib, Eib의 추정 방법은, 상술한 방법에 한하지 않고, 일반적인 각종 파라미터 동정법을 적용해도 된다.
이상의 처리에 의하면, 미리 광대역 교사 신호를 사용하여, 고역 서브 밴드 파워의 추정에 사용되는 계수의 학습을 행하도록 했기 때문에, 주파수 대역 확대 장치(10)에 입력되는 다양한 입력 신호에 대하여 적합한 출력 결과를 얻는 것이 가능하게 되고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 상술한 수학식 2에서의 계수 Aib(kb), Bib도, 상술한 계수 학습 방법에 의해 구하는 것이 가능하다.
이상에서는, 주파수 대역 확대 장치(10)의 고역 서브 밴드 파워 추정 회로(15)에 있어서, 고역 서브 밴드 파워의 추정값 각각은, 4개의 저역 서브 밴드 파워와 딥의 선형 결합에 의해 산출되는 것을 전제로 한 계수 학습 처리에 대하여 설명해 왔다. 그러나, 고역 서브 밴드 파워 추정 회로(15)에서의 고역 서브 밴드 파워의 추정 방법은, 상술한 예에 한하지 않고, 예를 들어 특징량 산출 회로(14)가 딥 이외의 특징량(저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동) 중의 1개 또는 복수를 산출함으로써, 고역 서브 밴드 파워를 산출해도 되고, 시간 프레임(J)의 전후 복수 프레임의 복수의 특징량의 선형 결합을 사용하거나, 비선형한 함수를 사용하도록 해도 된다. 즉, 계수 학습 처리에 있어서, 계수 추정 회로(24)는 주파수 대역 확대 장치(10)의 고역 서브 밴드 파워 추정 회로(15)에 의해 고역 서브 밴드 파워가 산출될 때에 사용되는 특징량, 시간 프레임 및 함수에 관한 조건과 마찬가지의 조건에서, 계수를 산출(학습)할 수 있으면 된다.
<2. 제2 실시 형태>
제2 실시 형태에서는, 부호화 장치 및 복호 장치에 의해, 고역 특징 부호화 방법에서의 부호화 처리 및 복호 처리가 실시된다.
[부호화 장치의 기능적 구성예]
도 11은, 본 발명을 적용한 부호화 장치의 기능적 구성예를 나타내고 있다.
부호화 장치(30)는, 저역 통과 필터(31), 저역 부호화 회로(32), 서브 밴드 분할 회로(33), 특징량 산출 회로(34), 의사 고역 서브 밴드 파워 산출 회로(35), 의사 고역 서브 밴드 파워 차분 산출 회로(36), 고역 부호화 회로(37), 다중화 회로(38) 및 저역 복호 회로(39)를 포함하여 구성된다.
저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수에서 필터링하고, 필터링 후의 신호로서, 차단 주파수보다 저역의 신호(이하, 저역 신호라고 함)를 저역 부호화 회로(32), 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를, 다중화 회로(38) 및 저역 복호 회로(39)에 공급한다.
서브 밴드 분할 회로(33)는 입력 신호 및 저역 통과 필터(31)로부터의 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하여, 특징량 산출 회로(34) 또는 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다. 보다 구체적으로는, 서브 밴드 분할 회로(33)는, 저역 신호를 입력으로서 얻어지는 복수의 서브 밴드 신호(이하, 저역 서브 밴드 신호라고 함)를 특징량 산출 회로(34)에 공급한다. 또한, 서브 밴드 분할 회로(33)는, 입력 신호를 입력으로서 얻어지는 복수의 서브 밴드 신호 중, 저역 통과 필터(31)에서 설정되어 있는 차단 주파수보다 고역의 서브 밴드 신호(이하, 고역 서브 밴드 신호라고 함)를 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 통과 필터(31)로부터의 저역 신호 중 적어도 어느 한쪽을 사용해서, 1개 또는 복수의 특징량을 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
의사 고역 서브 밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 1개 또는 복수의 특징량에 기초해서, 의사 고역 서브 밴드 파워를 생성하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초해서, 후술하는 의사 고역 서브 밴드 파워 차분을 계산하여, 고역 부호화 회로(37)에 공급한다.
고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
다중화 회로(38)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터와, 고역 부호화 회로(37)로부터의 고역 부호화 데이터를 다중화하여, 출력 부호열로서 출력한다.
저역 복호 회로(39)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를 적절히 복호하고, 그 결과 얻어지는 복호 데이터를 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
[부호화 장치의 부호화 처리]
이어서, 도 12의 흐름도를 참조하여, 도 11의 부호화 장치(30)에 의한 부호화 처리에 대하여 설명한다.
스텝 S111에서, 저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수에서 필터링하고, 필터링 후의 신호로서의 저역 신호를, 저역 부호화 회로(32), 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.
스텝 S112에서, 저역 부호화 회로(32)는 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를 다중화 회로(38)에 공급한다.
또한, 스텝 S112에서의 저역 신호의 부호화에 관해서는, 부호화 효율이나 구해지는 회로 규모에 따라 적절한 부호화 방식이 선택되면 되며, 본 발명은 이 부호화 방식에 의존하는 것은 아니다.
스텝 S113에서, 서브 밴드 분할 회로(33)는, 입력 신호 및 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할한다. 서브 밴드 분할 회로(33)는, 저역 신호를 입력으로서 얻어지는 저역 서브 밴드 신호를, 특징량 산출 회로(34)에 공급한다. 또한, 서브 밴드 분할 회로(33)는, 입력 신호를 입력으로서 얻어지는 복수의 서브 밴드 신호 중, 저역 통과 필터(31)에서 설정된, 대역 제한의 주파수보다 높은 대역의 고역 서브 밴드 신호를, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
스텝 S114에서, 특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 통과 필터(31)로부터의 저역 신호 중 적어도 어느 한쪽을 사용해서, 1개 또는 복수의 특징량을 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다. 또한, 도 11의 특징량 산출 회로(34)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S114에서의 처리는, 도 4의 흐름도의 스텝 S4에서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S115에서, 의사 고역 서브 밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 1개 또는 복수의 특징량에 기초해서, 의사 고역 서브 밴드 파워를 생성하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다. 또한, 도 11의 의사 고역 서브 밴드 파워 산출 회로(35)는, 도 3의 고역 서브 밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S115에서의 처리는, 도 4의 흐름도의 스텝 S5에서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S116에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초해서, 의사 고역 서브 밴드 파워 차분을 계산하여, 고역 부호화 회로(37)에 공급한다.
보다 구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호에 대해서, 어떤 일정한 시간 프레임(J)에서의 (고역)서브 밴드 파워(power(ib, J))를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드 모두를, 인덱스 ib를 사용하여 식별하는 것으로 한다. 서브 밴드 파워의 산출 방법은, 제1 실시 형태와 마찬가지의 방법, 즉, 수학식 1을 사용한 방법을 적용할 수 있다.
이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 고역 서브 밴드 파워(power(ib, J))와, 시간 프레임(J)에서의 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워(powerlh(ib, J))의 차분(의사 고역 서브 밴드 파워 차분)(powerdiff(ib, J))을 구한다. 의사 고역 서브 밴드 파워 차분(powerdiff(ib, J))은 이하의 수학식 14에 의해 구해진다.
수학식 14에서, 인덱스 sb+1은, 고역 서브 밴드 신호에서의 최저역의 서브 밴드의 인덱스를 나타내고 있다. 또한, 인덱스 eb는, 고역 서브 밴드 신호에 있어서 부호화되는 최고역의 서브 밴드의 인덱스를 나타내고 있다.
이와 같이 하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 의해 산출된 의사 고역 서브 밴드 파워 차분은 고역 부호화 회로(37)에 공급된다.
스텝 S117에서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
보다 구체적으로는, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브 밴드 파워 차분을 벡터화한 것(이하, 의사 고역 서브 밴드 파워 차분 벡터라고 함)이, 미리 설정된 의사 고역 서브 밴드 파워 차분의 특징 공간에서의 복수의 클러스터 중, 어느 클러스터에 속하는지를 결정한다. 여기서, 어느 시간 프레임(J)에서의 의사 고역 서브 밴드 파워 차분 벡터는, 인덱스 ib마다의 의사 고역 서브 밴드 파워 차분(powerdiff(ib, J))의 값을 벡터의 각 요소로서 갖는, (eb-sb) 차원의 벡터를 나타내고 있다. 또한, 의사 고역 서브 밴드 파워 차분의 특징 공간도 마찬가지로 (eb-sb) 차원의 공간으로 되어 있다.
그리고, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서, 미리 설정된 복수의 클러스터의 각 대표 벡터와, 의사 고역 서브 밴드 파워 차분 벡터의 거리를 측정하여, 거리가 가장 짧은 클러스터의 인덱스(이하, 의사 고역 서브 밴드 파워 차분 ID라고 함)를 구하고, 이것을 고역 부호화 데이터로서 다중화 회로(38)에 공급한다.
스텝 S118에서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 출력된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 출력된 고역 부호화 데이터를 다중화하여, 출력 부호열을 출력한다.
그런데, 고역 특징 부호화 방법에서의 부호화 장치로는, 일본 특허 공개 제2007-17908호 공보에, 저역 서브 밴드 신호로부터 의사 고역 서브 밴드 신호를 생성하여, 의사 고역 서브 밴드 신호와, 고역 서브 밴드 신호의 파워를 서브 밴드마다 비교해서, 의사 고역 서브 밴드 신호의 파워를 고역 서브 밴드 신호의 파워와 일치시키기 위해 서브 밴드마다의 파워의 이득을 산출하고, 이것을 고역 특징의 정보로서 부호열에 포함하도록 하는 기술이 개시되어 있다.
한편, 이상의 처리에 의하면, 복호시에 고역 서브 밴드 파워를 추정하기 위한 정보로서, 출력 부호열에 의사 고역 서브 밴드 파워 차분 ID만을 포함시키는 것만으로 좋다. 즉, 예를 들어 미리 설정한 클러스터의 수가 64인 경우, 복호 장치에 있어서 고역 신호를 복원하기 위한 정보로는, 1개의 시간 프레임당, 6비트의 정보를 부호열에 추가하기만 하면 되며, 일본 특허 공개 제2007-17908호 공보에 개시된 방법과 비교하여, 부호열에 포함하는 정보량을 저감할 수 있으므로, 부호화 효율을 보다 향상시킬 수 있고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 이상의 처리에 있어서, 계산량에 여유가 있으면, 저역 복호 회로(39)가 저역 부호화 회로(32)로부터의 저역 부호화 데이터를 복호함으로써 얻어지는 저역 신호를, 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 입력하도록 해도 된다. 복호 장치에 의한 복호 처리에서는, 저역 부호화 데이터를 복호한 저역 신호로부터 특징량을 산출하고, 그 특징량에 기초하여 고역 서브 밴드의 파워를 추정한다. 그로 인해, 부호화 처리에서도, 복호한 저역 신호로부터 산출한 특징량에 기초하여 산출되는 의사 고역 서브 밴드 파워 차분 ID를 부호열에 포함하는 것이, 복호 장치에 의한 복호 처리에 있어서, 보다 고정밀도로 고역 서브 밴드 파워를 추정할 수 있다. 따라서, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
[복호 장치의 기능적 구성예]
이어서, 도 13을 참조하여, 도 11의 부호화 장치(30)에 대응하는 복호 장치의 기능적 구성예에 대하여 설명한다.
복호 장치(40)는, 비다중화 회로(41), 저역 복호 회로(42), 서브 밴드 분할 회로(43), 특징량 산출 회로(44), 고역 복호 회로(45), 복호 고역 서브 밴드 파워 산출 회로(46), 복호 고역 신호 생성 회로(47) 및 합성 회로(48)를 포함하여 구성된다.
비다중화 회로(41)는 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터로 비다중화하여, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.
저역 복호 회로(42)는, 비다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행한다. 저역 복호 회로(42)는 복호의 결과 얻어지는 저역의 신호(이하, 복호 저역 신호라고 함)를 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.
서브 밴드 분할 회로(43)는, 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하여, 얻어진 서브 밴드 신호(복호 저역 서브 밴드 신호)를 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.
특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 복호 회로(42)로부터의 복호 저역 신호 중 적어도 어느 한쪽을 사용해서, 1개 또는 복수의 특징량을 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
고역 복호 회로(45)는, 비다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 사용하여, 미리 ID(인덱스)마다 준비되어 있는, 고역 서브 밴드의 파워를 추정하기 위한 계수(이하, 복호 고역 서브 밴드 파워 추정 계수라고 함)를 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터의, 1개 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초해서, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다.
복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초해서, 복호 고역 신호를 생성하여, 합성 회로(48)에 공급한다.
합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다.
[복호 장치의 복호 처리]
이어서, 도 14의 흐름도를 참조하여, 도 13의 복호 장치에 의한 복호 처리에 대하여 설명한다.
스텝 S131에서, 비다중화 회로(41)는, 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터로 비다중화하여, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.
스텝 S132에서, 저역 복호 회로(42)는, 비다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 복호 저역 신호를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.
스텝 S133에서, 서브 밴드 분할 회로(43)는, 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호으로 등분할하여, 얻어진 복호 저역 서브 밴드 신호를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.
스텝 S134에서, 특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 복호 회로(42)로부터의 복호 저역 신호 중 적어도 어느 한쪽으로부터, 1개 또는 복수의 특징량을 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 또한, 도 13의 특징량 산출 회로(44)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S134에서의 처리는, 도 4의 흐름도의 스텝 S4에서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S135에서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 사용하여, 미리 ID(인덱스)마다 준비되어 있는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
스텝 S136에서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터의, 1개 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초해서, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다. 또한, 도 13의 복호 고역 서브 밴드 파워 산출 회로(46)는, 도 3의 고역 서브 밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S136에서의 처리는, 도 4의 흐름도의 스텝 S5에서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S137에서, 복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초해서, 복호 고역 신호를 출력한다. 또한, 도 13의 복호 고역 신호 생성 회로(47)는, 도 3의 고역 신호 생성 회로(16)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S137에서의 처리는, 도 4의 흐름도의 스텝 S6에서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.
스텝 S138에서, 합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다.
이상의 처리에 의하면, 부호화시에 미리 산출된 의사 고역 서브 밴드 파워와, 실제의 고역 서브 밴드 파워의 차분의 특징에 따른, 복호시의 고역 서브 밴드 파워 추정 계수를 사용함으로써, 복호시의 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있고, 그 결과, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 이상의 처리에 의하면, 부호열에 포함되는 고역 신호 생성을 위한 정보가, 의사 고역 서브 밴드 파워 차분 ID만으로 적기 때문에, 효율적으로 복호 처리를 행할 수 있다.
이상에서는, 본 발명을 적용한 부호화 처리 및 복호 처리에 대하여 설명해 왔지만, 이하에서는, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 산출 방법에 대하여 설명한다.
[의사 고역 서브 밴드 파워 차분의 특징 공간에서의 복수의 클러스터의 대표 벡터, 및 각 클러스터에 대응한 복호 고역 서브 밴드 파워 추정 계수의 산출 방법]
복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수를 구하는 방법으로서, 부호화시에 산출되는 의사 고역 서브 밴드 파워 차분 벡터에 따라, 복호시의 고역 서브 밴드 파워를 고정밀도로 추정할 수 있도록 계수를 준비해 둘 필요가 있다. 그로 인해, 미리 광대역 교사 신호에 의해 학습을 행하고, 그 학습 결과에 기초하여 이것들을 결정하는 방법을 적용한다.
[계수 학습 장치의 기능적 구성예]
도 15는, 복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하는 계수 학습 장치의 기능적 구성예를 나타내고 있다.
도 15의 계수 학습 장치(50)에 입력되는 광대역 교사 신호의, 부호화 장치(30)의 저역 통과 필터(31)에서 설정되는 차단 주파수 이하의 신호 성분은, 부호화 장치(30)에 대한 입력 신호가 저역 통과 필터(31)를 통과하여, 저역 부호화 회로(32)에 의해 부호화되고, 또한 복호 장치(40)의 저역 복호 회로(42)에 의해 복호된 복호 저역 신호이면 적합하다.
계수 학습 장치(50)는, 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53), 의사 고역 서브 밴드 파워 산출 회로(54), 의사 고역 서브 밴드 파워 차분 산출 회로(55), 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56) 및 계수 추정 회로(57)를 포함하여 구성된다.
또한, 도 15의 계수 학습 장치(50)에서의 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53) 및 의사 고역 서브 밴드 파워 산출 회로(54) 각각은, 도 11의 부호화 장치(30)에서의 저역 통과 필터(31), 서브 밴드 분할 회로(33), 특징량 산출 회로(34) 및 의사 고역 서브 밴드 파워 산출 회로(35) 각각과 기본적으로 마찬가지의 구성과 기능을 구비하므로, 그 설명은 적절히 생략한다.
즉, 의사 고역 서브 밴드 파워 차분 산출 회로(55)는, 도 11의 의사 고역 서브 밴드 파워 차분 산출 회로(36)와 마찬가지의 구성 및 기능을 구비하는데, 계산한 의사 고역 서브 밴드 파워 차분을, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 공급함과 함께, 의사 고역 서브 밴드 파워 차분을 계산할 때에 산출하는 고역 서브 밴드 파워를, 계수 추정 회로(57)에 공급한다.
의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 클러스터링하여, 각 클러스터에서의 대표 벡터를 산출한다.
계수 추정 회로(57)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(53)로부터의 1개 또는 복수의 특징량에 기초하여, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 의해 클러스터링된 클러스터마다의 고역 서브 밴드 파워 추정 계수를 산출한다.
[계수 학습 장치의 계수 학습 처리]
이어서, 도 16의 흐름도를 참조하여, 도 15의 계수 학습 장치(50)에 의한 계수 학습 처리에 대하여 설명한다.
또한, 도 16의 흐름도에서의 스텝 S151 내지 S155의 처리는, 계수 학습 장치(50)에 입력되는 신호가 광대역 교사 신호인 것 외에는, 도 12의 흐름도에서의 스텝 S111, S113 내지 S116의 처리와 마찬가지이므로, 그 설명은 생략한다.
즉, 스텝 S156에서, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는, 다수(대량의 시간 프레임)의 의사 고역 서브 밴드 파워 차분 벡터를, 예를 들어 64 클러스터에 클러스터링하여, 각 클러스터의 대표 벡터를 산출한다. 클러스터링의 방법의 일례로는, 예를 들어 k-means법에 의한 클러스터링을 적용할 수 있다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는 k-means법에 의한 클러스터링을 행한 결과 얻어지는, 각 클러스터의 무게 중심 벡터를 각 클러스터의 대표 벡터로 한다. 또한, 클러스터링의 방법이나 클러스터의 수는, 상술한 것에 한하지 않고, 다른 방법을 적용하도록 해도 된다.
또한, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 시간 프레임(J)에서의, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 사용해서, 64개의 대표 벡터와의 거리를 측정하여, 가장 거리가 짧아지는 대표 벡터가 속하는 클러스터의 인덱스(CID(J))를 결정한다. 또한, 인덱스(CID(J))는 1부터 클러스터 수(이 예에서는 64)까지의 정수값을 취하는 것으로 한다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 이와 같이 하여 대표 벡터를 출력하고, 또한, 인덱스(CID(J))를 계수 추정 회로(57)에 공급한다.
스텝 S157에서, 계수 추정 회로(57)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55) 및 특징량 산출 회로(53)로부터 동일 시간 프레임에 공급된 (eb-sb)개의 고역 서브 밴드 파워와 특징량의 다수의 조합 중, 동일한 인덱스(CID(J))를 갖는(동일한 클러스터에 속하는) 집합마다, 각 클러스터에서의 복호 고역 서브 밴드 파워 추정 계수의 산출을 행한다. 또한, 계수 추정 회로(57)에 의한 계수 산출의 방법은, 도 9의 계수 학습 장치(20)에서의 계수 추정 회로(24)에 의한 방법과 마찬가지인 것으로 하는데, 그 밖의 방법이어도 물론 좋다.
이상의 처리에 의하면, 미리 광대역 교사 신호를 사용하여, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하도록 했기 때문에, 부호화 장치(30)에 입력되는 다양한 입력 신호, 및 복호 장치(40)에 입력되는 다양한 입력 부호열에 대하여 적합한 출력 결과를 얻는 것이 가능하게 되고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한 신호의 부호화 및 복호에 대해서, 부호화 장치(30)의 의사 고역 서브 밴드 파워 산출 회로(35)나 복호 장치(40)의 복호 고역 서브 밴드 파워 산출 회로(46)에 있어서 고역 서브 밴드 파워를 산출하기 위한 계수 데이터는, 다음과 같이 취급하는 것도 가능하다. 즉, 입력 신호의 종류에 따라 상이한 계수 데이터를 사용하는 것으로 해서, 그 계수를 부호열의 선두에 기록해 두는 것도 가능하다.
예를 들어, 스피치나 재즈 등의 신호에 따라 계수 데이터를 변경함으로써, 부호화 효율의 향상을 도모할 수 있다.
도 17은, 이와 같이 하여 얻어진 부호열을 나타내고 있다.
도 17의 부호열 A는, 스피치를 부호화한 것이며, 스피치에 최적인 계수 데이터 α가 헤더에 기록되어 있다.
이에 반해, 도 17의 부호열 B는, 재즈를 부호화한 것이며, 재즈에 최적인 계수 데이터 β가 헤더에 기록되어 있다.
이러한 복수의 계수 데이터를 미리 동종의 음악 신호로 학습함으로써 준비하고, 부호화 장치(30)에서는 입력 신호의 헤더에 기록되어 있는 바와 같은 장르 정보로 그 계수 데이터를 선택해도 된다. 또는, 신호의 파형 해석을 행함으로써 장르를 판정하여, 계수 데이터를 선택해도 된다. 즉, 이러한, 신호의 장르 해석 방법은 특별히 한정되지 않는다.
또한, 계산 시간이 허락되면, 부호화 장치(30)에 상술한 학습 장치를 내장시켜, 그 신호 전용의 계수를 사용해서 처리를 행하고, 도 17의 부호열 C에 나타낸 바와 같이, 마지막으로 그 계수를 헤더에 기록하는 것도 가능하다.
이 방법을 사용함으로 인한 이점을 이하에 설명한다.
고역 서브 밴드 파워의 형상은, 1개의 입력 신호 내에서 유사한 부위가 다수 존재한다. 대부분의 입력 신호가 갖는 이 특징을 이용하여, 고역 서브 밴드 파워의 추정을 위한 계수의 학습을 입력 신호마다 별개로 행함으로써, 고역 서브 밴드 파워의 유사 부위의 존재에 의한 용장도를 저감시켜, 부호화 효율을 향상시킬 수 있다. 또한, 복수의 신호로 통계적으로 고역 서브 밴드 파워의 추정을 위한 계수를 학습하기보다, 보다 고정밀도로 고역 서브 밴드 파워의 추정을 행할 수 있다.
또한, 이와 같이, 부호화시에 입력 신호로부터 학습되는 계수 데이터를 수 프레임에 1회 삽입하는 형태를 취하는 것도 가능하다.
<3. 제3 실시 형태>
[부호화 장치의 기능적 구성예]
또한, 이상에서는, 의사 고역 서브 밴드 파워 차분 ID가 고역 부호화 데이터로서, 부호화 장치(30)로부터 복호 장치(40)에 출력된다고 설명했지만, 복호 고역 서브 밴드 파워 추정 계수를 얻기 위한 계수 인덱스가 고역 부호화 데이터로 되어도 된다.
그러한 경우, 부호화 장치(30)는, 예를 들어 도 18에 도시한 바와 같이 구성된다. 또한, 도 18에서, 도 11에서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.
도 18의 부호화 장치(30)는, 도 11의 부호화 장치(30)와 저역 복호 회로(39)가 설치되어 있지 않은 점에서 다르며, 그 밖의 점에서는 동일하다.
도 18의 부호화 장치(30)에서는, 특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터 공급된 저역 서브 밴드 신호를 사용해서, 저역 서브 밴드 파워를 특징량으로서 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)에는, 미리 회귀 분석에 의해 구해진, 복수의 복호 고역 서브 밴드 파워 추정 계수와, 그것들의 복호 고역 서브 밴드 파워 추정 계수를 특정하는 계수 인덱스가 대응지어져서 기록되어 있다.
구체적으로는, 복호 고역 서브 밴드 파워 추정 계수로서, 상술한 수학식 2의 연산에 사용되는 각 서브 밴드의 계수 Aib(kb)와 계수 Bib의 세트가, 미리 복수 준비되어 있다. 예를 들어, 이들 계수 Aib(kb)와 계수 Bib는, 저역 서브 밴드 파워를 설명 변수로 하고, 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 사용한 회귀 분석에 의해 미리 구해져 있다. 회귀 분석에서는, 저역 서브 밴드 신호와 고역 서브 밴드 신호로 이루어지는 입력 신호가 광대역 교사 신호로서 사용된다.
의사 고역 서브 밴드 파워 산출 회로(35)는, 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수마다, 복호 고역 서브 밴드 파워 추정 계수와, 특징량 산출 회로(34)로부터의 특징량을 사용해서, 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워를 산출하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 고역 서브 밴드 신호로부터 구해지는 고역 서브 밴드 파워와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워를 비교한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 비교의 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 가장 고역 서브 밴드 파워에 가까운 의사 고역 서브 밴드 파워가 얻어진 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스를 고역 부호화 회로(37)에 공급한다. 바꾸어 말하면, 복호시에 재현되어야 할 입력 신호의 고역 신호, 즉 참값에 가장 가까운 복호 고역 신호가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
[부호화 장치의 부호화 처리]
이어서, 도 19의 흐름도를 참조하여, 도 18의 부호화 장치(30)에 의해 행하여지는 부호화 처리에 대하여 설명한다. 또한, 스텝 S181 내지 스텝 S183의 처리는, 도 12의 스텝 S111 내지 스텝 S113의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.
스텝 S184에서, 특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호를 사용해서 특징량을 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
구체적으로는, 특징량 산출 회로(34)는, 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드 ib(단, sb-3≤ib≤sb)에 대해서, 프레임(J)(단, 0≤J)의 저역 서브 밴드 파워(power(ib, J))를 특징량으로서 산출한다. 즉, 저역 서브 밴드 파워(power(ib, J))는 프레임(J)을 구성하는 저역 서브 밴드 신호의 각 샘플의 샘플값의 제곱 평균값을 로그화함으로써 산출된다.
스텝 S185에서, 의사 고역 서브 밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터 공급된 특징량에 기초해서, 의사 고역 서브 밴드 파워를 산출하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
예를 들어, 의사 고역 서브 밴드 파워 산출 회로(35)는, 복호 고역 서브 밴드 파워 추정 계수로서 미리 기록하고 있는 계수 Aib(kb) 및 계수 Bib와, 저역 서브 밴드 파워(power(kb, J))(단, sb-3≤kb≤sb)를 사용해서 상술한 수학식 2의 연산을 행하여, 의사 고역 서브 밴드 파워(powerest(ib, J))를 산출한다.
즉, 특징량으로서 공급된 저역측의 각 서브 밴드의 저역 서브 밴드 파워(power(kb, J))에, 서브 밴드마다의 계수 Aib(kb)가 승산되고, 계수가 승산된 저역 서브 밴드 파워의 합에 계수 Bib가 더 가산되어, 의사 고역 서브 밴드 파워(powerest(ib, J))가 된다. 이 의사 고역 서브 밴드 파워는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대하여 산출된다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)는, 미리 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수마다 의사 고역 서브 밴드 파워의 산출을 행한다. 예를 들어, 계수 인덱스가 1 내지 K(단, 2≤K)인 K개의 복호 고역 서브 밴드 파워 추정 계수가 미리 준비되어 있다고 하자. 이 경우, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출되게 된다.
스텝 S186에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 의사 고역 서브 밴드 파워 차분을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호에 대해서, 상술한 수학식 1과 마찬가지의 연산을 행하여, 프레임(J)에서의 고역 서브 밴드 파워(power(ib, J))를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드 모두를, 인덱스 ib를 사용해서 식별하는 것으로 한다.
이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 14와 마찬가지의 연산을 행하여, 프레임(J)에서의 고역 서브 밴드 파워(power(ib, J))와, 의사 고역 서브 밴드 파워(powerest(ib, J))의 차분을 구한다. 이에 의해, 복호 고역 서브 밴드 파워 추정 계수마다, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워 차분(powerdiff(ib, J))이 얻어진다.
스텝 S187에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 복호 고역 서브 밴드 파워 추정 계수마다 다음 수학식 15를 계산하여, 의사 고역 서브 밴드 파워 차분의 제곱 합을 산출한다.
또한, 수학식 15에서, 차분 제곱 합(E(J, id))은, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대하여 구해진, 프레임(J)의 의사 고역 서브 밴드 파워 차분의 제곱 합을 나타내고 있다. 또한, 수학식 15에서, powerdiff(ib, J, id)는 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대하여 구해진, 인덱스가 ib인 서브 밴드의 프레임(J)의 의사 고역 서브 밴드 파워 차분(powerdiff(ib, J))을 나타내고 있다. 차분 제곱 합(E(J, id))은 K개의 각 복호 고역 서브 밴드 파워 추정 계수에 대해서 산출된다.
이와 같이 하여 얻어진 차분 제곱 합(E(J, id))은, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 사용하여 산출된 의사 고역 서브 밴드 파워의 유사한 정도를 나타내고 있다.
즉, 고역 서브 밴드 파워의 참값에 대한 추정값의 오차를 나타내고 있다. 따라서, 차분 제곱 합(E(J, id))이 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 사용한 연산에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어지게 된다. 바꾸어 말하면, 차분 제곱 합(E(J, id))이 최소가 되는 복호 고역 서브 밴드 파워 추정 계수가, 출력 부호열의 복호시에 행하여지는 주파수 대역 확대 처리에 가장 적합한 추정 계수라고 할 수 있다.
따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 차분 제곱 합(E(J, id)) 중, 값이 최소가 되는 차분 제곱 합을 선택하고, 그 차분 제곱 합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를 고역 부호화 회로(37)에 공급한다.
스텝 S188에서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된 계수 인덱스를 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
예를 들어, 스텝 S188에서는, 계수 인덱스에 대하여 엔트로피 부호화 등이 행하여진다. 이에 의해, 복호 장치(40)에 출력되는 고역 부호화 데이터의 정보량을 압축할 수 있다. 또한, 고역 부호화 데이터는, 최적의 복호 고역 서브 밴드 파워 추정 계수가 얻어지는 정보이면, 어떤 정보이어도 되며, 예를 들어 계수 인덱스가 그대로 고역 부호화 데이터로 되어도 된다.
스텝 S189에서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 공급된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 공급된 고역 부호화 데이터를 다중화하고, 그 결과 얻어진 출력 부호열을 출력하고, 부호화 처리는 종료된다.
이와 같이, 저역 부호화 데이터와 함께, 계수 인덱스를 부호화하여 얻어진 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확대 처리에 가장 적합한 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 음질이 좋은 신호를 얻을 수 있게 된다.
[복호 장치의 기능적 구성예]
또한, 도 18의 부호화 장치(30)로부터 출력된 출력 부호열을 입력 부호열로서 입력하여 복호하는 복호 장치(40)는, 예를 들어 도 20에 도시한 바와 같이 구성된다. 또한, 도 20에서, 도 13에서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 생략한다.
도 20의 복호 장치(40)는, 비다중화 회로(41) 내지 합성 회로(48)를 포함하여 구성되는 점에서는, 도 13의 복호 장치(40)와 동일하지만, 저역 복호 회로(42)로부터의 복호 저역 신호가 특징량 산출 회로(44)에는 공급되지 않는 점에서, 도 13의 복호 장치(40)와 상이하다.
도 20의 복호 장치(40)에서는, 고역 복호 회로(45)는, 도 18의 의사 고역 서브 밴드 파워 산출 회로(35)가 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수와 동일한 복호 고역 서브 밴드 파워 추정 계수를 미리 기록하고 있다. 즉, 미리 회귀 분석에 의해 구해진 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 인덱스와 대응지어져서 기록되어 있다.
고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터를 복호하고, 그 결과 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
[복호 장치의 복호 처리]
이어서, 도 21의 흐름도를 참조하여, 도 20의 복호 장치(40)에 의해 행하여지는 복호 처리에 대하여 설명한다.
이 복호 처리는, 부호화 장치(30)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(40)에 공급된다고 개시된다. 또한, 스텝 S211 내지 스텝 S213의 처리는, 도 14의 스텝 S131 내지 스텝 S133의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S214에서, 특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호를 사용해서 특징량을 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 구체적으로는, 특징량 산출 회로(44)는, 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드 ib에 대해서, 프레임(J)(단, 0≤J)의 저역 서브 밴드 파워(power(ib, J))를 특징량으로서 산출한다.
스텝 S215에서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 즉, 고역 복호 회로(45)에 미리 기록되어 있는 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수가 출력된다.
스텝 S216에서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초해서, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다.
즉, 복호 고역 서브 밴드 파워 산출 회로(46)는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb) 및 계수 Bib와, 특징량으로서의 저역 서브 밴드 파워(power(kb, J))(단, sb-3≤kb≤sb)를 사용해서 상술한 수학식 2의 연산을 행하여, 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서 복호 고역 서브 밴드 파워가 얻어진다.
스텝 S217에서, 복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터 공급된 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터 공급된 복호 고역 서브 밴드 파워에 기초해서, 복호 고역 신호를 생성한다.
구체적으로는, 복호 고역 신호 생성 회로(47)는, 복호 저역 서브 밴드 신호를 사용해서 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드에 대해 저역 서브 밴드 파워를 산출한다. 그리고, 복호 고역 신호 생성 회로(47)는, 얻어진 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워를 사용해서 상술한 수학식 3의 연산을 행하여, 고역측의 서브 밴드마다의 이득량(G(ib, J))을 산출한다.
또한, 복호 고역 신호 생성 회로(47)는, 이득량(G(ib, J))과 복호 저역 서브 밴드 신호를 사용해서 상술한 수학식 5 및 수학식 6의 연산을 행하여, 고역측의 각 서브 밴드에 대해 고역 서브 밴드 신호(x3(ib, n))를 생성한다.
즉, 복호 고역 신호 생성 회로(47)는, 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 비에 따라, 복호 저역 서브 밴드 신호(x(ib, n))를 진폭 변조하고, 그 결과, 얻어진 복호 저역 서브 밴드 신호(x2(ib, n))를 또한 주파수 변조한다. 이에 의해, 저역측의 서브 밴드의 주파수 성분의 신호가, 고역측의 서브 밴드의 주파수 성분의 신호로 변환되어, 고역 서브 밴드 신호(x3(ib, n))가 얻어진다.
이렇게 각 서브 밴드의 고역 서브 밴드 신호를 얻는 처리는, 보다 상세하게는 이하와 같은 처리이다.
주파수 영역에서 연속해서 배열되는 4개의 서브 밴드를, 대역 블록이라 칭하기로 하고, 저역측에 있는 인덱스가 sb 내지 sb-3인 4개의 서브 밴드로부터 1개의 대역 블록(이하, 특히 저역 블록이라고 함)이 구성되도록, 주파수 대역을 분할했다고 하자. 이때, 예를 들어 고역측의 인덱스가 sb+1 내지 sb+4인 서브 밴드로 이루어지는 대역이 1개의 대역 블록이다. 또한, 이하, 고역측, 즉 인덱스가 sb+1 이상인 서브 밴드로 이루어지는 대역 블록을, 특히 고역 블록이라 칭하기로 한다.
지금, 고역 블록을 구성하는 1개의 서브 밴드에 주목해서, 그 서브 밴드(이하, 주목 서브 밴드라고 함)의 고역 서브 밴드 신호를 생성한다고 하자. 우선, 복호 고역 신호 생성 회로(47)는, 고역 블록에서의 주목 서브 밴드의 위치와 동일 위치 관계에 있는 저역 블록의 서브 밴드를 특정한다.
예를 들어, 주목 서브 밴드의 인덱스가 sb+1이면, 주목 서브 밴드는, 고역 블록 중 가장 주파수가 낮은 대역이므로, 주목 서브 밴드와 동일 위치 관계에 있는 저역 블록의 서브 밴드는, 인덱스가 sb-3인 서브 밴드가 된다.
이와 같이 하여, 주목 서브 밴드와 동일 위치 관계에 있는 저역 블록의 서브 밴드가 특정되면, 그 서브 밴드의 저역 서브 밴드 파워 및 복호 저역 서브 밴드 신호와, 주목 서브 밴드의 복호 고역 서브 밴드 파워가 사용되어, 주목 서브 밴드의 고역 서브 밴드 신호가 생성된다.
즉, 복호 고역 서브 밴드 파워와 저역 서브 밴드 파워가, 수학식 3에 대입되어, 그것들의 파워의 비에 따른 이득량이 산출된다. 그리고, 산출된 이득량이 복호 저역 서브 밴드 신호에 승산되고, 또한 이득량이 승산된 복호 저역 서브 밴드 신호가 수학식 6의 연산에 의해 주파수 변조되어, 주목 서브 밴드의 고역 서브 밴드 신호가 된다.
이상의 처리에서, 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 얻어진다. 그러면, 복호 고역 신호 생성 회로(47)는, 또한 상술한 수학식 7의 연산을 행하여, 얻어진 각 고역 서브 밴드 신호의 합을 구해서, 복호 고역 신호를 생성한다. 복호 고역 신호 생성 회로(47)는, 얻어진 복호 고역 신호를 합성 회로(48)에 공급하고, 처리는 스텝 S217에서 스텝 S218로 진행한다.
스텝 S218에서, 합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다. 그리고, 그 후 복호 처리는 종료된다.
이상과 같이, 복호 장치(40)에 의하면, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻고, 그 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수를 사용해서 복호 고역 서브 밴드 파워를 산출하므로, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
<4. 제4 실시 형태>
[부호화 장치의 부호화 처리]
또한, 이상에서는, 고역 부호화 데이터에 계수 인덱스만이 포함되는 경우를 예로서 설명했지만, 다른 정보가 포함되도록 해도 된다.
예를 들어, 계수 인덱스가 고역 부호화 데이터에 포함되도록 하면, 실제의 고역 신호의 고역 서브 밴드 파워에 가장 가까운 복호 고역 서브 밴드 파워가 얻어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 장치(40)측에서 알 수 있다.
그러나, 실제의 고역 서브 밴드 파워(참값)와, 복호 장치(40)측에서 얻어지는 복호 고역 서브 밴드 파워(추정값)에는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에서 산출된 의사 고역 서브 밴드 파워 차분(powerdiff(ib, J))과 거의 동일한 값만큼 차가 발생한다.
따라서, 고역 부호화 데이터에, 계수 인덱스뿐만 아니라, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분도 포함되도록 하면, 복호 장치(40)측에서, 실제의 고역 서브 밴드 파워에 대한 복호 고역 서브 밴드 파워의 대략의 오차를 알 수 있다. 그렇게 하면, 이 오차를 사용하여, 더욱 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다.
이하, 도 22 및 도 23의 흐름도를 참조하여, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되는 경우에서의 부호화 처리와 복호 처리에 대하여 설명한다.
우선, 도 22의 흐름도를 참조하여, 도 18의 부호화 장치(30)에 의해 행하여지는 부호화 처리에 대해 설명한다. 또한, 스텝 S241 내지 스텝 S246의 처리는, 도 19의 스텝 S181 내지 스텝 S186의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S247에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 15의 연산을 행하여, 복호 고역 서브 밴드 파워 추정 계수마다 차분 제곱 합(E(J, id))을 산출한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 차분 제곱 합(E(J, id)) 중 값이 최소가 되는 차분 제곱 합을 선택하고, 그 차분 제곱 합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 선택된 차분 제곱 합에 대응하는 복호 고역 서브 밴드 파워 추정 계수에 대하여 구한, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분(powerdiff(ib, J))을 고역 부호화 회로(37)에 공급한다.
스텝 S248에서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된, 계수 인덱스 및 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워 차분, 즉 고역 서브 밴드 파워의 추정 오차가 고역 부호화 데이터로서 복호 장치(40)에 공급되게 된다.
고역 부호화 데이터가 얻어지면, 그 후, 스텝 S249의 처리가 행해져서 부호화 처리는 종료되는데, 스텝 S249의 처리는, 도 19의 스텝 S189의 처리와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되도록 하면, 복호 장치(40)에 있어서, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있어, 보다 음질이 좋은 음악 신호를 얻을 수 있게 된다.
[복호 장치의 복호 처리]
이어서, 도 23의 흐름도를 참조하여, 도 20의 복호 장치(40)에 의해 행하여지는 복호 처리에 대하여 설명한다. 또한, 스텝 S271 내지 스텝 S274의 처리는, 도 21의 스텝 S211 내지 스텝 S214의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S275에서, 고역 복호 회로(45)는 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행한다. 그리고, 고역 복호 회로(45)는, 복호에 의해 얻어진 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수와, 복호에 의해 얻어진 각 서브 밴드의 의사 고역 서브 밴드 파워 차분을, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
스텝 S276에서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출한다. 또한, 스텝 S276에서는, 도 21의 스텝 S216과 마찬가지의 처리가 행해진다.
스텝 S277에서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 복호 고역 서브 밴드 파워에, 고역 복호 회로(45)로부터 공급된 의사 고역 서브 밴드 파워 차분을 가산해서, 최종적인 복호 고역 서브 밴드 파워로 하여, 복호 고역 신호 생성 회로(47)에 공급한다. 즉, 산출된 각 서브 밴드의 복호 고역 서브 밴드 파워에, 동일한 서브 밴드의 의사 고역 서브 밴드 파워 차분이 가산된다.
그리고, 그 후, 스텝 S278 및 스텝 S279의 처리가 행해지고, 복호 처리는 종료되는데, 이들 처리는 도 21의 스텝 S217 및 스텝 S218과 마찬가지이므로, 그 설명은 생략한다.
이상과 같이 하여, 복호 장치(40)는, 입력 부호열의 비다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스와, 의사 고역 서브 밴드 파워 차분을 얻는다. 그리고, 복호 장치(40)는, 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수와, 의사 고역 서브 밴드 파워 차분을 사용하여 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있어, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.
또한, 부호화 장치(30)와 복호 장치(40)의 사이에서 발생하는 고역 서브 밴드 파워의 추정값의 차, 즉 의사 고역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 차(이하, 장치간 추정 차라고 함)가 고려되도록 해도 된다.
그러한 경우, 예를 들어 고역 부호화 데이터인 의사 고역 서브 밴드 파워 차분이, 장치간 추정 차로 보정되거나, 고역 부호화 데이터에 장치간 추정 차가 포함되도록 하여, 복호 장치(40)측에서, 장치간 추정 차에 의해 의사 고역 서브 밴드 파워 차분이 보정되거나 한다. 또한, 미리 복호 장치(40)측에서, 장치간 추정 차를 기록해 두도록 하고, 복호 장치(40)가 의사 고역 서브 밴드 파워 차분에 장치간 추정 차를 가산하여 보정을 행하도록 해도 된다. 이에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호를 얻을 수 있다.
<5. 제5 실시 형태>
또한, 도 18의 부호화 장치(30)에서는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)가, 차분 제곱 합(E(J, id))을 지표로 해서, 복수의 계수 인덱스로부터 최적의 것을 선택한다고 설명했지만, 차분 제곱 합과는 서로 다른 지표를 사용하여 계수 인덱스를 선택해도 된다.
예를 들어, 계수 인덱스를 선택하는 지표로서, 고역 서브 밴드 파워와 의사 고역 서브 밴드 파워의 잔차의 제곱 평균값, 최대값 및 평균값 등을 고려한 평가값을 사용하도록 해도 된다. 그러한 경우, 도 18의 부호화 장치(30)는, 도 24의 흐름도에 나타내는 부호화 처리를 행한다.
이하, 도 24의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대하여 설명한다. 또한, 스텝 S301 내지 스텝 S305의 처리는, 도 19의 스텝 S181 내지 스텝 S185의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S301 내지 스텝 S305의 처리가 행해지면, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출된다.
스텝 S306에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현재 프레임(J)을 사용한 평가값(Res(id, J))을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 사용하여, 상술한 수학식 1과 마찬가지의 연산을 행하여, 프레임(J)에서의 고역 서브 밴드 파워(power(ib, J))를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드 모두를, 인덱스 ib를 사용하여 식별하는 것으로 한다.
고역 서브 밴드 파워(power(ib, J))가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 16을 계산하여, 잔차 제곱 평균값(Resstd(id, J))을 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J)의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해지고, 그들 차분의 제곱 합이 잔차 제곱 평균값(Resstd(id, J))이다. 또한, 의사 고역 서브 밴드 파워(powerest(ib, id, J))는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대하여 구해진, 인덱스가 ib인 서브 밴드의 프레임(J)의 의사 고역 서브 밴드 파워를 나타내고 있다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 17을 계산하여, 잔차 최대값(Resmax(id, J))을 산출한다.
또한, 수학식 17에서, maxib{|power(ib, J)-powerest(ib, id, J)|}는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분의 절대값 중 최대인 것을 나타내고 있다. 따라서, 프레임(J)에서의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분의 절대값의 최대값이 잔차 최대값(Resmax(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 18을 계산하여, 잔차 평균값(Resave(id, J))을 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J)의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해지고, 그것들의 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 나누어 얻어지는 값의 절대값이 잔차 평균값(Resave(id, J))이다. 이 잔차 평균값(Resave(id, J))은, 부호가 고려된 각 서브 밴드의 추정 오차의 평균값의 크기를 나타내고 있다.
또한, 잔차 제곱 평균값(Resstd(id, J)), 잔차 최대값(Resmax(id, J)) 및 잔차 평균값(Resave(id, J))이 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 19를 계산하여, 최종적인 평가값(Res(id, J))을 산출한다.
즉, 잔차 제곱 평균값(Resstd(id, J)), 잔차 최대값(Resmax(id, J)) 및 잔차 평균값(Resave(id, J))이 가중치 부여 가산되어, 최종적인 평가값(Res(id, J))이 된다. 또한, 수학식 19에서, Wmax 및 Wave는, 미리 정해진 가중치이며, 예를 들어 Wmax=0.5, Wave=0.5 등이 된다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하여, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 즉 K개의 계수 인덱스 id마다 평가값(Res(id, J))을 산출한다.
스텝 S307에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 계수 인덱스 id마다의 평가값(Res(id, J))에 기초하여 계수 인덱스 id를 선택한다.
이상의 처리에서 얻어진 평가값(Res(id, J))은, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 사용하여 산출된 의사 고역 서브 밴드 파워의 유사한 정도를 나타내고 있다. 즉, 고역 성분의 추정 오차의 크기를 나타내고 있다.
따라서, 평가값(Res(id, J))이 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 사용한 연산에 의해, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값(Res(id, J)) 중 값이 최소가 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
계수 인덱스가 고역 부호화 회로(37)에 출력되면, 그 후, 스텝 S308 및 스텝 S309의 처리가 행해져서 부호화 처리는 종료되는데, 이들 처리는 도 19의 스텝 S188 및 스텝 S189와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 부호화 장치(30)에서는, 잔차 제곱 평균값(Resstd(id, J)), 잔차 최대값(Resmax(id, J)) 및 잔차 평균값(Resave(id, J))으로부터 산출된 평가값(Res(id, J))이 사용되어, 최적의 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
평가값(Res(id, J))을 사용하면, 차분 제곱 합을 사용한 경우에 비해, 보다 많은 평가 척도를 사용하여 고역 서브 밴드 파워의 추정 정밀도를 평가할 수 있으므로, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있게 된다. 이에 의해, 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확대 처리에 가장 적합한, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있어, 보다 음질이 좋은 신호를 얻을 수 있게 된다.
<변형예 1>
또한, 이상에서 설명한 부호화 처리를 입력 신호의 프레임마다 행하면, 입력 신호의 고역측의 각 서브 밴드의 고역 서브 밴드 파워의 시간적인 변동이 적은 정상부에서는, 연속하는 프레임마다 상이한 계수 인덱스가 선택되어버리는 경우가 있다.
즉, 입력 신호의 정상부를 구성하는 연속하는 프레임에서는, 각 프레임의 고역 서브 밴드 파워는 거의 동일한 값이 되므로, 그들 프레임에서는 계속해서 동일한 계수 인덱스가 선택되어야 한다. 그런데, 이들 연속하는 프레임의 구간에서, 프레임마다 선택되는 계수 인덱스가 변화하고, 그 결과, 복호 장치(40)측에서 재생되는 음성의 고역 성분이 항상 일정하지는 않게 되어버리는 경우가 있다. 그렇게 되면, 재생된 음성에는 청감상 위화감이 발생해버린다.
따라서, 부호화 장치(30)에서 계수 인덱스를 선택하는 경우에, 시간적으로 앞의 프레임에서의 고역 성분의 추정 결과도 고려되도록 해도 된다. 그러한 경우, 도 18의 부호화 장치(30)는, 도 25의 흐름도에 나타내는 부호화 처리를 행한다.
이하, 도 25의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대하여 설명한다. 또한, 스텝 S331 내지 스텝 S336의 처리는, 도 24의 스텝 S301 내지 스텝 S306의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S337에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현재 프레임을 사용한 평가값(ResP(id, J))을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임(J)보다 시간적으로 하나 앞인 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다. 여기서, 최종적으로 선택된 계수 인덱스란, 고역 부호화 회로(37)에 의해 부호화되어, 복호 장치(40)에 출력된 계수 인덱스이다.
이하에서는, 특히 프레임(J-1)에서 선택된 계수 인덱스 id를 idselected(J-1)로 한다. 또한, 계수 인덱스(idselected(J-1))의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 인덱스가 ib(단, sb+1≤ib≤eb)인 서브 밴드의 의사 고역 서브 밴드 파워를 powerest(ib, idselected(J-1), J-1)로 해서 설명을 계속한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 다음 수학식 20을 계산하여, 추정 잔차 제곱 평균값(ResPstd(id, J))을 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J-1)의 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와, 프레임(J)의 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해진다. 그리고, 그들 차분의 제곱 합이 추정 잔차 제곱 평균값(ResPstd(id, J))이다. 또한, 의사 고역 서브 밴드 파워(powerest(ib, id, J))는 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대하여 구해진, 인덱스가 ib인 서브 밴드의 프레임(J)의 의사 고역 서브 밴드 파워를 나타내고 있다.
이 추정 잔차 제곱 평균값(ResPstd(id, J))은 시간적으로 연속하는 프레임간의 의사 고역 서브 밴드 파워의 차분 제곱 합이기 때문에, 추정 잔차 제곱 평균값(ResPstd(id, J))이 작을수록, 고역 성분의 추정값의 시간적인 변화가 적어지게 된다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 21을 계산하여, 추정 잔차 최대값(ResPmax(id, J))을 산출한다.
또한, 수학식 21에서, maxib{|powerest(ib, idselected(J-1), J-1)-powerest(ib, id, J)|}는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분의 절대값 중 최대인 것을 나타내고 있다. 따라서, 시간적으로 연속하는 프레임간의 의사 고역 서브 밴드 파워의 차분의 절대값의 최대값이 추정 잔차 최대값(ResPmax(id, J))이다.
추정 잔차 최대값(ResPmax(id, J))은, 그 값이 작을수록, 연속하는 프레임간의 고역 성분의 추정 결과가 가까워진다.
추정 잔차 최대값(ResPmax(id, J))이 얻어지면, 다음으로 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 22를 계산하여, 추정 잔차 평균값(ResPave(id, J))을 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J-1)의 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와, 프레임(J)의 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해진다. 그리고, 각 서브 밴드의 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 나누어져 얻어진 값의 절대값이, 추정 잔차 평균값(ResPave(id, J))이다. 이 추정 잔차 평균값(ResPave(id, J))은 부호가 고려된 프레임간의 서브 밴드의 추정값의 차의 평균값의 크기를 나타내고 있다.
또한, 추정 잔차 제곱 평균값(ResPstd(id, J)), 추정 잔차 최대값(ResPmax(id, J)) 및 추정 잔차 평균값(ResPave(id, J))이 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 23을 계산하여, 평가값(ResP(id, J))을 산출한다.
즉, 추정 잔차 제곱 평균값(ResPstd(id, J)), 추정 잔차 최대값(ResPmax(id, J)) 및 추정 잔차 평균값(ResPave(id, J))이 가중치 부여 가산되어, 평가값(ResP(id, J))이 된다. 또한, 수학식 23에서, Wmax 및 Wave는, 미리 정해진 가중치이며, 예를 들어 Wmax=0.5, Wave=0.5 등이 된다.
이와 같이 하여, 과거 프레임과 현재 프레임을 사용한 평가값(ResP(id, J))이 산출되면, 처리는 스텝 S337에서 스텝 S338로 진행한다.
스텝 S338에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 24를 계산하여, 최종적인 평가값(Resall(id, J))을 산출한다.
즉, 구한 평가값(Res(id, J))과 평가값(ResP(id, J))이 가중치 부여 가산된다. 또한, 수학식 24에서, Wp(J)는 예를 들어 다음 수학식 25에 의해 정의되는 가중치이다.
또한, 수학식 25에서의 powerr(J)는 다음 수학식 26에 의해 정해지는 값이다.
이 powerr(J)는 프레임(J-1)과 프레임(J)의 고역 서브 밴드 파워의 차분의 평균을 나타내고 있다. 또한, 수학식 25로부터 Wp(J)는, powerr(J)이 0 근방의 소정의 범위 내의 값일 때는, powerr(J)이 작을수록 1에 가까운 값이 되고, powerr(J)이 소정의 범위의 값보다 클 때는 0이 된다.
여기서, powerr(J)가 0 근방의 소정 범위 내의 값일 경우, 연속하는 프레임간의 고역 서브 밴드 파워의 차분의 평균은 어느 정도 작아지게 된다. 바꾸어 말하면, 입력 신호의 고역 성분의 시간적인 변동이 적어, 입력 신호의 현재 프레임은 정상부가 된다.
가중치(Wp(J))는, 입력 신호의 고역 성분이 일정할수록, 보다 1에 가까운 값이 되고, 반대로 고역 성분이 일정하지 않을수록 보다 0에 가까운 값이 된다. 따라서, 수학식 24에 나타나는 평가값(Resall(id, J))에서는, 입력 신호의 고역 성분의 시간적 변동이 적을수록, 보다 직전의 프레임에서의 고역 성분의 추정 결과와의 비교 결과를 평가 척도로 한 평가값(ResP(id, J))의 기여율이 커진다.
그 결과, 입력 신호의 정상부에서는, 직전의 프레임에서의 고역 성분의 추정 결과에 가까운 것이 얻어지는 복호 고역 서브 밴드 파워 추정 계수가 선택됨으로써, 복호 장치(40)측에서, 보다 자연스럽고 음질이 좋은 음성을 재생할 수 있게 된다. 반대로, 입력 신호의 비정상부에서는, 평가값(Resall(id, J))에서의 평가값(ResP(id, J))의 항은 0이 되어, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하여, K개의 복호 고역 서브 밴드 파워 추정 계수마다 평가값(Resall(id, J))을 산출한다.
스텝 S339에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 복호 고역 서브 밴드 파워 추정 계수마다의 평가값(Resall(id, J))에 기초하여, 계수 인덱스 id를 선택한다.
이상의 처리에서 얻어진 평가값(Resall(id, J))은, 가중치를 사용하여 평가값(Res(id, J))과 평가값(ResP(id, J))을 선형 결합한 것이다. 상술한 바와 같이, 평가값(Res(id, J))은, 값이 작을수록, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다. 또한, 평가값(ResP(id, J))은, 그 값이 작을수록, 직전의 프레임의 복호 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.
따라서, 평가값(Resall(id, J))이 작을수록, 보다 적절한 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값(Resall(id, J)) 중 값이 최소가 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.
계수 인덱스가 선택되면, 그 후, 스텝 S340 및 스텝 S341의 처리가 행해져서 부호화 처리는 종료되는데, 이들 처리는 도 24의 스텝 S308 및 스텝 S309와 마찬가지이므로, 그 설명은 생략한다.
이상과 같이, 부호화 장치(30)에서는, 평가값(Res(id, J))과 평가값(ResP(id, J))을 선형 결합하여 얻어지는 평가값(Resall(id, J))이 사용되어, 최적인 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.
평가값(Resall(id, J))을 사용하면, 평가값(Res(id, J))을 사용한 경우와 마찬가지로, 보다 많은 평가 척도에 의해, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있다. 게다가, 평가값(Resall(id, J))을 사용하면, 복호 장치(40)측에서, 재생하고자 하는 신호의 고역 성분의 정상부에서의 시간적인 변동을 억제할 수 있어, 보다 음질이 좋은 신호를 얻을 수 있다.
<변형예 2>
그런데, 주파수 대역 확대 처리에서는, 보다 음질이 좋은 음성을 얻고자 한다면, 보다 저역측의 서브 밴드일수록 청감상 중요해진다. 즉, 고역측의 각 서브 밴드 중, 보다 저역측에 가까운 서브 밴드의 추정 정밀도가 높을수록, 보다 음질이 좋은 음성을 재생할 수 있다.
따라서, 각 복호 고역 서브 밴드 파워 추정 계수에 대한 평가값이 산출되는 경우에, 보다 저역측의 서브 밴드가 중시되도록 해도 된다. 그러한 경우, 도 18의 부호화 장치(30)는 도 26의 흐름도에 나타내는 부호화 처리를 행한다.
이하, 도 26의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대하여 설명한다. 또한, 스텝 S371 내지 스텝 S375의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S376에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현재 프레임(J)을 사용한 평가값(ResWband(id, J))을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 사용해서, 상술한 수학식 1과 마찬가지의 연산을 행하여, 프레임(J)에서의 고역 서브 밴드 파워(power(ib, J))를 산출한다.
고역 서브 밴드 파워(power(ib, J))가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 다음 수학식 27을 계산하여, 잔차 제곱 평균값(ResstdWband(id, J))을 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 프레임(J)의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해지고, 그들 차분에 서브 밴드마다의 가중치(Wband(ib))가 승산된다. 그리고, 가중치(Wband(ib))가 승산된 차분의 제곱 합이 잔차 제곱 평균값(ResstdWband(id, J))이다.
여기서, 가중치(Wband(ib))(단, sb+1≤ib≤eb)는 예를 들어 다음 수학식 28로 정의된다. 이 가중치(Wband(ib))의 값은, 보다 저역측의 서브 밴드일수록 커진다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값(ResmaxWband(id, J))을 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분에, 가중치(Wband(ib))가 승산된 것 중의 절대값의 최대값이, 잔차 최대값(ResmaxWband(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값(ResaveWband(id, J))을 산출한다.
구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해져서 가중치(Wband(ib))가 승산되어, 가중치(Wband(ib))가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 나누어 얻어지는 값의 절대값이 잔차 평균값(ResaveWband(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값(ResWband(id, J))을 산출한다. 즉, 잔차 제곱 평균값(ResstdWband(id, J)), 가중치(Wmax)가 승산된 잔차 최대값(ResmaxWband(id, J)) 및 가중치(Wave)가 승산된 잔차 평균값(ResaveWband(id, J))의 합이 평가값(ResWband(id, J))이다.
스텝 S377에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현재 프레임을 사용한 평가값(ResPWband(id, J))을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임(J)보다 시간적으로 하나 앞의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선, 추정 잔차 제곱 평균값(ResPstdWband(id, J))을 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와, 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해져서 가중치(Wband(ib))가 승산된다. 그리고, 가중치(Wband(ib))가 승산된 차분의 제곱 합이 추정 잔차 제곱 평균값(ResPstdWband(id, J))이다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값(ResPmaxWband(id, J))을 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분에, 가중치(Wband(ib))가 승산된 것 중의 절대값의 최대값이, 추정 잔차 최대값(ResPmaxWband(id, J))이 된다.
이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값(ResPaveWband(id, J))을 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와, 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해지고, 가중치(Wband(ib))가 승산된다. 그리고, 가중치(Wband(ib))가 승산된 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 나누어져 얻어진 값의 절대값이, 추정 잔차 평균값(ResPaveWband(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값(ResPstdWband(id, J)), 가중치(Wmax)가 승산된 추정 잔차 최대값(ResPmaxWband(id, J)) 및 가중치(Wave)가 승산된 추정 잔차 평균값(ResPaveWband(id, J))의 합을 구하여, 평가값(ResPWband(id, J))으로 한다.
스텝 S378에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값(ResWband(id, J))과, 수학식 25의 가중치(Wp(J))가 승산된 평가값(ResPWband(id, J))을 가산하여, 최종적인 평가값(ResallWband(id, J))을 산출한다. 이 평가값(ResallWband(id, J))은 K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.
그리고, 그 후, 스텝 S379 내지 스텝 S381의 처리가 행해져서 부호화 처리는 종료되는데, 이들 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S379에서는, K개의 계수 인덱스 중, 평가값(ResallWband(id, J))이 최소가 되는 것이 선택된다.
이와 같이, 보다 저역측의 서브 밴드가 중시되도록, 서브 밴드마다 가중치를 붙임으로써, 복호 장치(40)측에서, 더욱 음질이 좋은 음성을 얻을 수 있게 된다.
또한, 이상에서는, 평가값(ResallWband(id, J))에 기초하여, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행해진다고 설명했지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값(ResWband(id, J))에 기초하여 선택되도록 해도 된다.
<변형예 3>
또한, 인간의 청각은, 진폭(파워)이 큰 주파수 대역일수록 지각을 잘한다는 특성을 갖고 있으므로, 보다 파워가 큰 서브 밴드가 중시되도록, 각 복호 고역 서브 밴드 파워 추정 계수에 대한 평가값이 산출되어도 된다.
그러한 경우, 도 18의 부호화 장치(30)는, 도 27의 흐름도에 나타내는 부호화 처리를 행한다. 이하, 도 27의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대하여 설명한다. 또한, 스텝 S401 내지 스텝 S405의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S406에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상으로 되어 있는 현재 프레임(J)을 사용한 평가값(ResWpower(id, J))을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 사용해서, 상술한 수학식 1과 마찬가지의 연산을 행하여, 프레임(J)에서의 고역 서브 밴드 파워(power(ib, J))를 산출한다.
고역 서브 밴드 파워(power(ib, J))가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 다음 수학식 29를 계산하여, 잔차 제곱 평균값(ResstdWpower(id, J))을 산출한다.
즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해지고, 그들 차분에 서브 밴드마다의 가중치(Wpower(power(ib, J)))가 승산된다. 그리고, 가중치(Wpower(power(ib, J)))가 승산된 차분의 제곱 합이 잔차 제곱 평균값(ResstdWpower(id, J))이다.
여기서, 가중치(Wpower(power(ib, J)))(단, sb+1≤ib≤eb)는 예를 들어 다음 수학식 30으로 정의된다. 이 가중치(Wpower(power(ib, J)))의 값은, 그 서브 밴드의 고역 서브 밴드 파워(power(ib, J))가 클수록 커진다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 잔차 최대값(ResmaxWpower(id, J))을 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분에, 가중치(Wpower(power(ib, J)))가 승산된 것 중의 절대값의 최대값이, 잔차 최대값(ResmaxWpower(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 잔차 평균값(ResaveWpower(id, J))을 산출한다.
구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 고역 서브 밴드 파워(power(ib, J))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해져서 가중치(Wpower(power(ib, J)))가 승산되어, 가중치(Wpower(power(ib, J)))가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수(eb-sb)로 나누어 얻어지는 값의 절대값이 잔차 평균값(ResaveWpower(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 평가값(ResWpower(id, J))을 산출한다. 즉, 잔차 제곱 평균값(ResstdWpower(id, J)), 가중치(Wmax)가 승산된 잔차 최대값(ResmaxWpower(id, J)) 및 가중치(Wave)가 승산된 잔차 평균값(ResaveWpower(id, J))의 합이 평가값(ResWpower(id, J))이다.
스텝 S407에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 과거 프레임과 현재 프레임을 사용한 평가값(ResPWpower(id, J))을 산출한다.
구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 처리 대상의 프레임(J)보다 시간적으로 하나 앞의 프레임(J-1)에 대해서, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선, 추정 잔차 제곱 평균값(ResPstdWpower(id, J))을 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와, 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해져서 가중치(Wpower(power(ib, J)))가 승산된다. 그리고, 가중치(Wpower(power(ib, J)))가 승산된 차분의 제곱 합이 추정 잔차 제곱 평균값(ResPstdWpower(id, J))이다.
계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 추정 잔차 최대값(ResPmaxWpower(id, J))을 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분에, 가중치(Wpower(power(ib, J)))가 승산된 것 중의 최대값의 절대값이, 추정 잔차 최대값(ResPmaxWpower(id, J))이다.
이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는 ,추정 잔차 평균값(ResPaveWpower(id, J))을 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해서, 의사 고역 서브 밴드 파워(powerest(ib, idselected(J-1), J-1))와, 의사 고역 서브 밴드 파워(powerest(ib, id, J))의 차분이 구해지고, 가중치(Wpower(power(ib, J)))가 승산된다. 그리고, 가중치(Wpower(power(ib, J)))가 승산된 차분의 총합이 고역측의 서브 밴드수(eb-sb)로 나누어져 얻어진 값의 절대값이, 추정 잔차 평균값(ResPaveWpower(id, J))이다.
또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값(ResPstdWpower(id, J)), 가중치(Wmax)가 승산된 추정 잔차 최대값(ResPmaxWpower(id, J)) 및 가중치(Wave)가 승산된 추정 잔차 평균값(ResPaveWpower(id, J))의 합을 구하여, 평가값(ResPWpower(id, J))으로 한다.
스텝 S408에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값(ResWpower(id, J))과, 수학식 25의 가중치(Wp(J))가 승산된 평가값(ResPWpower(id, J))을 가산하여, 최종적인 평가값(ResallWpower(id, J))을 산출한다. 이 평가값(ResallWpower(id, J))은 K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.
그리고, 그 후, 스텝 S409 내지 스텝 S411의 처리가 행해져서 부호화 처리는 종료되는데, 이들 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S409에서는, K개의 계수 인덱스 중, 평가값(ResallWpower(id, J))이 최소가 되는 것이 선택된다.
이와 같이, 파워가 큰 서브 밴드가 중시되도록, 서브 밴드마다 가중치를 붙임으로써, 복호 장치(40)측에서 더욱 음질이 좋은 음성을 얻을 수 있게 된다.
또한, 이상에서는, 평가값(ResallWpower(id, J))에 기초하여, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행해진다고 설명했지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값(ResWpower(id, J))에 기초하여 선택되도록 해도 된다.
<6. 제6 실시 형태>
[계수 학습 장치의 구성]
그런데, 도 20의 복호 장치(40)에는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 인덱스에 대응지어져서 기록되어 있다. 예를 들어, 복호 장치(40)에 128개의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 기록되면, 그들 복호 고역 서브 밴드 파워 추정 계수를 기록하는 메모리 등의 기록 영역으로서 큰 영역이 필요하게 된다.
따라서, 몇 가지의 복호 고역 서브 밴드 파워 추정 계수의 일부를 공통의 계수로 하여, 복호 고역 서브 밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 하도록 해도 된다. 그러한 경우, 복호 고역 서브 밴드 파워 추정 계수를 학습에 의해 구하는 계수 학습 장치는, 예를 들어 도 28에 도시한 바와 같이 구성된다.
계수 학습 장치(81)는, 서브 밴드 분할 회로(91), 고역 서브 밴드 파워 산출 회로(92), 특징량 산출 회로(93) 및 계수 추정 회로(94)를 포함하여 구성된다.
이 계수 학습 장치(81)에는, 학습에 사용되는 악곡 데이터 등이 광대역 교사 신호로서 복수 공급된다. 광대역 교사 신호는, 고역의 복수의 서브 밴드 성분과, 저역의 복수의 서브 밴드 성분이 포함되어 있는 신호이다.
서브 밴드 분할 회로(91)는, 대역 통과 필터 등으로 이루어지고, 공급된 광대역 교사 신호를, 복수의 서브 밴드 신호로 분할하여, 고역 서브 밴드 파워 산출 회로(92) 및 특징량 산출 회로(93)에 공급한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 고역 서브 밴드 파워 산출 회로(92)에 공급되고, 인덱스가 sb-3 내지 sb인 저역측의 각 서브 밴드의 저역 서브 밴드 신호가 특징량 산출 회로(93)에 공급된다.
고역 서브 밴드 파워 산출 회로(92)는, 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하여, 계수 추정 회로(94)에 공급한다. 특징량 산출 회로(93)는, 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 기초해서, 저역 서브 밴드 파워를 특징량으로서 산출하여, 계수 추정 회로(94)에 공급한다.
계수 추정 회로(94)는, 고역 서브 밴드 파워 산출 회로(92)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(93)로부터의 특징량을 사용하여 회귀 분석을 행함으로써 복호 고역 서브 밴드 파워 추정 계수를 생성하여, 복호 장치(40)에 출력한다.
[계수 학습 처리의 설명]
이어서, 도 29의 흐름도를 참조하여, 계수 학습 장치(81)에 의해 행하여지는 계수 학습 처리에 대하여 설명한다.
스텝 S431에서, 서브 밴드 분할 회로(91)는, 공급된 복수의 광대역 교사 신호 각각을 복수의 서브 밴드 신호로 분할한다. 그리고, 서브 밴드 분할 회로(91)는 인덱스가 sb+1 내지 eb인 서브 밴드의 고역 서브 밴드 신호를 고역 서브 밴드 파워 산출 회로(92)에 공급하고, 인덱스가 sb-3 내지 sb인 서브 밴드의 저역 서브 밴드 신호를 특징량 산출 회로(93)에 공급한다.
스텝 S432에서, 고역 서브 밴드 파워 산출 회로(92)는, 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호에 대해서, 상술한 수학식 1과 마찬가지의 연산을 행하여 고역 서브 밴드 파워를 산출하여, 계수 추정 회로(94)에 공급한다.
스텝 S433에서, 특징량 산출 회로(93)는, 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 대해서, 상술한 수학식 1의 연산을 행하여 저역 서브 밴드 파워를 특징량으로서 산출하여, 계수 추정 회로(94)에 공급한다.
이에 의해, 계수 추정 회로(94)에는, 복수의 광대역 교사 신호의 각 프레임에 대해서, 고역 서브 밴드 파워와 저역 서브 밴드 파워가 공급되게 된다.
스텝 S434에서, 계수 추정 회로(94)는 최소 제곱법을 사용한 회귀 분석을 행하여, 인덱스가 sb+1 내지 eb인 고역측의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 계수 Aib(kb)와 계수 Bib를 산출한다.
또한, 회귀 분석에서는, 특징량 산출 회로(93)로부터 공급된 저역 서브 밴드 파워가 설명 변수이고, 고역 서브 밴드 파워 산출 회로(92)로부터 공급된 고역 서브 밴드 파워가 피설명 변수이다. 또한, 회귀 분석은, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임의 저역 서브 밴드 파워와 고역 서브 밴드 파워가 사용되어 행하여진다.
스텝 S435에서, 계수 추정 회로(94)는, 구한 서브 밴드 ib마다의 계수 Aib(kb)와 계수 Bib를 사용해서, 광대역 교사 신호의 각 프레임의 잔차 벡터를 구한다.
예를 들어, 계수 추정 회로(94)는, 프레임(J)의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 고역 서브 밴드 파워(power(ib, J))에서, 계수 Aib(kb)가 승산된 저역 서브 밴드 파워(power(kb, J))(단, sb-3≤kb≤sb)의 총합과 계수 Bib의 합을 감산하여 잔차를 구한다. 그리고, 프레임(J)의 각 서브 밴드 ib의 잔차로 이루어지는 벡터가 잔차 벡터이다.
또한, 잔차 벡터는, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임에 대하여 산출된다.
스텝 S436에서, 계수 추정 회로(94)는, 각 프레임에 대하여 구한 잔차 벡터를 정규화한다. 예를 들어, 계수 추정 회로(94)는, 각 서브 밴드 ib에 대해서, 전체 프레임의 잔차 벡터의 서브 밴드 ib의 잔차의 분산 값을 구하고, 그 분산 값의 평방근으로, 각 잔차 벡터에서의 서브 밴드 ib의 잔차를 나눔으로써 잔차 벡터를 정규화한다.
스텝 S437에서, 계수 추정 회로(94)는, 정규화된 전체 프레임의 잔차 벡터를 k-means법 등에 의해 클러스터링한다.
예를 들어, 계수 Aib(kb)와 계수 Bib를 사용하여, 고역 서브 밴드 파워의 추정을 행했을 때에 얻어진, 전체 프레임이 평균적인 주파수 포락을 평균 주파수 포락(SA)이라 칭하기로 한다. 또한, 평균 주파수 포락(SA)보다 파워가 큰 소정의 주파수 포락을 주파수 포락(SH)으로 하고, 평균 주파수 포락(SA)보다 파워가 작은 소정의 주파수 포락을 주파수 포락(SL)이라 한다.
이때, 평균 주파수 포락(SA), 주파수 포락(SH) 및 주파수 포락(SL)에 가까운 주파수 포락이 얻어진 계수의 잔차 벡터 각각이, 클러스터(CA), 클러스터(CH) 및 클러스터(CL)에 속하도록, 잔차 벡터의 클러스터링이 행하여진다. 바꾸어 말하면, 각 프레임의 잔차 벡터가, 클러스터(CA), 클러스터(CH) 또는 클러스터(CL) 중 어느 하나에 속하도록 클러스터링이 행하여진다.
저역 성분과 고역 성분의 상관에 기초하여 고역 성분을 추정하는 주파수 대역 확대 처리에서는, 그 특성상, 회귀 분석에 의해 얻어진 계수 Aib(kb)와 계수 Bib를 사용하여 잔차 벡터를 산출하면, 보다 고역측의 서브 밴드일수록 잔차가 커진다. 그로 인해, 잔차 벡터를 그대로 클러스터링하면, 고역측의 서브 밴드일수록 중시되어 처리가 행해지게 된다.
이에 반해, 계수 학습 장치(81)에서는, 잔차 벡터를, 각 서브 밴드의 잔차의 분산 값으로 정규화함으로써, 외관상 각 서브 밴드의 잔차의 분산을 동등한 것으로 하여, 각 서브 밴드에 균등한 가중치를 붙여서 클러스터링을 행할 수 있다.
스텝 S438에서, 계수 추정 회로(94)는, 클러스터(CA), 클러스터(CH) 또는 클러스터(CL) 중 어느 하나의 클러스터를 처리 대상의 클러스터로서 선택한다.
스텝 S439에서, 계수 추정 회로(94)는, 처리 대상의 클러스터로서 선택한 클러스터에 속하는 잔차 벡터의 프레임을 사용하여, 회귀 분석에 의해 각 서브 밴드 ib(단, sb+1≤ib≤eb)의 계수 Aib(kb)와 계수 Bib를 산출한다.
즉, 처리 대상의 클러스터에 속하는 잔차 벡터의 프레임을, 처리 대상 프레임이라 칭하기로 하면, 모든 처리 대상 프레임의 저역 서브 밴드 파워와 고역 서브 밴드 파워가, 설명 변수 및 피설명 변수로 되어, 최소 제곱법을 사용한 회귀 분석이 행하여진다. 이에 의해, 서브 밴드 ib마다 계수 Aib(kb)와 계수 Bib가 얻어진다.
스텝 S440에서, 계수 추정 회로(94)는, 모든 처리 대상 프레임에 대해서, 스텝 S439의 처리에 의해 얻어진 계수 Aib(kb)와 계수 Bib를 사용하여 잔차 벡터를 구한다. 또한, 스텝 S440에서는, 스텝 S435와 마찬가지의 처리가 행하여져서, 각 처리 대상 프레임의 잔차 벡터가 구해진다.
스텝 S441에서, 계수 추정 회로(94)는, 스텝 S440의 처리에서 구한 각 처리 대상 프레임의 잔차 벡터를, 스텝 S436과 마찬가지의 처리를 행하여 정규화한다. 즉, 서브 밴드마다, 잔차가 분산 값의 평방근으로 나누어져 잔차 벡터의 정규화가 행하여진다.
스텝 S442에서, 계수 추정 회로(94)는, 정규화된 전체 처리 대상 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다. 여기에서의 클러스터 수는, 다음과 같이 하여 정해진다. 예를 들어, 계수 학습 장치(81)에서, 128개의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 생성하고자 하는 경우에는, 처리 대상 프레임 수에 128을 승산하고, 또한 전체 프레임 수로 나누어 얻어지는 수가 클러스터 수이다. 여기서, 전체 프레임 수란, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호의 전체 프레임의 총 수이다.
스텝 S443에서, 계수 추정 회로(94)는, 스텝 S442의 처리에서 얻어진 각 클러스터의 무게 중심 벡터를 구한다.
예를 들어, 스텝 S442의 클러스터링에서 얻어진 클러스터는, 계수 인덱스에 대응하고 있어, 계수 학습 장치(81)에서는, 클러스터마다 계수 인덱스가 할당되어, 각 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 구해진다.
구체적으로는, 스텝 S438에서 클러스터(CA)가 처리 대상의 클러스터로서 선택되고, 스텝 S442에서의 클러스터링에 의해 F개의 클러스터가 얻어졌다고 하자. 지금, F개의 클러스터 중 1개의 클러스터(CF)에 주목하면, 클러스터(CF)의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수는, 스텝 S439에서 클러스터(CA)에 대해 구해진 계수 Aib(kb)가 선형 상관 항인 계수 Aib(kb)이다. 또한, 스텝 S443에서 구해진 클러스터(CF)의 무게 중심 벡터에 대하여 스텝 S441에서 행한 정규화의 역처리(역정규화)를 실시한 벡터와, 스텝 S439에서 구한 계수 Bib의 합이, 복호 고역 서브 밴드 파워 추정 계수의 상수항인 계수 Bib이다. 여기에서 말하는 역정규화란, 예를 들어 스텝 S441에서 행한 정규화가, 서브 밴드마다 잔차를 분산 값의 평방근으로 나눈 것이었을 경우, 클러스터(CF)의 무게 중심 벡터의 각 요소에 대하여 정규화시와 동일한 값(서브 밴드마다의 분산 값의 평방근)을 승산하는 처리가 된다.
즉, 스텝 S439에서 얻어진 계수 Aib(kb)와, 상술한 바와 같이 하여 구한 계수 Bib의 세트가, 클러스터(CF)의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 된다. 따라서, 클러스터링에서 얻어진 F개의 클러스터 각각은, 복호 고역 서브 밴드 파워 추정 계수의 선형 상관 항으로서, 클러스터(CA)에 대하여 구해진 계수 Aib(kb)를 공통적으로 갖게 된다.
스텝 S444에서, 계수 학습 장치(81)는 클러스터(CA), 클러스터(CH) 및 클러스터(CL)의 모든 클러스터를 처리 대상의 클러스터로서 처리했는지의 여부를 판정한다. 스텝 S444에서, 아직 모든 클러스터를 처리하지 않았다고 판단되었을 경우, 처리는 스텝 S438로 복귀되어, 상술한 처리가 반복된다. 즉, 다음 클러스터가 처리 대상으로서 선택되어, 복호 고역 서브 밴드 파워 추정 계수가 산출된다.
이에 반해, 스텝 S444에서, 모든 클러스터를 처리했다고 판정된 경우, 구하고자 하는 소정 수의 복호 고역 서브 밴드 파워 추정 계수가 얻어졌으므로, 처리는 스텝 S445로 진행한다.
스텝 S445에서, 계수 추정 회로(94)는, 구한 계수 인덱스와, 복호 고역 서브 밴드 파워 추정 계수를 복호 장치(40)에 출력하여 기록시키고, 계수 학습 처리는 종료된다.
예를 들어, 복호 장치(40)에 출력되는 복호 고역 서브 밴드 파워 추정 계수 중에는, 선형 상관 항으로서 동일한 계수 Aib(kb)를 가지는 것이 몇 개 있다. 따라서, 계수 학습 장치(81)는, 이들 공통되는 계수 Aib(kb)에 대하여 그 계수 Aib(kb)를 특정하는 정보인 선형 상관 항 인덱스(포인터)를 대응시키는 동시에, 계수 인덱스에 대하여 선형 상관 항 인덱스와 상수항인 계수 Bib를 대응시킨다.
그리고, 계수 학습 장치(81)는, 대응지어진 선형 상관 항 인덱스(포인터)와 계수 Aib(kb), 및 대응지어진 계수 인덱스와 선형 상관 항 인덱스(포인터) 및 계수 Bib를, 복호 장치(40)에 공급하여, 복호 장치(40)의 고역 복호 회로(45) 내의 메모리에 기록시킨다. 이와 같이, 복수의 복호 고역 서브 밴드 파워 추정 계수를 기록해 둠에 있어서, 각 복호 고역 서브 밴드 파워 추정 계수를 위한 기록 영역에, 공통되는 선형 상관 항에 대해서는, 선형 상관 항 인덱스(포인터)를 저장해 두면, 기록 영역을 대폭 작게 할 수 있다.
이 경우, 고역 복호 회로(45) 내의 메모리에는, 선형 상관 항 인덱스와 계수 Aib(kb)가 대응지어져서 기록되어 있으므로, 계수 인덱스로부터 선형 상관 항 인덱스와 계수 Bib를 얻고, 또한 선형 상관 항 인덱스로부터 계수 Aib(kb)를 얻을 수 있다.
또한, 본 출원인에 의한 해석의 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수의 선형 상관 항을 3 패턴 정도로 공통화해도, 주파수 대역 확대 처리한 음성의 청감상의 음질 열화는 거의 없음을 알고 있었다. 따라서, 계수 학습 장치(81)에 의하면, 주파수 대역 확대 처리 후의 음성의 음질을 열화시키지 않고, 복호 고역 서브 밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 할 수 있다.
이상과 같이 하여, 계수 학습 장치(81)는 공급된 광대역 교사 신호로부터, 각 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 생성하고 출력한다.
또한, 도 29의 계수 학습 처리에서는, 잔차 벡터를 정규화한다고 설명했지만, 스텝 S436 또는 스텝 S441의 한쪽 또는 양쪽에서, 잔차 벡터의 정규화를 행하지 않도록 해도 된다.
또한, 잔차 벡터의 정규화는 행하여지도록 하고, 복호 고역 서브 밴드 파워 추정 계수의 선형 상관 항의 공통화는 행하여지지 않도록 해도 된다. 그러한 경우, 스텝 S436에서의 정규화 처리 후, 정규화된 잔차 벡터가, 구하고자 하는 복호 고역 서브 밴드 파워 추정 계수의 수와 동일수의 클러스터로 클러스터링된다. 그리고, 각 클러스터에 속하는 잔차 벡터의 프레임이 사용되어, 클러스터마다 회귀 분석이 행하여져, 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수가 생성된다.
<7. 제7 실시 형태>
[부호화 장치의 기능적 구성예]
그런데, 이상에서는, 입력 신호의 부호화시에, 입력 신호의 저역 엔벨로프로부터, 고역 엔벨로프를 가장 고정밀도로 추정할 수 있는 계수 Aib(kb) 및 계수 Bib가 선택된다고 설명하였다. 이 경우, 계수 Aib(kb) 및 계수 Bib를 나타내는 계수 인덱스의 정보가 출력 부호열에 포함되어서 복호측에 전송되어, 출력 부호열의 복호시에는, 계수 인덱스에 대응한 계수 Aib(kb)와 계수 Bib가 사용되어, 고역 엔벨로프가 생성된다.
그런데, 저역 엔벨로프의 시간 변동이 큰 경우, 입력 신호의 연속하는 프레임에 대하여, 동일한 계수 Aib(kb) 및 계수 Bib를 사용하여 고역 엔벨로프의 추정을 행했어도, 고역 엔벨로프의 시간적인 변동이 커져버린다.
바꾸어 말하면, 저역 서브 밴드 파워의 시간적인 변동이 큰 경우, 동일한 계수 Aib(kb) 및 계수 Bib를 사용해서 복호 고역 서브 밴드 파워를 산출해도, 복호 고역 서브 밴드 파워의 시간적인 변동이 커져버린다. 이것은, 복호 고역 서브 밴드 파워의 산출에는 저역 서브 밴드 파워가 사용되기 때문에, 이 저역 서브 밴드 파워의 시간적 변동이 크면, 얻어지는 복호 고역 서브 밴드 파워도 시간적으로 크게 변동하기 때문이다.
또한, 이상에서는, 복수의 계수 Aib(kb)와 계수 Bib의 세트가, 광대역 교사 신호를 사용한 학습에 의해 미리 준비된다고 설명했지만, 이 광대역 교사 신호는, 입력 신호를 부호화하여, 부호화 후의 입력 신호를 더 복호해서 얻어지는 신호이다.
이러한 학습에 의해 얻어진 계수 Aib(kb)와 계수 Bib의 세트는, 학습시에 입력 신호를 부호화했을 때의 부호화 방식과 인코드 알고리즘으로, 실제의 입력 신호를 부호화할 경우에 적합한 계수 세트로 되어 있다.
광대역 교사 신호를 생성함에 있어서, 어떠한 부호화 방식으로 입력 신호를 부호화, 복호하는가에 따라, 서로 다른 광대역 교사 신호가 얻어지게 된다. 또한, 동일한 부호화 방식이라도 인코더(인코드 알고리즘)가 상이하면, 서로 다른 광대역 교사 신호가 얻어진다.
따라서, 입력 신호를 특정한 부호화 방식 및 인코드 알고리즘으로 부호화, 복호해서 얻어진 하나의 신호만을 광대역 교사 신호로서 사용하면, 얻어진 계수 Aib(kb)와 계수 Bib로부터, 고역 엔벨로프를 고정밀도로 추정하는 것이 곤란해질 가능성이 있었다. 즉, 부호화 방식이나 인코드 알고리즘의 차이에 충분히 대응할 수 없을 가능성이 있었다.
따라서, 저역 엔벨로프의 스무싱(평활화) 및 적절한 계수의 생성을 행함으로써, 저역 엔벨로프의 시간 변동이나 부호화 방식 등에 상관없이, 고정밀도로 고역 엔벨로프를 추정할 수 있도록 해도 된다.
그러한 경우, 입력 신호를 부호화하는 부호화 장치는, 도 30에 도시한 바와 같이 구성된다. 또한, 도 30에서, 도 18에서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다. 도 30의 부호화 장치(30)는, 도 18의 부호화 장치(30)와, 파라미터 결정부(121) 및 평활화부(122)가 새롭게 설치되어 있는 점에서 다르고, 그 밖의 점에서는 동일하다.
파라미터 결정부(121)는, 서브 밴드 분할 회로(33)로부터 공급된 고역 서브 밴드 신호에 기초하여, 특징량으로서 산출되는 저역 서브 밴드 파워의 평활화에 관한 파라미터(이하, 평활화 파라미터라고 함)를 생성한다. 파라미터 결정부(121)는 생성된 평활화 파라미터를, 의사 고역 서브 밴드 파워 차분 산출 회로(36) 및 평활화부(122)에 공급한다.
여기서, 평활화 파라미터는, 예를 들어 시간적으로 연속하는 몇 프레임분의 저역 서브 밴드 파워를 사용해서, 처리 대상인 현재 프레임의 저역 서브 밴드 파워를 평활화(스무싱)하는지를 나타내는 정보 등이다. 즉, 파라미터 결정부(121)에 의해, 저역 서브 밴드 파워의 평활화 처리에 필요한 파라미터가 결정된다.
평활화부(122)는, 특징량 산출 회로(34)로부터 공급된 특징량으로서의 저역 서브 밴드 파워를, 파라미터 결정부(121)로부터 공급된 평활화 파라미터를 사용해서 평활화하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.
의사 고역 서브 밴드 파워 산출 회로(35)에는, 미리 회귀 분석에 의해 구해진, 복수의 복호 고역 서브 밴드 파워 추정 계수와, 그것들의 복호 고역 서브 밴드 파워 추정 계수를 특정하는 계수 집합 인덱스 및 계수 인덱스가 대응지어져서 기록되어 있다.
구체적으로는, 1개의 입력 신호에 대하여 복수의 서로 다른 부호화 방식 및 인코드 알고리즘에 따라, 각각 부호화를 행하고, 부호화에 의해 얻어진 신호를 더 복호해서 얻어진 신호가, 광대역 교사 신호로서 준비된다.
그리고, 이들 복수의 광대역 교사 신호마다, 저역 서브 밴드 파워를 설명 변수로 하고, 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 사용한 회귀 분석(학습)에 의해, 각 서브 밴드의 계수 Aib(kb)와 계수 Bib가 복수 구해져서, 의사 고역 서브 밴드 파워 산출 회로(35)에 기록된다.
여기서, 1개의 광대역 교사 신호를 사용한 학습에서는, 각 서브 밴드의 계수 Aib(kb)와 계수 Bib의 세트(이하, 계수 세트라고 함)가 복수 얻어지게 된다. 이와 같이 하여 1개의 광대역 교사 신호로부터 얻어진 복수의 계수 세트의 집합을 계수 집합이라 하고, 계수 집합을 특정하는 정보를 계수 집합 인덱스라고 칭하고, 계수 집합에 속하는 계수 세트를 특정하는 정보를 계수 인덱스라고 칭하기로 한다.
의사 고역 서브 밴드 파워 산출 회로(35)에는, 복수의 계수 집합의 계수 세트가, 그 계수 세트를 특정하는 계수 집합 인덱스 및 계수 인덱스와 대응지어져 기록되어 있다. 즉, 의사 고역 서브 밴드 파워 산출 회로(35)에 기록되어 있는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 세트(계수 Aib(kb) 및 계수 Bib)는 계수 집합 인덱스와 계수 인덱스에 의해 특정된다.
또한, 계수 세트의 학습시에 있어서, 설명 변수인 저역 서브 밴드 파워가, 평활화부(122)에서의 특징량으로서의 저역 서브 밴드 파워의 평활화와 마찬가지의 처리에 의해 평활화되도록 해도 된다.
의사 고역 서브 밴드 파워 산출 회로(35)는, 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수마다, 복호 고역 서브 밴드 파워 추정 계수와, 평활화부(122)로부터 공급된, 평활화 후의 특징량을 사용하여, 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워를 산출하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 고역 서브 밴드 신호로부터 구해지는 고역 서브 밴드 파워와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워를 비교한다.
그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 비교 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 가장 고역 서브 밴드 파워에 가까운 의사 고역 서브 밴드 파워가 얻어진 복호 고역 서브 밴드 파워 추정 계수의 계수 집합 인덱스와 계수 인덱스를 고역 부호화 회로(37)에 공급한다. 또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 파라미터 결정부(121)로부터 공급된 평활화 파라미터를 나타내는 평활화 정보도 고역 부호화 회로(37)에 공급한다.
이와 같이, 부호화 방식이나 인코드 알고리즘의 차이에 대처할 수 있도록, 복수의 계수 집합을 미리 학습에 의해 준비하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 기록시켜 둠으로써, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 사용할 수 있게 된다. 이에 의해, 출력 부호열의 복호측에 있어서, 부호화 방식이나 인코드 알고리즘에 상관없이, 보다 고정밀도로 고역 엔벨로프의 추정을 행할 수 있다.
[부호화 장치의 부호화 처리]
이어서, 도 31의 흐름도를 참조하여, 도 30의 부호화 장치(30)에 의해 행하여지는 부호화 처리에 대하여 설명한다. 또한, 스텝 S471 내지 스텝 S474의 처리는, 도 19의 스텝 S181 내지 스텝 S184의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.
단, 스텝 S473에서 얻어진 고역 서브 밴드 신호는, 서브 밴드 분할 회로(33)로부터, 의사 고역 서브 밴드 파워 차분 산출 회로(36) 및 파라미터 결정부(121)에 공급된다. 또한, 스텝 S474에서는, 특징량으로서, 처리 대상이 되는 프레임(J)의 저역측의 각 서브 밴드 ib(sb-3≤ib≤sb)의 저역 서브 밴드 파워(power(ib, J))가 산출되어 평활화부(122)에 공급된다.
스텝 S475에서, 파라미터 결정부(121)는, 서브 밴드 분할 회로(33)로부터 공급된 고역측의 각 서브 밴드의 고역 서브 밴드 신호에 기초하여, 특징량의 평활화에 사용하는 프레임의 수를 정한다.
예를 들어, 파라미터 결정부(121)는, 처리 대상이 되는 프레임(J)의 고역측의 각 서브 밴드 ib(단, sb+1≤ib≤eb)에 대해서, 상술한 수학식 1의 연산을 행하여 서브 밴드 파워를 구하고, 또한 그들 서브 밴드 파워의 합을 구한다.
마찬가지로, 파라미터 결정부(121)는, 프레임(J)보다 시간적으로 하나 앞의 프레임(J-1)에 대해서, 고역측의 각 서브 밴드 ib의 서브 밴드 파워를 구하고, 그들 서브 밴드 파워의 합을 구한다. 그리고, 파라미터 결정부(121)는, 프레임(J)에 대하여 구한 서브 밴드 파워의 합에서, 프레임(J-1)에 대하여 구한 서브 밴드 파워의 합을 감산함으로써 얻어지는 값(이하, 서브 밴드 파워 합의 차분이라고 함)과, 미리 정해진 임계값을 비교한다.
예를 들어, 파라미터 결정부(121)는, 서브 밴드 파워 합의 차분이 임계값 이상일 경우, 특징량의 평활화에 사용하는 프레임의 수(이하, 프레임 수(ns)라고 함)를 ns=4로 하고, 서브 밴드 파워 합의 차분이 임계값 미만일 경우, 프레임 수(ns)=16으로 한다. 파라미터 결정부(121)는, 정한 프레임 수(ns)를 평활화 파라미터로서, 의사 고역 서브 밴드 파워 차분 산출 회로(36) 및 평활화부(122)에 공급한다.
또한, 서브 밴드 파워 합의 차분과 복수의 임계값이 비교되어, 프레임 수(ns)가 3개 이상의 값 중 어느 하나가 되도록 해도 된다.
스텝 S476에서, 평활화부(122)는, 파라미터 결정부(121)로부터 공급된 평활화 파라미터를 사용해서 다음 수학식 31을 계산하고, 특징량 산출 회로(34)로부터 공급된 특징량을 평활화하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다. 즉, 특징량으로서 공급된, 처리 대상의 프레임(J)의 저역측의 각 서브 밴드의 저역 서브 밴드 파워(power(ib, J))가 평활화된다.
또한, 식 31에서, ns는, 평활화 파라미터로서의 프레임 수(ns)이며, 이 프레임 수(ns)가 클수록, 특징량으로서의 저역 서브 밴드 파워의 평활화에 보다 많은 프레임이 사용되게 된다. 또한, 평활화부(122)에는, 프레임(J)보다 앞의 몇 프레임분 정도의 각 서브 밴드의 저역 서브 밴드 파워가 유지되어 있는 것으로 한다.
또한, 저역 서브 밴드 파워(power(ib, J))에 승산되는 가중치(SC(l))는, 예를 들어 다음 수학식 32에 의해 정해지는 가중치이다. 이 프레임마다의 가중치(SC(l))는, 처리 대상의 프레임(J)에 시간적으로 보다 가까운 프레임에 승산되는 가중치(SC(l))일수록 큰 값이 된다.
따라서, 평활화부(122)에서는, 현재 프레임(J)을 포함하는, 프레임 수(ns)에 의해 정해지는 과거 ns 프레임분의 저역 서브 밴드 파워가, 가중치(SC(l))에 의해 가중치 부여 가산됨으로써 특징량이 평활화된다. 즉, 프레임(J)부터 프레임(J-ns+1)까지의 동일한 서브 밴드의 저역 서브 밴드 파워의 가중 평균이, 평활화 후의 저역 서브 밴드 파워(powersmooth(ib, J))로서 구해지게 된다.
여기서, 평활화(스무싱)에 사용하는 프레임 수(ns)가 클수록, 저역 서브 밴드 파워(powersmooth(ib, J))의 시간적인 변동이 작아진다. 따라서, 저역 서브 밴드 파워(powersmooth(ib, J))를 사용해서 고역측의 서브 밴드 파워를 추정하면, 고역측의 서브 밴드 파워의 추정값의 시간적인 변동을 작게 할 수 있다.
그러나, 어택 등의 과도적인 입력 신호, 즉 고역 성분의 시간적 변동이 큰 입력 신호에 대해서는, 프레임 수(ns)를 가능한 한 작은 값으로 설정하지 않으면, 입력 신호의 시간적인 변화에 대한 추종이 지연되어버리게 된다. 그렇게 되면, 복호측에서, 복호에 의해 얻어진 출력 신호를 재생하면, 청감상의 위화감이 발생할 가능성이 높다.
따라서, 파라미터 결정부(121)에서는, 상술한 서브 밴드 파워 합의 차분이 임계값 이상일 경우에는, 입력 신호는, 고역측의 서브 밴드 파워가 시간적으로 크게 변동하는 과도적인 신호로 되어, 프레임 수(ns)가 보다 작은 값(예를 들어 ns=4)이 된다. 이에 의해, 입력 신호가 과도적인 신호(어택성의 신호)인 경우에도, 적절하게 저역 서브 밴드 파워가 평활화되어, 고역측의 서브 밴드 파워의 추정값의 시간적인 변동을 작게 하는 동시에, 고역 성분의 변화에 대한 추종의 지연을 억제할 수 있다.
이에 반해, 서브 밴드 파워 합의 차분이 임계값 미만일 경우, 파라미터 결정부(121)에서는, 입력 신호는, 고역측의 서브 밴드 파워의 시간적인 변동이 적은 일정한 신호로 되어, 프레임 수(ns)가 보다 큰 값(예를 들어 ns=16)이 된다. 이에 의해, 적절하게 저역 서브 밴드 파워가 평활화되어, 고역측의 서브 밴드 파워의 추정값의 시간적인 변동을 작게 할 수 있다.
스텝 S477에서, 의사 고역 서브 밴드 파워 산출 회로(35)는, 평활화부(122)로부터 공급된 저역측의 각 서브 밴드의 저역 서브 밴드 파워(powersmooth(ib, J))에 기초해서, 의사 고역 서브 밴드 파워를 산출하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.
예를 들어, 의사 고역 서브 밴드 파워 산출 회로(35)는, 복호 고역 서브 밴드 파워 추정 계수로서 미리 기록하고 있는 계수 Aib(kb) 및 계수 Bib와, 저역 서브 밴드 파워(powersmooth(ib, J))(단, sb-3≤ib≤sb)를 사용하여 상술한 수학식 2의 연산을 행하여, 의사 고역 서브 밴드 파워(powerest(ib, J))를 산출한다.
또한, 여기에서는, 수학식 2에서의 저역 서브 밴드 파워(power(kb, J))가, 평활화된 저역 서브 밴드 파워(powersmooth(kb, J))(단, sb-3≤kb≤sb)로 치환되게 된다.
즉, 저역측의 각 서브 밴드의 저역 서브 밴드 파워(powersmooth(kb, J))에, 서브 밴드마다의 계수 Aib(kb)가 승산되고, 계수가 승산된 저역 서브 밴드 파워의 합에, 또한 계수 Bib가 가산되어서, 의사 고역 서브 밴드 파워(powerest(ib, J))가 된다. 이 의사 고역 서브 밴드 파워는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대하여 산출된다.
또한, 의사 고역 서브 밴드 파워 산출 회로(35)는, 미리 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수마다 의사 고역 서브 밴드 파워의 산출을 행한다. 즉, 기록되어 있는 모든 계수 집합에 대해서, 계수 집합의 계수 세트(계수 Aib(kb)와 계수 Bib의 세트)마다, 의사 고역 서브 밴드 파워의 산출이 행하여진다.
스텝 S478에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 의사 고역 서브 밴드 파워 차분을 산출한다.
그리고, 스텝 S479에서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 복호 고역 서브 밴드 파워 추정 계수마다 상술한 수학식 15를 계산하여, 의사 고역 서브 밴드 파워 차분의 제곱 합(차분 제곱 합(E(J, id)))을 산출한다.
또한, 스텝 S478 및 스텝 S479의 처리는, 도 19의 스텝 S186 및 스텝 S187의 처리와 마찬가지이므로, 그 상세한 설명은 생략한다.
의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 미리 기록되어 있는 복호 고역 서브 밴드 파워 추정 계수마다, 차분 제곱 합(E(J, id))을 산출하면, 그들 차분 제곱 합 중, 값이 최소가 되는 차분 제곱 합을 선택한다.
그리고 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 선택한 차분 제곱 합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 특정하기 위한, 계수 집합 인덱스 및 계수 인덱스와, 평활화 파라미터를 나타내는 평활화 정보를 고역 부호화 회로(37)에 공급한다.
여기서, 평활화 정보는, 파라미터 결정부(121)에서 정해진 평활화 파라미터로서의 프레임 수(ns)의 값 그 자체이어도 되고, 프레임 수(ns)를 나타내는 플래그 등이어도 된다. 예를 들어, 평활화 정보가 프레임 수(ns)를 나타내는 2비트의 플래그가 되는 경우, 프레임 수(ns)=1일 때 플래그의 값이 0, 프레임 수(ns)=4일 때 플래그의 값이 1, 프레임 수(ns)=8일 때 플래그의 값이 2, 프레임 수(ns)=16일 때 플래그의 값이 3 등이 된다.
스텝 S480에서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된 계수 집합 인덱스, 계수 인덱스 및 평활화 정보를 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.
예를 들어, 스텝 S480에서는, 계수 집합 인덱스, 계수 인덱스 및 평활화 정보에 대하여 엔트로피 부호화 등이 행하여진다. 또한, 고역 부호화 데이터는, 최적의 복호 고역 서브 밴드 파워 추정 계수나, 평활화 파라미터가 얻어지는 정보이면, 어떤 정보이어도 좋으며, 예를 들어 계수 집합 인덱스 등이 그대로 고역 부호화 데이터가 되어도 된다.
스텝 S481에서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 공급된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 공급된 고역 부호화 데이터를 다중화하고, 그 결과 얻어진 출력 부호열을 출력하여 부호화 처리는 종료된다.
이와 같이, 계수 집합 인덱스, 계수 인덱스 및 평활화 정보를 부호화하여 얻어진 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치(40)에서는, 보다 고정밀도로 고역 성분을 추정할 수 있게 된다.
즉, 계수 집합 인덱스와 계수 인덱스에 기초하여, 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 주파수 대역 확대 처리에 최적인 것을 얻을 수 있어, 부호화 방식이나 인코드 알고리즘에 상관없이, 고정밀도로 고역 성분을 추정할 수 있게 된다. 게다가, 평활화 정보에 따라, 특징량으로서의 저역 서브 밴드 파워를 평활화하면, 추정에 의해 얻어지는 고역 성분의 시간적인 변동을 보다 작게 억제할 수 있어, 입력 신호가 일정한지 과도적인지에 상관없이, 청감상 위화감이 없는 음성을 얻을 수 있다.
[복호 장치의 기능적 구성예]
또한, 도 30의 부호화 장치(30)로부터 출력된 출력 부호열을 입력 부호열로서 입력하여, 복호하는 복호 장치(40)는, 예를 들어 도 32에 도시한 바와 같이 구성된다. 또한, 도 32에서, 도 20에서의 경우와 대응하는 부분에는, 동일한 부호를 부여하였으며, 그 설명은 생략한다.
도 32의 복호 장치(40)는, 도 20의 복호 장치(40)와 평활화부(151)가 새롭게 설치되어 있는 점에서 다르고, 그 밖의 점에서는 동일하다.
도 32의 복호 장치(40)에서는, 고역 복호 회로(45)는, 도 30의 의사 고역 서브 밴드 파워 산출 회로(35)가 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수와 동일한 복호 고역 서브 밴드 파워 추정 계수를 미리 기록하고 있다. 즉, 미리 회귀 분석에 의해 구해진 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb)와 계수 Bib의 세트가, 계수 집합 인덱스 및 계수 인덱스와 대응지어져서 기록되어 있다.
고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터를 복호하고, 그 결과로서, 계수 집합 인덱스, 계수 인덱스 및 평활화 정보를 얻는다. 고역 복호 회로(45)는, 얻어진 계수 집합 인덱스 및 계수 인덱스로부터 특정되는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급함과 함께, 평활화 정보를 평활화부(151)에 공급한다.
또한, 특징량 산출 회로(44)는, 특징량으로서 산출한 저역 서브 밴드 파워를 평활화부(151)에 공급한다. 평활화부(151)는, 특징량 산출 회로(44)로부터 공급된 저역 서브 밴드 파워를, 고역 복호 회로(45)로부터의 평활화 정보에 따라 평활화하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.
[복호 장치의 복호 처리]
이어서, 도 33의 흐름도를 참조하여, 도 32의 복호 장치(40)에 의해 행하여지는 복호 처리에 대하여 설명한다.
이 복호 처리는, 부호화 장치(30)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(40)에 공급되면 개시된다. 또한, 스텝 S511 내지 스텝 S513의 처리는, 도 21의 스텝 S211 내지 스텝 S213의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S514에서, 고역 복호 회로(45)는, 비다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행한다.
고역 복호 회로(45)는, 미리 기록하고 있는 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 고역 부호화 데이터의 복호에 의해 얻어진 계수 집합 인덱스 및 계수 인덱스에 의해 나타나는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 또한, 고역 복호 회로(45)는, 고역 부호화 데이터의 복호에 의해 얻어진 평활화 정보를 평활화부(151)에 공급한다.
스텝 S515에서, 특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호를 사용해서 특징량을 산출하여, 평활화부(151)에 공급한다. 즉, 상술한 수학식 1의 연산에 의해, 저역측의 각 서브 밴드 ib에 대해서, 저역 서브 밴드 파워(power(ib, J))가 특징량으로서 산출된다.
스텝 S516에서, 평활화부(151)는, 고역 복호 회로(45)로부터 공급된 평활화 정보에 기초하여, 특징량 산출 회로(44)로부터 공급된 특징량으로서의 저역 서브 밴드 파워(power(ib, J))를 평활화한다.
즉, 평활화부(151)는, 평활화 정보에 의해 나타나는 프레임 수(ns)에 기초해서, 상술한 수학식 31의 연산을 행하고, 저역측의 각 서브 밴드 ib에 대하여 저역 서브 밴드 파워(powersmooth(ib, J))를 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 또한, 평활화부(151)에는, 프레임(J)보다 앞의 몇 프레임분 정도의 각 서브 밴드의 저역 서브 밴드 파워가 유지되어 있는 것으로 한다.
스텝 S517에서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 평활화부(151)로부터의 저역 서브 밴드 파워 및 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초해서, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다.
즉, 복호 고역 서브 밴드 파워 산출 회로(46)는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 Aib(kb) 및 계수 Bib와, 저역 서브 밴드 파워(powersmooth(ib, J))를 사용해서 상술한 수학식 2의 연산을 행하여, 복호 고역 서브 밴드 파워를 산출한다.
또한, 여기에서는, 수학식 2에서의 저역 서브 밴드 파워(power(kb, J))가, 평활화된 저역 서브 밴드 파워(powersmooth(kb, J))(단, sb-3≤kb≤sb)로 치환되게 된다. 이 연산에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서, 복호 고역 서브 밴드 파워(powerest(ib, J))가 얻어진다.
스텝 S518에서, 복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터 공급된 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터 공급된 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성한다.
구체적으로는, 복호 고역 신호 생성 회로(47)는, 복호 저역 서브 밴드 신호를 사용해서 상술한 수학식 1의 연산을 행하여, 저역측의 각 서브 밴드에 대하여 저역 서브 밴드 파워를 산출한다. 그리고, 복호 고역 신호 생성 회로(47)는, 얻어진 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워를 사용해서 상술한 수학식 3의 연산을 행하여, 고역측의 서브 밴드마다의 이득량(G(ib, J))을 산출한다.
또한, 복호 고역 신호 생성 회로(47)는, 이득량(G(ib, J))과 복호 저역 서브 밴드 신호를 사용해서 상술한 수학식 5 및 수학식 6의 연산을 행하여, 고역측의 각 서브 밴드에 대해 고역 서브 밴드 신호(x3(ib, n))를 생성한다.
또한, 복호 고역 신호 생성 회로(47)는, 상술한 수학식 7의 연산을 행하여, 얻어진 각 고역 서브 밴드 신호의 합을 구해서 복호 고역 신호를 생성한다. 복호 고역 신호 생성 회로(47)는, 얻어진 복호 고역 신호를 합성 회로(48)에 공급하고, 처리는 스텝 S518에서 스텝 S519로 진행한다.
스텝 S519에서, 합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다.
그리고, 그 후, 복호 처리는 종료된다.
이상과 같이, 복호 장치(40)에 의하면, 고역 부호화 데이터로부터 얻어진 계수 집합 인덱스와 계수 인덱스에 의해 특정되는 복호 고역 서브 밴드 파워 추정 계수를 사용해서 복호 고역 서브 밴드 파워를 산출하므로, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다. 즉, 복호 장치(40)에는, 부호화 방식이나 인코드 알고리즘의 차이에 대응 가능한, 복수의 복호 고역 서브 밴드 파워 추정 계수가 미리 기록되어 있다. 따라서, 그 중에서, 계수 집합 인덱스와 계수 인덱스에 의해 특정되는 최적의 복호 고역 서브 밴드 파워 추정 계수를 선택하여 사용하면, 고정밀도로 고역 성분을 추정할 수 있다.
또한, 복호 장치(40)에서는, 평활화 정보에 따라 저역 서브 밴드 파워가 평활화되어, 복호 고역 서브 밴드 파워가 산출된다. 따라서, 고역 엔벨로프의 시간적인 변동을 보다 작게 억제할 수 있어, 입력 신호가 일정한지 과도적인지에 상관없이, 청감상 위화감이 없는 음성을 얻을 수 있다.
또한, 이상에서는, 평활화 파라미터로서, 프레임 수(ns)를 변화시킨다고 설명했지만, 프레임 수(ns)를 고정값으로 하고, 평활화시에 각 저역 서브 밴드 파워(power(ib, J))에 승산되는 가중치(SC(l))를 평활화 파라미터로 하도록 해도 된다. 그러한 경우, 파라미터 결정부(121)는, 가중치(SC(l))를 평활화 파라미터로서 변화시킴으로써, 평활화의 특성을 변화시킨다.
이와 같이, 가중치(SC(l))를 평활화 파라미터로 하는 것으로도, 일정한 입력 신호나, 과도적인 입력 신호에 대해서도, 복호측에서 고역 엔벨로프의 시간적인 변동을 적절하게 억제할 수 있다.
예를 들어, 상술한 수학식 31에서의 가중치(SC(l))를, 다음 수학식 33에 나타내는 함수에 의해 정해지는 가중치로 하면, 수학식 32에 나타내는 가중치를 사용하는 경우보다 과도적인 신호에 대한 추종도를 향상시킬 수 있다.
또한, 수학식 33에서, ns는, 평활화에 사용되는 입력 신호의 프레임 수(ns)를 나타내고 있다.
가중치(SC(l))가 평활화 파라미터인 경우에는, 파라미터 결정부(121)는, 고역 서브 밴드 신호에 기초하여 평활화 파라미터로서의 가중치(SC(l))를 결정한다. 그리고, 평활화 파라미터로서의 가중치(SC(l))를 나타내는 평활화 정보가 고역 부호화 데이터로 되어, 복호 장치(40)에 전송된다.
이 경우에도, 예를 들어 가중치(SC(l))의 값 그 자체, 즉 가중치(SC(0)) 내지 가중치(SC(ns-1))가 평활화 정보로 되어도 좋고, 미리 복수의 가중치(SC(l))가 준비되어, 그들 중의 선택된 가중치(SC(l))를 나타내는 인덱스가 평활화 정보로 되어도 된다.
복호 장치(40)에서는, 고역 부호화 데이터의 복호에 의해 얻어진, 평활화 정보에 의해 특정되는 가중치(SC(l))가 사용되어, 저역 서브 밴드 파워의 평활화가 행하여진다. 또한, 가중치(SC(l)) 및 프레임 수(ns) 양쪽이 평활화 파라미터로 되고, 가중치(SC(l))를 나타내는 인덱스와, 프레임 수(ns)를 나타내는 플래그 등이 평활화 정보로 되어도 된다.
또한, 이상에서는, 복수의 계수 집합을 미리 준비하여, 특징량으로서의 저역 서브 밴드 파워를 평활화하는 예로서, 제3 실시 형태에 적용하는 경우에 대하여 설명했지만, 상술한 제1 실시 형태 내지 제5 실시 형태 중 어디든 적용하는 것이 가능하다. 즉, 어느 실시 형태에 적용되는 경우라도, 특징량이 평활화 파라미터에 따라 평활화되고, 평활화 후의 특징량이 사용되어, 고역측의 각 서브 밴드의 서브 밴드 파워의 추정값이 산출된다.
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 34는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에서, CPU(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한, 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(506), 디스플레이, 스피커 등으로 이루어지는 출력부(507), 하드 디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(508), 네트워크 인터페이스 등으로 이루어지는 통신부(509), 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(511)를 구동하는 드라이브(510)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기억부(508)에 기억되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해 RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 자기 디스크(플렉시블 디스크를 포함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(511)에 기록하고, 또는, 근거리 네트워크, 인터넷, 디지털 위성 방송과 같은 유선 또는 무선의 전송 매체를 통해 제공된다.
그리고, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해 기억부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해 통신부(509)에서 수신하여, 기억부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기억부(508)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 된다.
또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
10 주파수 대역 확대 장치 11 : 저역 통과 필터
12 : 지연 회로 13, 13-1 내지 13-N : 대역 통과 필터
14 : 특징량 산출 회로 15 : 고역 서브 밴드 파워 추정 회로
16 : 고역 신호 생성 회로 17 : 고역 통과 필터
18 : 신호 가산기 20 : 계수 학습 장치
21, 21-1 내지 21-(K＋N) : 대역 통과 필터
22 : 고역 서브 밴드 파워 산출 회로
23 : 특징량 산출 회로 24 : 계수 추정 회로
30 : 부호화 장치 31 : 저역 통과 필터
32 : 저역 부호화 회로 33 : 서브 밴드 분할 회로
34 : 특징량 산출 회로
35 : 의사 고역 서브 밴드 파워 산출 회로
36 : 의사 고역 서브 밴드 파워 차분 산출 회로
37 : 고역 부호화 회로 38 : 다중화 회로
40 : 복호 장치 41 : 비다중화 회로
42 : 저역 복호 회로 43 : 서브 밴드 분할 회로
44 : 특징량 산출 회로 45 : 고역 복호 회로
46 : 복호 고역 서브 밴드 파워 산출 회로
47 : 복호 고역 신호 생성 회로 48 : 합성 회로
50 : 계수 학습 장치 51 : 저역 통과 필터
52 서브 밴드 분할 회로 53 : 특징량 산출 회로
54 : 의사 고역 서브 밴드 파워 산출 회로
55 : 의사 고역 서브 밴드 파워 차분 산출 회로
56 : 의사 고역 서브 밴드 파워 차분 클러스터링 회로
57 : 계수 추정 회로 121 : 파라미터 결정부
122 : 평활화부 151 : 평활화부
12 : 지연 회로 13, 13-1 내지 13-N : 대역 통과 필터
14 : 특징량 산출 회로 15 : 고역 서브 밴드 파워 추정 회로
16 : 고역 신호 생성 회로 17 : 고역 통과 필터
18 : 신호 가산기 20 : 계수 학습 장치
21, 21-1 내지 21-(K＋N) : 대역 통과 필터
22 : 고역 서브 밴드 파워 산출 회로
23 : 특징량 산출 회로 24 : 계수 추정 회로
30 : 부호화 장치 31 : 저역 통과 필터
32 : 저역 부호화 회로 33 : 서브 밴드 분할 회로
34 : 특징량 산출 회로
35 : 의사 고역 서브 밴드 파워 산출 회로
36 : 의사 고역 서브 밴드 파워 차분 산출 회로
37 : 고역 부호화 회로 38 : 다중화 회로
40 : 복호 장치 41 : 비다중화 회로
42 : 저역 복호 회로 43 : 서브 밴드 분할 회로
44 : 특징량 산출 회로 45 : 고역 복호 회로
46 : 복호 고역 서브 밴드 파워 산출 회로
47 : 복호 고역 신호 생성 회로 48 : 합성 회로
50 : 계수 학습 장치 51 : 저역 통과 필터
52 서브 밴드 분할 회로 53 : 특징량 산출 회로
54 : 의사 고역 서브 밴드 파워 산출 회로
55 : 의사 고역 서브 밴드 파워 차분 산출 회로
56 : 의사 고역 서브 밴드 파워 차분 클러스터링 회로
57 : 계수 추정 회로 121 : 파라미터 결정부
122 : 평활화부 151 : 평활화부
Claims (16)
- 부호화 장치로서,
부입력 신호를 복수의 서브 밴드로 분할하여, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과,
상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽에 기초하여, 상기 입력 신호의 특징을 표현하는 특징량을 산출하는 특징량 산출 수단과,
상기 특징량을 평활화하는 평활화 수단과,
평활화된 상기 특징량과 소정의 계수에 기초하여, 상기 고역 서브 밴드 신호의 파워의 추정값인 의사 고역 서브 밴드 파워를 산출하는 의사 고역 서브 밴드 파워 산출 수단과,
상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출하고, 상기 고역 서브 밴드 파워와 상기 의사 고역 서브 밴드 파워를 비교하여, 복수의 상기 계수 중 어느 하나를 선택하는 선택 수단과,
선택된 상기 계수를 얻기 위한 계수 정보와, 상기 평활화에 관한 평활화 정보를 부호화하여, 고역 부호화 데이터를 생성하는 고역 부호화 수단과,
상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여 저역 부호화 데이터를 생성하는 저역 부호화 수단과,
상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화해서 출력 부호열을 얻는 다중화 수단
을 구비하는, 부호화 장치. - 제1항에 있어서,
상기 평활화 수단은, 상기 입력 신호의 연속하는 소정 수의 프레임의 상기 특징량을 가중 평균함으로써 상기 특징량을 평활화하는, 부호화 장치. - 제2항에 있어서,
상기 평활화 정보는, 상기 가중 평균에 사용되는 상기 프레임의 수 또는 상기 가중 평균에 사용되는 가중치 중 적어도 한쪽을 나타내는 정보인, 부호화 장치. - 제3항에 있어서,
상기 고역 서브 밴드 신호에 기초하여, 상기 가중 평균에 사용되는 상기 프레임의 수 또는 상기 가중 평균에 사용되는 가중치 중 적어도 한쪽을 결정하는 파라미터 결정 수단을 더 구비하는, 부호화 장치. - 제1항에 있어서,
상기 계수는, 광대역 교사(敎師) 신호로부터 얻어진 상기 특징량 및 상기 고역 서브 밴드 파워를, 설명 변수 및 피설명 변수로 한 학습에 의해 생성되는, 부호화 장치. - 제5항에 있어서,
상기 광대역 교사 신호는, 소정의 신호를 소정의 부호화 방식 및 인코드 알고리즘에 따라 부호화하여, 부호화된 상기 소정의 신호를 복호해서 얻어진 신호이고,
상기 계수는, 복수의 서로 다른 부호화 방식 및 인코드 알고리즘마다, 상기 광대역 교사 신호를 사용한 상기 학습에 의해 생성되는, 부호화 장치. - 부호화 방법으로서,
입력 신호를 복수의 서브 밴드로 분할하여, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하고,
상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽에 기초하여, 상기 입력 신호의 특징을 표현하는 특징량을 산출하고,
상기 특징량을 평활화하고,
평활화된 상기 특징량과 소정의 계수에 기초하여, 상기 고역 서브 밴드 신호의 파워의 추정값인 의사 고역 서브 밴드 파워를 산출하고,
상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출해서, 상기 고역 서브 밴드 파워와 상기 의사 고역 서브 밴드 파워를 비교하여, 복수의 상기 계수 중 어느 하나를 선택하고,
선택된 상기 계수를 얻기 위한 계수 정보와, 상기 평활화에 관한 평활화 정보를 부호화하여, 고역 부호화 데이터를 생성하고,
상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여 저역 부호화 데이터를 생성하고,
상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화해서 출력 부호열을 얻는
스텝을 포함하는, 부호화 방법. - 프로그램으로서,
입력 신호를 복수의 서브 밴드로 분할하여, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하고,
상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽에 기초하여, 상기 입력 신호의 특징을 표현하는 특징량을 산출하고,
상기 특징량을 평활화하고,
평활화된 상기 특징량과 소정의 계수에 기초하여, 상기 고역 서브 밴드 신호의 파워의 추정값인 의사 고역 서브 밴드 파워를 산출하고,
상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출해서, 상기 고역 서브 밴드 파워와 상기 의사 고역 서브 밴드 파워를 비교하여, 복수의 상기 계수 중 어느 하나를 선택하고,
선택된 상기 계수를 얻기 위한 계수 정보와, 상기 평활화에 관한 평활화 정보를 부호화하여, 고역 부호화 데이터를 생성하고,
상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여 저역 부호화 데이터를 생성하고,
상기 저역 부호화 데이터와 상기 고역 부호화 데이터를 다중화해서 출력 부호열을 얻는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램. - 복호 장치로서,
입력된 부호화 데이터를, 저역 부호화 데이터와, 계수를 얻기 위한 계수 정보 및 평활화에 관한 평활화 정보로 비다중화하는 비다중화 수단과,
상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 수단과,
상기 저역 신호를 복수의 서브 밴드로 분할하여, 상기 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과,
상기 저역 서브 밴드 신호에 기초하여 특징량을 산출하는 특징량 산출 수단과,
상기 평활화 정보에 기초하여 상기 특징량을 평활화하는 평활화 수단과,
상기 계수 정보로부터 얻어지는 상기 계수, 평활화된 상기 특징량 및 상기 저역 서브 밴드 신호에 기초하여, 고역 신호를 생성하는 생성 수단
을 구비하는, 복호 장치. - 제9항에 있어서,
상기 평활화 수단은, 상기 저역 신호의 연속하는 소정 수의 프레임의 상기 특징량을 가중 평균함으로써 상기 특징량을 평활화하는, 복호 장치. - 제10항에 있어서,
상기 평활화 정보는, 상기 가중 평균에 사용되는 상기 프레임의 수 또는 상기 가중 평균에 사용되는 가중치 중 적어도 한쪽을 나타내는 정보인, 복호 장치. - 제9항에 있어서,
상기 생성 수단은,
평활화된 상기 특징량과 상기 계수에 기초하여, 상기 고역 신호를 구성하는 서브 밴드의 파워의 추정값인 복호 고역 서브 밴드 파워를 산출하는 복호 고역 서브 밴드 파워 산출 수단과,
상기 복호 고역 서브 밴드 파워와 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성 수단
을 구비하는, 복호 장치. - 제9항에 있어서,
상기 계수는, 광대역 교사 신호로부터 얻어진 상기 특징량 및 상기 광대역 교사 신호에서의, 상기 고역 신호를 구성하는 서브 밴드와 동일한 서브 밴드의 파워를, 설명 변수 및 피설명 변수로 한 학습에 의해 생성되는, 복호 장치. - 제13항에 있어서,
상기 광대역 교사 신호는, 소정의 신호를 소정의 부호화 방식 및 인코드 알고리즘에 따라 부호화하고, 부호화된 상기 소정의 신호를 복호해서 얻어진 신호이고,
상기 계수는, 복수의 서로 다른 부호화 방식 및 인코드 알고리즘마다, 상기 광대역 교사 신호를 사용한 상기 학습에 의해 생성되는, 복호 장치. - 복호 방법으로서,
입력된 부호화 데이터를, 저역 부호화 데이터와, 계수를 얻기 위한 계수 정보 및 평활화에 관한 평활화 정보로 비다중화하고,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고,
상기 저역 신호를 복수의 서브 밴드로 분할하여, 상기 서브 밴드마다의 저역 서브 밴드 신호를 생성하고,
상기 저역 서브 밴드 신호에 기초하여 특징량을 산출하고,
상기 평활화 정보에 기초하여 상기 특징량을 평활화하고,
상기 계수 정보로부터 얻어지는 상기 계수, 평활화된 상기 특징량 및 상기 저역 서브 밴드 신호에 기초하여 고역 신호를 생성하는
스텝을 포함하는, 복호 방법. - 프로그램으로서,
입력된 부호화 데이터를, 저역 부호화 데이터와, 계수를 얻기 위한 계수 정보 및 평활화에 관한 평활화 정보로 비다중화하고,
상기 저역 부호화 데이터를 복호하여 저역 신호를 생성하고,
상기 저역 신호를 복수의 서브 밴드로 분할하여, 상기 서브 밴드마다의 저역 서브 밴드 신호를 생성하고,
상기 저역 서브 밴드 신호에 기초하여 특징량을 산출하고,
상기 평활화 정보에 기초하여 상기 특징량을 평활화하고,
상기 계수 정보로부터 얻어지는 상기 계수, 평활화된 상기 특징량 및 상기 저역 서브 밴드 신호에 기초하여 고역 신호를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2010-232106 | 2010-10-15 | ||
| JP2010232106A JP5707842B2 (ja) | 2010-10-15 | 2010-10-15 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| PCT/JP2011/072957 WO2012050023A1 (ja) | 2010-10-15 | 2011-10-05 | 符号化装置および方法、復号装置および方法、並びにプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187005834A Division KR101979557B1 (ko) | 2010-10-15 | 2011-10-05 | 복호 장치 및 방법, 및 컴퓨터 판독가능한 저장 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130141478A true KR20130141478A (ko) | 2013-12-26 |
| KR101835910B1 KR101835910B1 (ko) | 2018-03-07 |
Family
ID=45938252
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137008804A KR101835910B1 (ko) | 2010-10-15 | 2011-10-05 | 부호화 장치 및 방법, 복호 장치 및 방법, 및 컴퓨터 판독가능한 기록 매체 |
| KR1020187005834A KR101979557B1 (ko) | 2010-10-15 | 2011-10-05 | 복호 장치 및 방법, 및 컴퓨터 판독가능한 저장 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187005834A KR101979557B1 (ko) | 2010-10-15 | 2011-10-05 | 복호 장치 및 방법, 및 컴퓨터 판독가능한 저장 장치 |
Country Status (13)
| Country | Link |
|---|---|
| US (4) | US9177563B2 (ko) |
| EP (3) | EP3579230B1 (ko) |
| JP (1) | JP5707842B2 (ko) |
| KR (2) | KR101835910B1 (ko) |
| CN (1) | CN103155031B (ko) |
| AR (1) | AR083365A1 (ko) |
| AU (1) | AU2011314848B2 (ko) |
| BR (1) | BR112013008490B1 (ko) |
| CA (1) | CA2811085C (ko) |
| MX (1) | MX2013003952A (ko) |
| RU (2) | RU2589293C2 (ko) |
| TW (1) | TWI479481B (ko) |
| WO (1) | WO2012050023A1 (ko) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| JP5652658B2 (ja) | 2010-04-13 | 2015-01-14 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5942358B2 (ja) | 2011-08-24 | 2016-06-29 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5975243B2 (ja) * | 2011-08-24 | 2016-08-23 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP6037156B2 (ja) | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| US20140046670A1 (en) * | 2012-06-04 | 2014-02-13 | Samsung Electronics Co., Ltd. | Audio encoding method and apparatus, audio decoding method and apparatus, and multimedia device employing the same |
| KR20150032649A (ko) | 2012-07-02 | 2015-03-27 | 소니 주식회사 | 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램 |
| JP6305694B2 (ja) * | 2013-05-31 | 2018-04-04 | クラリオン株式会社 | 信号処理装置及び信号処理方法 |
| BR122020016403B1 (pt) * | 2013-06-11 | 2022-09-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V | Aparelho de decodificação de sinal de áudio, aparelho de codificação de sinal de áudio, método de decodificação de sinal de áudio e método de codificação de sinal de áudio |
| EP3044790B1 (en) | 2013-09-12 | 2018-10-03 | Dolby International AB | Time-alignment of qmf based processing data |
| CA3194257A1 (en) | 2013-09-17 | 2015-03-26 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing multimedia signals |
| US9875746B2 (en) | 2013-09-19 | 2018-01-23 | Sony Corporation | Encoding device and method, decoding device and method, and program |
| US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| US20150170655A1 (en) * | 2013-12-15 | 2015-06-18 | Qualcomm Incorporated | Systems and methods of blind bandwidth extension |
| JP6151866B2 (ja) | 2013-12-23 | 2017-06-21 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置 |
| CA3162763A1 (en) | 2013-12-27 | 2015-07-02 | Sony Corporation | Decoding apparatus and method, and program |
| WO2015142073A1 (ko) | 2014-03-19 | 2015-09-24 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| EP3128766A4 (en) | 2014-04-02 | 2018-01-03 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and device |
| JP2016038435A (ja) * | 2014-08-06 | 2016-03-22 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| EP3818528A1 (en) * | 2018-07-03 | 2021-05-12 | Soclip! | Beat decomposition to facilitate automatic video editing |
| KR20200142787A (ko) | 2019-06-13 | 2020-12-23 | 네이버 주식회사 | 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법 |
Family Cites Families (180)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4628529A (en) | 1985-07-01 | 1986-12-09 | Motorola, Inc. | Noise suppression system |
| JPH03254223A (ja) | 1990-03-02 | 1991-11-13 | Eastman Kodak Japan Kk | アナログデータ伝送方式 |
| JP2655485B2 (ja) | 1994-06-24 | 1997-09-17 | 日本電気株式会社 | 音声セル符号化装置 |
| JP3498375B2 (ja) | 1994-07-20 | 2004-02-16 | ソニー株式会社 | ディジタル・オーディオ信号記録装置 |
| JP3189598B2 (ja) * | 1994-10-28 | 2001-07-16 | 松下電器産業株式会社 | 信号合成方法および信号合成装置 |
| JPH1020888A (ja) | 1996-07-02 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 音声符号化・復号化装置 |
| US6073100A (en) | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| CN1144179C (zh) | 1997-07-11 | 2004-03-31 | 索尼株式会社 | 声音信号解码方法和装置、声音信号编码方法和装置 |
| SE9903553D0 (sv) | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| US6829360B1 (en) | 1999-05-14 | 2004-12-07 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for expanding band of audio signal |
| US6978236B1 (en) * | 1999-10-01 | 2005-12-20 | Coding Technologies Ab | Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching |
| JP3454206B2 (ja) | 1999-11-10 | 2003-10-06 | 三菱電機株式会社 | 雑音抑圧装置及び雑音抑圧方法 |
| CA2290037A1 (en) | 1999-11-18 | 2001-05-18 | Voiceage Corporation | Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals |
| SE0004163D0 (sv) | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
| JP2002268698A (ja) | 2001-03-08 | 2002-09-20 | Nec Corp | 音声認識装置と標準パターン作成装置及び方法並びにプログラム |
| SE0101175D0 (sv) | 2001-04-02 | 2001-04-02 | Coding Technologies Sweden Ab | Aliasing reduction using complex-exponential-modulated filterbanks |
| JP4231987B2 (ja) | 2001-06-15 | 2009-03-04 | 日本電気株式会社 | 音声符号化復号方式間の符号変換方法、その装置、そのプログラム及び記憶媒体 |
| WO2003003350A1 (en) | 2001-06-28 | 2003-01-09 | Koninklijke Philips Electronics N.V. | Wideband signal transmission system |
| AU2002318813B2 (en) | 2001-07-13 | 2004-04-29 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| US6988066B2 (en) | 2001-10-04 | 2006-01-17 | At&T Corp. | Method of bandwidth extension for narrow-band speech |
| US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| DE60214027T2 (de) | 2001-11-14 | 2007-02-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | Kodiervorrichtung und dekodiervorrichtung |
| JP3926726B2 (ja) * | 2001-11-14 | 2007-06-06 | 松下電器産業株式会社 | 符号化装置および復号化装置 |
| ES2237706T3 (es) | 2001-11-29 | 2005-08-01 | Coding Technologies Ab | Reconstruccion de componentes de alta frecuencia. |
| WO2003065353A1 (en) | 2002-01-30 | 2003-08-07 | Matsushita Electric Industrial Co., Ltd. | Audio encoding and decoding device and methods thereof |
| JP2003255973A (ja) | 2002-02-28 | 2003-09-10 | Nec Corp | 音声帯域拡張システムおよび方法 |
| US20030187663A1 (en) | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| JP2003316394A (ja) | 2002-04-23 | 2003-11-07 | Nec Corp | 音声復号システム、及び、音声復号方法、並びに、音声復号プログラム |
| US7447631B2 (en) | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
| BR0311601A (pt) | 2002-07-19 | 2005-02-22 | Nec Corp | Aparelho e método decodificador de áudio e programa para habilitar computador |
| JP4728568B2 (ja) | 2002-09-04 | 2011-07-20 | マイクロソフト コーポレーション | レベル・モードとラン・レングス／レベル・モードの間での符号化を適応させるエントロピー符号化 |
| JP3881943B2 (ja) | 2002-09-06 | 2007-02-14 | 松下電器産業株式会社 | 音響符号化装置及び音響符号化方法 |
| SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
| ES2259158T3 (es) * | 2002-09-19 | 2006-09-16 | Matsushita Electric Industrial Co., Ltd. | Metodo y aparato decodificador audio. |
| US7330812B2 (en) | 2002-10-04 | 2008-02-12 | National Research Council Of Canada | Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel |
| US7787632B2 (en) | 2003-03-04 | 2010-08-31 | Nokia Corporation | Support of a multichannel audio extension |
| US7318035B2 (en) | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
| US20050004793A1 (en) | 2003-07-03 | 2005-01-06 | Pasi Ojala | Signal adaptation for higher band coding in a codec utilizing band split coding |
| KR20050027179A (ko) | 2003-09-13 | 2005-03-18 | 삼성전자주식회사 | 오디오 데이터 복원 방법 및 그 장치 |
| US7844451B2 (en) | 2003-09-16 | 2010-11-30 | Panasonic Corporation | Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums |
| EP1657710B1 (en) * | 2003-09-16 | 2009-05-27 | Panasonic Corporation | Coding apparatus and decoding apparatus |
| WO2005040749A1 (ja) | 2003-10-23 | 2005-05-06 | Matsushita Electric Industrial Co., Ltd. | スペクトル符号化装置、スペクトル復号化装置、音響信号送信装置、音響信号受信装置、およびこれらの方法 |
| KR100587953B1 (ko) | 2003-12-26 | 2006-06-08 | 한국전자통신연구원 | 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템 |
| EP1744139B1 (en) | 2004-05-14 | 2015-11-11 | Panasonic Intellectual Property Corporation of America | Decoding apparatus and method thereof |
| ATE394774T1 (de) | 2004-05-19 | 2008-05-15 | Matsushita Electric Ind Co Ltd | Kodierungs-, dekodierungsvorrichtung und methode dafür |
| ATE474310T1 (de) | 2004-05-28 | 2010-07-15 | Nokia Corp | Mehrkanalige audio-erweiterung |
| KR100608062B1 (ko) | 2004-08-04 | 2006-08-02 | 삼성전자주식회사 | 오디오 데이터의 고주파수 복원 방법 및 그 장치 |
| US7716046B2 (en) | 2004-10-26 | 2010-05-11 | Qnx Software Systems (Wavemakers), Inc. | Advanced periodic signal enhancement |
| US20060106620A1 (en) | 2004-10-28 | 2006-05-18 | Thompson Jeffrey K | Audio spatial environment down-mixer |
| SE0402651D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods for interpolation and parameter signalling |
| US7983904B2 (en) | 2004-11-05 | 2011-07-19 | Panasonic Corporation | Scalable decoding apparatus and scalable encoding apparatus |
| RU2500043C2 (ru) | 2004-11-05 | 2013-11-27 | Панасоник Корпорэйшн | Кодер, декодер, способ кодирования и способ декодирования |
| KR100657916B1 (ko) | 2004-12-01 | 2006-12-14 | 삼성전자주식회사 | 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법 |
| JP5224017B2 (ja) * | 2005-01-11 | 2013-07-03 | 日本電気株式会社 | オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム |
| KR100707177B1 (ko) * | 2005-01-19 | 2007-04-13 | 삼성전자주식회사 | 디지털 신호 부호화/복호화 방법 및 장치 |
| KR100708121B1 (ko) | 2005-01-22 | 2007-04-16 | 삼성전자주식회사 | 음성 신호의 대역 확장 방법 및 장치 |
| JP5129115B2 (ja) | 2005-04-01 | 2013-01-23 | クゥアルコム・インコーポレイテッド | 高帯域バーストの抑制のためのシステム、方法、および装置 |
| KR100933548B1 (ko) | 2005-04-15 | 2009-12-23 | 돌비 스웨덴 에이비 | 비상관 신호의 시간적 엔벨로프 정형화 |
| US20070005351A1 (en) | 2005-06-30 | 2007-01-04 | Sathyendra Harsha M | Method and system for bandwidth expansion for voice communications |
| JP4899359B2 (ja) | 2005-07-11 | 2012-03-21 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| KR100813259B1 (ko) | 2005-07-13 | 2008-03-13 | 삼성전자주식회사 | 입력신호의 계층적 부호화/복호화 장치 및 방법 |
| CN101253556B (zh) | 2005-09-02 | 2011-06-22 | 松下电器产业株式会社 | 能量整形装置以及能量整形方法 |
| CN101273404B (zh) * | 2005-09-30 | 2012-07-04 | 松下电器产业株式会社 | 语音编码装置以及语音编码方法 |
| CN101283407B (zh) | 2005-10-14 | 2012-05-23 | 松下电器产业株式会社 | 变换编码装置和变换编码方法 |
| BRPI0520729B1 (pt) | 2005-11-04 | 2019-04-02 | Nokia Technologies Oy | Método para a codificação e decodificação de sinais de áudio, codificador para codificação e decodificador para decodificar sinais de áudio e sistema para compressão de áudio digital. |
| EP2381440A3 (en) | 2005-11-30 | 2012-03-21 | Panasonic Corporation | Subband coding apparatus and method of coding subband |
| JP4876574B2 (ja) | 2005-12-26 | 2012-02-15 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| JP4863713B2 (ja) | 2005-12-29 | 2012-01-25 | 富士通株式会社 | 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム |
| RU2414009C2 (ru) * | 2006-01-18 | 2011-03-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Устройство и способ для кодирования и декодирования сигнала |
| US7953604B2 (en) | 2006-01-20 | 2011-05-31 | Microsoft Corporation | Shape and scale parameters for extended-band frequency coding |
| US7590523B2 (en) | 2006-03-20 | 2009-09-15 | Mindspeed Technologies, Inc. | Speech post-processing using MDCT coefficients |
| JP4976381B2 (ja) | 2006-03-31 | 2012-07-18 | パナソニック株式会社 | 音声符号化装置、音声復号化装置、およびこれらの方法 |
| DE602007013026D1 (de) | 2006-04-27 | 2011-04-21 | Panasonic Corp | Audiocodierungseinrichtung, audiodecodierungseinrichtung und verfahren dafür |
| EP2017830B9 (en) | 2006-05-10 | 2011-02-23 | Panasonic Corporation | Encoding device and encoding method |
| JP2007316254A (ja) | 2006-05-24 | 2007-12-06 | Sony Corp | オーディオ信号補間方法及びオーディオ信号補間装置 |
| KR20070115637A (ko) | 2006-06-03 | 2007-12-06 | 삼성전자주식회사 | 대역폭 확장 부호화 및 복호화 방법 및 장치 |
| JP2007333785A (ja) | 2006-06-12 | 2007-12-27 | Matsushita Electric Ind Co Ltd | オーディオ信号符号化装置およびオーディオ信号符号化方法 |
| KR101244310B1 (ko) | 2006-06-21 | 2013-03-18 | 삼성전자주식회사 | 광대역 부호화 및 복호화 방법 및 장치 |
| US8010352B2 (en) | 2006-06-21 | 2011-08-30 | Samsung Electronics Co., Ltd. | Method and apparatus for adaptively encoding and decoding high frequency band |
| US8260609B2 (en) | 2006-07-31 | 2012-09-04 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of inactive frames |
| JP5061111B2 (ja) | 2006-09-15 | 2012-10-31 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
| JP4918841B2 (ja) | 2006-10-23 | 2012-04-18 | 富士通株式会社 | 符号化システム |
| JP5141180B2 (ja) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体 |
| US8295507B2 (en) | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
| KR101565919B1 (ko) | 2006-11-17 | 2015-11-05 | 삼성전자주식회사 | 고주파수 신호 부호화 및 복호화 방법 및 장치 |
| JP4930320B2 (ja) | 2006-11-30 | 2012-05-16 | ソニー株式会社 | 再生方法及び装置、プログラム並びに記録媒体 |
| JP5339919B2 (ja) | 2006-12-15 | 2013-11-13 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
| JP4984983B2 (ja) | 2007-03-09 | 2012-07-25 | 富士通株式会社 | 符号化装置および符号化方法 |
| JP2008261978A (ja) | 2007-04-11 | 2008-10-30 | Toshiba Microelectronics Corp | 再生音量自動調整方法 |
| US8015368B2 (en) | 2007-04-20 | 2011-09-06 | Siport, Inc. | Processor extensions for accelerating spectral band replication |
| KR101355376B1 (ko) | 2007-04-30 | 2014-01-23 | 삼성전자주식회사 | 고주파수 영역 부호화 및 복호화 방법 및 장치 |
| WO2009001874A1 (ja) | 2007-06-27 | 2008-12-31 | Nec Corporation | オーディオ符号化方法、オーディオ復号方法、オーディオ符号化装置、オーディオ復号装置、プログラム、およびオーディオ符号化・復号システム |
| JP5071479B2 (ja) | 2007-07-04 | 2012-11-14 | 富士通株式会社 | 符号化装置、符号化方法および符号化プログラム |
| JP5045295B2 (ja) | 2007-07-30 | 2012-10-10 | ソニー株式会社 | 信号処理装置及び方法、並びにプログラム |
| US8041577B2 (en) | 2007-08-13 | 2011-10-18 | Mitsubishi Electric Research Laboratories, Inc. | Method for expanding audio signal bandwidth |
| EP2186089B1 (en) | 2007-08-27 | 2018-10-03 | Telefonaktiebolaget LM Ericsson (publ) | Method and device for perceptual spectral decoding of an audio signal including filling of spectral holes |
| CN101939782B (zh) | 2007-08-27 | 2012-12-05 | 爱立信电话股份有限公司 | 噪声填充与带宽扩展之间的自适应过渡频率 |
| US9495971B2 (en) | 2007-08-27 | 2016-11-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Transient detector and method for supporting encoding of an audio signal |
| US8554349B2 (en) | 2007-10-23 | 2013-10-08 | Clarion Co., Ltd. | High-frequency interpolation device and high-frequency interpolation method |
| KR101373004B1 (ko) | 2007-10-30 | 2014-03-26 | 삼성전자주식회사 | 고주파수 신호 부호화 및 복호화 장치 및 방법 |
| JP4733727B2 (ja) | 2007-10-30 | 2011-07-27 | 日本電信電話株式会社 | 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体 |
| EP2214163A4 (en) | 2007-11-01 | 2011-10-05 | Panasonic Corp | CODING DEVICE, DECODING DEVICE AND METHOD THEREFOR |
| BRPI0818927A2 (pt) | 2007-11-02 | 2015-06-16 | Huawei Tech Co Ltd | Método e aparelho para a decodificação de áudio |
| US20090132238A1 (en) | 2007-11-02 | 2009-05-21 | Sudhakar B | Efficient method for reusing scale factors to improve the efficiency of an audio encoder |
| CA2704807A1 (en) | 2007-11-06 | 2009-05-14 | Nokia Corporation | Audio coding apparatus and method thereof |
| JP2009116275A (ja) | 2007-11-09 | 2009-05-28 | Toshiba Corp | 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置 |
| US8527282B2 (en) | 2007-11-21 | 2013-09-03 | Lg Electronics Inc. | Method and an apparatus for processing a signal |
| US8688441B2 (en) | 2007-11-29 | 2014-04-01 | Motorola Mobility Llc | Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content |
| EP2224432B1 (en) | 2007-12-21 | 2017-03-15 | Panasonic Intellectual Property Corporation of America | Encoder, decoder, and encoding method |
| WO2009084221A1 (ja) | 2007-12-27 | 2009-07-09 | Panasonic Corporation | 符号化装置、復号装置およびこれらの方法 |
| EP2077550B8 (en) | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
| WO2009093466A1 (ja) | 2008-01-25 | 2009-07-30 | Panasonic Corporation | 符号化装置、復号装置およびこれらの方法 |
| KR101413968B1 (ko) | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화, 복호화 방법 및 장치 |
| US8433582B2 (en) | 2008-02-01 | 2013-04-30 | Motorola Mobility Llc | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| US20090201983A1 (en) | 2008-02-07 | 2009-08-13 | Motorola, Inc. | Method and apparatus for estimating high-band energy in a bandwidth extension system |
| CN101965612B (zh) | 2008-03-03 | 2012-08-29 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| KR101449434B1 (ko) | 2008-03-04 | 2014-10-13 | 삼성전자주식회사 | 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치 |
| ES2898865T3 (es) | 2008-03-20 | 2022-03-09 | Fraunhofer Ges Forschung | Aparato y método para sintetizar una representación parametrizada de una señal de audio |
| KR20090122142A (ko) | 2008-05-23 | 2009-11-26 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| WO2009154797A2 (en) | 2008-06-20 | 2009-12-23 | Rambus, Inc. | Frequency responsive bus coding |
| CN102089816B (zh) | 2008-07-11 | 2013-01-30 | 弗朗霍夫应用科学研究促进协会 | 音频信号合成器及音频信号编码器 |
| ES2642906T3 (es) | 2008-07-11 | 2017-11-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificador de audio, procedimientos para proporcionar un flujo de audio y programa de ordenador |
| JP5203077B2 (ja) | 2008-07-14 | 2013-06-05 | 株式会社エヌ・ティ・ティ・ドコモ | 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法 |
| BRPI0917953B1 (pt) | 2008-08-08 | 2020-03-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparelho de atenuação de espectro, aparelho de codificação, aparelho terminal de comunicação, aparelho de estação base e método de atenuação de espectro. |
| JP2010079275A (ja) * | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
| WO2010028292A1 (en) | 2008-09-06 | 2010-03-11 | Huawei Technologies Co., Ltd. | Adaptive frequency prediction |
| WO2010028299A1 (en) | 2008-09-06 | 2010-03-11 | Huawei Technologies Co., Ltd. | Noise-feedback for spectral envelope quantization |
| US8352279B2 (en) | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
| US8798776B2 (en) | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
| GB0822537D0 (en) | 2008-12-10 | 2009-01-14 | Skype Ltd | Regeneration of wideband speech |
| GB2466201B (en) | 2008-12-10 | 2012-07-11 | Skype Ltd | Regeneration of wideband speech |
| CN101770776B (zh) | 2008-12-29 | 2011-06-08 | 华为技术有限公司 | 瞬态信号的编码方法和装置、解码方法和装置及处理系统 |
| ES2901735T3 (es) | 2009-01-16 | 2022-03-23 | Dolby Int Ab | Transposición armónica mejorada de productos de cruce |
| US8457975B2 (en) | 2009-01-28 | 2013-06-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program |
| JP4945586B2 (ja) | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
| US8463599B2 (en) | 2009-02-04 | 2013-06-11 | Motorola Mobility Llc | Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder |
| RU2538334C2 (ru) | 2009-02-26 | 2015-01-10 | Панасоник Интеллекчуал Проперти Корпорэйшн оф Америка | Кодер, декодер и способ для них |
| JP5564803B2 (ja) | 2009-03-06 | 2014-08-06 | ソニー株式会社 | 音響機器及び音響処理方法 |
| CN101853663B (zh) | 2009-03-30 | 2012-05-23 | 华为技术有限公司 | 比特分配方法、编码装置及解码装置 |
| EP2239732A1 (en) | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| CO6440537A2 (es) | 2009-04-09 | 2012-05-15 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio |
| JP5223786B2 (ja) | 2009-06-10 | 2013-06-26 | 富士通株式会社 | 音声帯域拡張装置、音声帯域拡張方法及び音声帯域拡張用コンピュータプログラムならびに電話機 |
| US8515768B2 (en) | 2009-08-31 | 2013-08-20 | Apple Inc. | Enhanced audio decoder |
| JP5754899B2 (ja) | 2009-10-07 | 2015-07-29 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| JP5928539B2 (ja) | 2009-10-07 | 2016-06-01 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| CN102081927B (zh) | 2009-11-27 | 2012-07-18 | 中兴通讯股份有限公司 | 一种可分层音频编码、解码方法及系统 |
| US8600749B2 (en) | 2009-12-08 | 2013-12-03 | At&T Intellectual Property I, L.P. | System and method for training adaptation-specific acoustic models for automatic speech recognition |
| US8447617B2 (en) | 2009-12-21 | 2013-05-21 | Mindspeed Technologies, Inc. | Method and system for speech bandwidth extension |
| EP2357649B1 (en) | 2010-01-21 | 2012-12-19 | Electronics and Telecommunications Research Institute | Method and apparatus for decoding audio signal |
| TWI447709B (zh) | 2010-02-11 | 2014-08-01 | Dolby Lab Licensing Corp | 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法 |
| JP5375683B2 (ja) | 2010-03-10 | 2013-12-25 | 富士通株式会社 | 通信装置および電力補正方法 |
| EP2555188B1 (en) | 2010-03-31 | 2014-05-14 | Fujitsu Limited | Bandwidth extension apparatuses and methods |
| JP5850216B2 (ja) | 2010-04-13 | 2016-02-03 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5652658B2 (ja) | 2010-04-13 | 2015-01-14 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5609737B2 (ja) | 2010-04-13 | 2014-10-22 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
| CN103069484B (zh) | 2010-04-14 | 2014-10-08 | 华为技术有限公司 | 时/频二维后处理 |
| US8560330B2 (en) | 2010-07-19 | 2013-10-15 | Futurewei Technologies, Inc. | Energy envelope perceptual correction for high band coding |
| CA3027803C (en) | 2010-07-19 | 2020-04-07 | Dolby International Ab | Processing of audio signals during high frequency reconstruction |
| US9047875B2 (en) | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
| JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP2012058358A (ja) | 2010-09-07 | 2012-03-22 | Sony Corp | 雑音抑圧装置、雑音抑圧方法およびプログラム |
| JP5707842B2 (ja) | 2010-10-15 | 2015-04-30 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| WO2012052802A1 (en) | 2010-10-18 | 2012-04-26 | Nokia Corporation | An audio encoder/decoder apparatus |
| JP5743137B2 (ja) | 2011-01-14 | 2015-07-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP5704397B2 (ja) | 2011-03-31 | 2015-04-22 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP6024077B2 (ja) | 2011-07-01 | 2016-11-09 | ヤマハ株式会社 | 信号送信装置および信号処理装置 |
| JP5975243B2 (ja) | 2011-08-24 | 2016-08-23 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP6037156B2 (ja) | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| JP5942358B2 (ja) | 2011-08-24 | 2016-06-29 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、並びにプログラム |
| JP5845760B2 (ja) | 2011-09-15 | 2016-01-20 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
| IN2014CN01270A (ko) | 2011-09-29 | 2015-06-19 | Dolby Int Ab | |
| US20150088528A1 (en) | 2012-04-13 | 2015-03-26 | Sony Corporation | Decoding apparatus and method, audio signal processing apparatus and method, and program |
| JP5997592B2 (ja) | 2012-04-27 | 2016-09-28 | 株式会社Ｎｔｔドコモ | 音声復号装置 |
| CN103748629B (zh) | 2012-07-02 | 2017-04-05 | 索尼公司 | 解码装置和方法、编码装置和方法以及程序 |
| KR20150032649A (ko) | 2012-07-02 | 2015-03-27 | 소니 주식회사 | 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램 |
| JPWO2014007097A1 (ja) | 2012-07-02 | 2016-06-02 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、並びにプログラム |
| TWI517142B (zh) | 2012-07-02 | 2016-01-11 | Sony Corp | Audio decoding apparatus and method, audio coding apparatus and method, and program |
| JP2014123011A (ja) | 2012-12-21 | 2014-07-03 | Sony Corp | 雑音検出装置および方法、並びに、プログラム |
| US9875746B2 (en) | 2013-09-19 | 2018-01-23 | Sony Corporation | Encoding device and method, decoding device and method, and program |
-
2010
- 2010-10-15 JP JP2010232106A patent/JP5707842B2/ja active Active
-
2011
- 2011-10-05 RU RU2013115770/08A patent/RU2589293C2/ru active
- 2011-10-05 KR KR1020137008804A patent/KR101835910B1/ko not_active Application Discontinuation
- 2011-10-05 EP EP19185518.8A patent/EP3579230B1/en active Active
- 2011-10-05 EP EP11832458.1A patent/EP2608199B1/en active Active
- 2011-10-05 US US13/877,192 patent/US9177563B2/en active Active
- 2011-10-05 CA CA2811085A patent/CA2811085C/en active Active
- 2011-10-05 BR BR112013008490-1A patent/BR112013008490B1/pt active IP Right Grant
- 2011-10-05 EP EP23168017.4A patent/EP4220638A1/en active Pending
- 2011-10-05 KR KR1020187005834A patent/KR101979557B1/ko active IP Right Grant
- 2011-10-05 CN CN201180048799.6A patent/CN103155031B/zh active Active
- 2011-10-05 WO PCT/JP2011/072957 patent/WO2012050023A1/ja active Application Filing
- 2011-10-05 RU RU2016118358A patent/RU2630384C1/ru active
- 2011-10-05 MX MX2013003952A patent/MX2013003952A/es active IP Right Grant
- 2011-10-05 AU AU2011314848A patent/AU2011314848B2/en active Active
- 2011-10-06 TW TW100136316A patent/TWI479481B/zh active
- 2011-10-11 AR ARP110103732A patent/AR083365A1/es active IP Right Grant
-
2015
- 2015-09-22 US US14/861,734 patent/US9536542B2/en active Active
-
2016
- 2016-11-21 US US15/357,877 patent/US9767824B2/en active Active
-
2017
- 2017-08-23 US US15/684,340 patent/US10236015B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5707842B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP5754899B2 (ja) | 復号装置および方法、並びにプログラム | |
| KR102015233B1 (ko) | 복호 장치 및 복호 방법 | |
| JP5609737B2 (ja) | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP5652658B2 (ja) | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP6508551B2 (ja) | 復号装置および方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |