KR20160036670A - 고 주파수 복원 알고리즘들을 위한 주파수 대역 테이블 설계 - Google Patents
고 주파수 복원 알고리즘들을 위한 주파수 대역 테이블 설계 Download PDFInfo
- Publication number
- KR20160036670A KR20160036670A KR1020167005207A KR20167005207A KR20160036670A KR 20160036670 A KR20160036670 A KR 20160036670A KR 1020167005207 A KR1020167005207 A KR 1020167005207A KR 20167005207 A KR20167005207 A KR 20167005207A KR 20160036670 A KR20160036670 A KR 20160036670A
- Authority
- KR
- South Korea
- Prior art keywords
- scale factor
- frequency
- band
- band table
- bands
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000005236 sound signal Effects 0.000 claims abstract description 51
- 230000003595 spectral effect Effects 0.000 claims abstract description 18
- 230000007704 transition Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000010432 diamond Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 오디오 인코딩 및 디코딩에 관한 것이다. 특히, 본 발명은 고 주파수 복원(high frequency reconstruction; HFR) 방법들을 이용하는 오디오 코딩 방식들에 관한 것이다. 오디오 신호의 고대역 신호(105)의 마스터 스케일 인자 대역 테이블을 결정하도록 구성된 시스템이 설명된다. 고대역 신호(105)는 고 주파수 복원(HFR) 방식을 이용하여 오디오 신호의 저대역 신호(101)로부터 생성될 것이다. 마스터 스케일 인자 대역 테이블은 고대역 신호(105)의 스펙트럼 엔벨로프의 주파수 분해능을 나타낸다.
Description
본 출원은 전체적으로 참조로써 본 명세서에 통합된, 2013년 8월 29일에 출원된 미국 가 출원 번호 제 61/871,575 호에 대한 우선권을 주장한다.
본 발명은 오디오 인코딩 및 디코딩에 관한 것이다. 특히, 본 발명은 고 주파수 복원(high frequency reconstruction; HFR)을 이용하는 오디오 코딩 방식들에 관한 것이다.
스펙트럼 대역 복제(Spectral Band Replication; SBR) 기술과 같은, HFR 기술들은 당신이 (코어 인코더들/디코더들로서 언급된) 전통적인 지각적 오디오 코덱들의 코딩 효율성을 상당히 개선하도록 허용한다. MPEG-4 고급 오디오 코딩(Advanced Audio Coding; AAC)과 조합하여, HFR은 매우 효율적인 오디오 코덱을 형성하고, 이는 예를 들면, XM 위성 라디오 시스템 및 DRM(Digital Radio Mondiale) 내에서 사용되고 있고, 3GPP, DVD 포럼 및 다른 것들 내에서 또한 표준화된다. SBR을 갖는 AAC의 하나의 구현은 돌비 펄스(Dolby Pulse)로 불린다. SBR을 갖는 AAC는, 그것이 고 효율성 AAC 프로파일(HE-AAC)로서 언급되는 MPEG-4 표준의 부분이다. 일반적으로, HFR 기술은 역방향 및 순방향 호환가능한 방식으로 임의의 지각적 오디오 (코어) 코덱과 조합될 수 있고, 따라서 유레카 DAB 시스템에서 이용된 MPEG 계층-2와 같은 이미 확립된 브로드캐스팅 시스템들을 업그레이드할 가능성을 제공한다. HFR 방법들은 또한, 초 저 비트 레이트들에서의 광 대역 음성을 허용하기 위해 음성 코덱들과 조합될 수 있다.
HFR 이면의 기본적인 아이디어는, 일반적으로 신호의 고 주파수 범위의 특성들과 동일한 신호의 저 주파수 범위의 특성들 사이에 강한 상관이 존재한다는 관측이다. 따라서, 신호의 원래 입력 고 주파수 범위의 표현에 대한 양호한 근사는 저 주파수 범위로부터 고 주파수 범위로의 신호 전이에 의해 성취될 수 있다.
고 주파수 복원은 필터 뱅크 또는 시간 도메인 대 주파수 도메인 변환을 이용하여, 시간 도메인에서 또는 주파수 도메인에서 수행될 수 있다. 프로세스는 일반적으로, 고 주파수 신호를 생성하고, 후속적으로 원래 고 주파수 스펙트럼의 스펙트럼 엔벨로프(envelope)를 근사화하기 위해 고 주파수 신호를 형상화하는 단계를 수반한다. 고 주파수 신호를 생성하는 단계는 예를 들면, 주파수(ω)를 갖는 사인곡선이, Δω가 고정 주파수 시프트인 주파수(ω+Δω)를 갖는 사인곡선에 매핑되는 단일 측대역 변조(SSB)에 기초할 수 있다. 즉, 고 주파수 신호(고대역 신호로서 또한 언급된)는 고 주파수 서브대역들(고대역 서브대역들로서 또한 언급된)에 대한 저 주파수 서브대역들(저대역 서브대역들로서 또한 언급된)의 "카피-업(copy-up)" 동작에 의해 저 주파수 신호(저대역 신호로서 또한 언급된)로부터 생성될 수 있다. 고 주파수 신호를 생성하기 위한 또 다른 방식은 저 주파수 서브대역들의 고조파 전이를 수반할 수 있다. 순차(order)(T)의 고조파 전이는 전형적으로, 고 주파수 신호의 주파수(Tω)를 갖는 사인곡선에 저 주파수 신호의 주파수(ω)의 사인곡선을 매핑시키도록 설계되고, 여기서 T>1이다.
상기 나타내어진 바와 같이, 고 주파수 신호의 생성 다음에, 고 주파수 신호의 스펙트럼 인벨로프의 형상은 원래 오디오 신호의 고 주파수 구성요소의 스펙트럼 형상에 따라 조정된다. 이 목적을 위해, 복수의 스케일 인자(scale factor) 대역들에 대한 스케일 인자들은 오디오 인코더로부터 오디오 디코더로 송신될 수 있다. 본 발명은 오디오 디코더가 계산적이고 비트 레이트 효율적인 방식으로 스케일 인자 대역들(스케일 인자들이 오디오 인코더로부터 제공되는)을 결정하는 것을 가능하게 하는 기술적 문제점을 해결한다.
일 양태에 따라, 오디오 신호의 고대역 신호에 대한 마스터 스케일 인자 대역 테이블을 결정하도록 구성된 시스템이 설명된다. 시스템은 오디오 인코더 및/또는 디코더의 부분일 수 있다. 마스터 스케일 인자 대역 테이블은 오디오 신호의 저대역 신호로부터 오디오 신호의 고대역 신호를 생성하기 위해 고 주파수 복원(HFR) 방식의 맥락에서 이용될 수 있다. 마스터 스케일 인자 대역 테이블은 고대역 신호의 스펙트럼 엔벨로프의 주파수 분해능을 나타낼 수 있다. 특히, 마스터 스케일 인자 대역 테이블은 복수의 스케일 인자 대역들을 나타낼 수 있다. 복수의 스케일 인자 대역들은 대응하는 복수의 스케일 인자들과 연관될 수 있고, 여기서 스케일 인자 대역의 스케일 인자는 스케일 인자 대역 내의 원래 오디오 신호의 에너지를 나타내거나 스케일 인자 대역 내의 원래 오디오 신호의 에너지를 근사화하는 에너지를 갖는 고대역 신호를 생성하기 위해 스케일 팩터 대역의 샘플들에 적용될 이득 인자를 나타낸다. 이와 같이, 복수의 스케일 인자들 및 복수의 스케일 인자 대역들은 마스터 스케일 인자 대역 테이블(또는 그로부터 얻어진 스케일 인자 대역 테이블)의 복수의 스케일 인자 대역들에 의해 커버(cover)된 주파수 범위 내의 원래 오디오 신호의 스펙트럼 엔벨로프의 근사치를 제공한다.
시스템은 파라미터들의 세트를 수신하도록 구성될 수 있다. 파라미터들의 세트는 미리 결정된 스케일 인자 대역 테이블에 인덱스들을 표현하는 하나 이상의 파라미터들(예로서, 시작 주파수 파라미터 및/또는 정지 주파수 파라미터)을 포함할 수 있다. 또한, 파라미터들의 세트는 복수의 상이한 미리 결정된 스케일 인자 대역 테이블들 중 특정한 테이블을 선택하기 위해 이용될 수 있는 선택 파라미터(예로서, 마스터 스케일 파라미터)를 포함할 수 있다.
시스템은 미리 결정된 스케일 인자 대역 테이블을 제공하도록 구성될 수 있다. 특히, 시스템은 복수의 상이한 미리 결정된 스케일 인자 대역 테이블들(예로서, 고 비트 레이트 스케일 인자 대역 테이블 및 저 비트 레이트 스케일 인자 대역 테이블)을 제공하도록 구성될 수 있다. 하나 이상의 미리 결정된 스케일 인자 대역 테이블들은 시스템의 메모리에 저장될 수 있다. 대안적으로, 하나 이상의 미리 결정된 스케일 인자 대역 테이블들은 시스템 내에 저장된 미리 결정된 공식 또는 규칙을 이용하여 생성될 수 있다(오디오 인코더에 의해 생성되고 송신된 파라미터들을 적용하는 필요성 없이). 즉, 시스템을 포함하는 오디오 디코더는 (대응하는 오디오 인코더로부터 독립적인) 자급자족적 방식으로 하나 이상의 미리 결정된 스케일 인자 대역 테이블들을 제공하도록 구성될 수 있다.
전형적으로, 미리 결정된 스케일 인자 대역 테이블의 스케일 인자들 중 적어도 하나는 복수의 주파수 대역들을 포함한다. 오디오 신호는 시간 도메인 대 주파수 도메인 변환 또는 필터 뱅크(직교 미러 필터(QMF), 뱅크와 같은)를 이용하여 시간 도메인으로부터 주파수 도메인으로 변환될 수 있다. 특히, 오디오 신호는 대응하는 복수의 주파수 대역들(예로서, 범위가 대역 인덱스(0)로부터 대역 인덱스(63)까지인 64개의 주파수 대역들)대한 복수의 서브대역 신호들로 변환될 수 있다. 주파수 대역들은 1, 2, 3, 4개 또는 그 이상의 주파수 대역들을 포함하는 스케일 인자 대역들로 그룹핑(grouping)된다. 미리 결정된 스케일 인자 대역 테이블의 스케일 인자 대역들 내에 포함된 주파수 대역들의 수는 증가하는 주파수에 따라 증가할 수 있다. 특히, 스케일 인자 대역 당 주파수 대역들의 수는 음향심리학 고려들에 따라 선택될 수 있다. 예로서, 미리 결정된 스케일 인자 대역 테이블의 스케일 인자 대역들은 바크(Bark) 스케일을 따를 수 있다.
시스템은 파라미터들의 세트를 이용하여 미리 결정된 스케일 인자 대역 테이블의 스케일 인자 대역들 중 일부 또는 전부를 선택함으로써 마스터 스케일 인자 대역 테이블을 결정하도록 구성될 수 있다. 특히, 마스터 스케일 인자 대역 테이블은 파라미터들의 세트로부터의 파라미터들 중 적어도 하나를 이용하여 미리 결정된 스케일 인자 대역 테이블을 절단함으로써(truncating) 결정될 수 있다. 즉, 마스터 스케일 인자 대역 테이블은 (파라미터들의 세트로부터의 파라미터들 중 적어도 하나에 따라) 미리 결정된 스케일 인자 대역 테이블의 스케일 인자 대역들의 서브세트 또는 전부를 포함할 수 있다. 이와 같이, 마스터 스케일 인자 대역 테이블은 전적으로, 미리 결정된 스케일 인자 대역 테이블 내에 포함되는 스케일 인자 대역들을 포함할 수 있다. 즉, 마스터 스케일 인자 대역 테이블은 미리 결정된 스케일 인자 대역 테이블로부터 취해진 스케일 인자 대역들만을 포함할 수 있다.
하나 이상의 미리 결정된 스케일 인자 대역 테이블들 중 하나로부터 하나 이상의 스케일 인자 대역들을 선택하기 위해 하나 이상의 미리 결정된 스케일 인자 대역 테이블들 및 파라미터들의 세트를 이용함으로써, 마스터 스케일 인자 대역 테이블(HFR 방식의 맥락에서 이용되는)은 계산적으로 효율적인 방식으로 결정될 수 있다. 결과적으로, 오디오 디코더의 비용이 감소될 수 있다. 또한, 오디오 인코더로부터 대응하는 오디오 디코더로 파라미터들의 세트를 송신하기 위한 시그널링 오버헤드가 적게 유지될 수 있고, 그에 의해 오디오 인코더로부터 오디오 디코더로 마스터 스케일 인자 대역 테이블을 시그널링(signaling)하기 위한 비트 레이트 효율적 방식을 제공한다. 이것은 파라미터들의 세트가 오디오 인코더로부터 오디오 디코더로 송신되는 오디오 비트스트림에 주기적 방식으로(예로서, 각각의 오디오 프레임에 대해) 포함되도록 허용하고, 그에 의해 애플리케이션들을 브로드캐스팅하고/하거나 스플라이싱(splicing)하는 것을 가능하게 한다.
상기 나타내어진 바와 같이, 파라미터들의 세트는 마스터 스케일 인자 대역 테이블의 스케일 인자 대역들의 최저 주파수를 가지는 마스터 스케일 인자 대역 테이블의 스케일 인자 대역을 나타내는 시작 주파수 파라미터를 포함할 수 있다. 특히, 시작 주파수 파라미터는 마스터 스케일 인자 대역 테이블의 (주파수에 대한 최저) 최저 스케일 인자 대역의 하부 경계에 대응하는 주파수 빈(bin)을 나타낼 수 있다. 시작 주파수 파라미터는 예로서, 0과 7 사이의 값들을 취하는 3 비트 값을 포함할 수 있다. 시스템은 마스터 스케일 인자 대역 테이블을 결정하기 위한 미리 결정된 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들을 삭제하도록 구성될 수 있다. 특히, 시스템은 미리 결정된 스케일 인자 대역 테이블의 하위 주파수 끝에서의 짝수의 스케일 인자 대역들을 삭제하도록 구성될 수 있고, 여기서 짝수는 시작 주파수 파라미터의 2배이다. 이와 같이, 시작 주파수 파라미터는 마스터 스케일 인자 대역 테이블을 결정하기 위해, 미리 결정된 스케일 인자 대역 테이블의 하위 주파수 끝을 절단하기 위해 이용될 수 있다.
대안적으로 또는 게다가, 파라미터들의 세트는 마스터 스케일 인자 대역 테이블의 스케일 인자 대역들의 최고 주파수를 가지는 마스터 스케일 인자 대역 테이블의 스케일 인자 대역을 나타내는 정지 주파수 파라미터를 포함할 수 있다. 특히, 정지 주파수 파라미터는 마스터 스케일 인자 대역 테이블의 (주파수에 대한 최고) 최고 스케일 인자 대역의 상부 경계에 대응하는 주파수 빈을 나타낼 수 있다. 정지 주파수 파라미터는 예로서, 0과 3 사이의 값들을 취하는 2 비트 값을 포함할 수 있다. 시스템은 마스터 스케일 인자 대역 테이블을 결정하기 위한 미리 결정된 스케일 인자 대역 테이블의 상위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들을 삭제하도록 구성될 수 있다. 특히, 시스템은 미리 결정된 스케일 인자 대역 테이블의 상위 주파수 끝에서의 짝수의 스케일 인자 대역들을 삭제하도록 구성될 수 있고, 여기서 짝수는 정지 주파수 파라미터의 2배이다. 이와 같이, 정지 주파수 파라미터는 마스터 스케일 인자 대역 테이블을 결정하기 위해, 미리 결정된 스케일 인자 대역 테이블의 상위 주파수 끝을 절단하기 위해 이용될 수 있다.
상기 나타내어진 바와 같이, 시스템은 복수의 미리 결정된 스케일 인자 대역 테이블들을 제공하도록 구성될 수 있다. 복수의 미리 결정된 스케일 인자 대역 테이블들은 저 비트 레이트 스케일 인자 대역 테이블 및 고 비트 레이트 스케일 인자 대역 테이블을 포함할 수 있다. 특히, 시스템은 정확하게 2개의 미리 결정된 스케일 인자 대역 테이블들 즉, 저 비트 레이트 스케일 인자 대역 테이블 및 고 비트 레이트 스케일 인자 대역 테이블을 제공하도록 구성될 수 있다. 파라미터들의 세트는 복수의 미리 결정된 스케일 인자 대역 테이블들 중 (정확하게) 하나를 나타내는 마스터 스케일 파라미터를 포함할 수 있고, 이는 마스터 스케일 인자 대역 테이블을 결정하기 위해 이용될 것이다. 특히, 마스터 스케일 파라미터는 예로서, 저 비트 레이트 스케일 인자 대역 테이블과 고 비트 레이트 스케일 인자 대역 테이블 사이를 구별하기 위해 예로서, 0과 1 사이의 값들을 취하는 1 비트 값을 포함할 수 있다. 복수의 상이한 미리 결정된 스케일 인자 대역 테이블들의 이용은 인코딩된 오디오 비트스트림의 비트 레이트에 HFR 방식을 적응시키기 위해 이로울 수 있다.
저 비트 레이트 스케일 인자 대역 테이블은 고 비트 레이트 스케일 인자 대역 테이블의 스케일 인자 대역들 중 임의의 대역보다 낮은 주파수들에서의 하나 이상의 스케일 인자 대역들을 포함할 수 있다. 대안적으로 또는 게다가, 고 비트 레이트 스케일 인자 대역 테이블은 저 비트 레이트 스케일 인자 대역 테이블의 스케일 인자 대역들 중 임의의 대역보다 높은 주파수들에서의 하나 이상의 스케일 인자 대역들을 포함할 수 있다. 즉, 저 비트 레이트 스케일 인자 대역 테이블은, 그 범위가 제 1 저 주파수 빈으로부터 제 1 고 주파수 빈까지인 하나 이상의 스케일 인자 대역들을 포함할 수 있다. 이와 같이, 저 비트 레이트 스케일 인자 대역 테이블은 제 1 저 주파수 빈 및 제 1 고 주파수 빈에 의해 구속될 수 있다. 유사한 방식으로, 고 비트 레이트 스케일 인자 대역 테이블은, 그 범위가 제 2 저 주파수 빈으로부터 제 2 고 주파수 빈까지인 하나 이상의 스케일 인자 대역들을 포함할 수 있다. 이와 같이, 고 비트 레이트 스케일 인자 대역 테이블은 제 2 저 주파수 빈 및 제 2 고 주파수 빈에 의해 구속될 수 있다. 제 1 저 주파수 빈은 제 2 저 주파수 빈보다 낮은 주파수에 있을 수 있다(또는 낮은 인덱스를 가질 수 있다). 대안적으로 또는 게다가, 제 2 고 주파수 빈은 제 1 고 주파수 빈보다 높은 주파수에 있을 수 있다(또는 높은 인덱스를 가질 수 있다). 또한, 고 비트 레이트 스케일 인자 대역 테이블 내에 포함된 스케일 인자 대역들의 수는 저 비트 레이트 스케일 인자 대역 테이블 내에 포함된 스케일 인자 대역들의 수보다 높을 수 있다. 따라서, 미리 결정된 스케일 인자 대역 테이블들은, 상대적으로 저 비트 레이트의 경우에 저대역 신호에 의해 커버되는 주파수 범위가 상대적으로 고 비트 레이트의 경우에서보다 낮다는 관측에 따라 설계될 수 있다. 또한, 미리 결정된 스케일 인자 대역 테이블들은, 상대적으로 고 비트 레이트의 경우에 비트 레이트와 지각적 품질 사이의 개선된 트레이드 오프(trade-off)가 고대역 신호의 주파수 범위를 연장함으로써 성취될 수 있다는 관측에 따라 설계될 수 있다.
오디오 신호의 저대역 신호 및 고대역 신호는, 그 범위가 대역 인덱스(0)로부터 대역 인덱스(63)까지인 총 64개의 주파수 대역들(예로서, QMF 주파수 대역들 또는 복소(complex) QMF 즉, CQMF 주파수 대역들)을 커버할 수 있다. 즉, 주파수 대역들은, 그 범위가 0으로부터 63까지인 대역 인덱스들을 갖는 64 채널 필터 뱅크에 의해 생성된 주파수 대역들에 대응할 수 있다. 저 비트 레이트 스케일 인자 대역 테이블은 다음 중 일부 또는 전부를 포함할 수 있다: 각각의 스케일 인자 대역이 단일 주파수 대역을 포함하는 주파수 대역(10)으로부터 최대 주파수 대역(20)까지의 스케일 인자 대역들; 각각의 스케일 인자 대역이 2개의 주파수 대역들을 포함하는 주파수 대역(20)으로부터 최대 주파수 대역(32)까지의 스케일 인자 대역들; 각각의 스케일 인자 대역이 3개의 주파수 대역들을 포함하는 주파수 대역(32)으로부터 최대 주파수 대역(38)까지의 스케일 인자 대역들; 및/또는 각각의 스케일 인자 대역이 4개의 주파수 대역들을 포함하는 주파수 대역(38)으로부터 최대 주파수 대역(46)까지의 스케일 인자 대역들. 고 비트 레이트 스케일 인자 대역 테이블은 다음 중 일부 또는 전부를 포함할 수 있다: 각각의 스케일 인자 대역이 단일 주파수 대역을 포함하는 주파수 대역(18)으로부터 최대 주파수 대역(24)까지의 스케일 인자 대역들; 각각의 스케일 인자 대역이 2개의 주파수 대역들을 포함하는 주파수 대역(24)으로부터 최대 주파수 대역(44)까지의 스케일 인자 대역들; 및/또는 각각의 스케일 인자 대역이 3개의 주파수 대역들을 포함하는 주파수 대역(44)으로부터 최대 주파수 대역(62)까지의 스케일 인자 대역들.
미리 결정된 스케일 인자 대역 테이블 내에 포함된 스케일 인자 대역들의 수 및/또는 마스터 스케일 인자 대역 테이블 내에 포함된 스케일 인자 대역들의 수는 짝수일 수 있다. 이것은 짝수의 스케일 인자 대역들을 포함하는 미리 결정된 스케일 인자 대역 테이블들을 이용함으로써 그리고 미리 결정된 스케일 인자 대역 테이블들을 짝수의 스케일 인자 대역들만큼 절단함으로써 성취될 수 있다. 짝수의 스케일 인자 대역들의 이용은 HFR 프로세스의 맥락에서 이로울 수 있는데, 이는 짝수의 스케일 인자 대역들의 이용이 저 분해능 주파수 대역 테이블이 고 분해능 주파수 대역 테이블의 정확한 데시메이션(decimation)이 될 것임을 보장하기 때문이다.
시스템은 마스터 스케일 인자 대역 테이블에 기초하여 고 분해능 주파수 대역 테이블 및 저 분해능 주파수 대역 테이블을 결정하도록 구성될 수 있다. 고 분해능 주파수 대역 테이블은 상대적으로 저 시간 분해능(즉, 상대적으로 많은 수의 샘플들을 포함하는 프레임들)과 결부하여 이용될 수 있고 저 분해능 주파수 대역 테이블은 상대적으로 고 시간 분해능(즉, 상대적으로 적은 수의 샘플들을 포함하는 프레임들)과 결부하여 이용될 수 있다. 이 맥락에서, 파라미터들의 세트는 고 주파수 복원으로부터 배제될 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들을 나타내는 크로스 오버(cross over) 대역 파라미터를 포함할 수 있다. 크로스 오버 대역 파라미터는 배제될 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0부터 최대 3 또는 7개의 스케일 인자 대역들을 나타내기 위해, 예로서, 0과 3 또는 7 사이의 값들을 취하는 2 또는 3 비트 값을 포함할 수 있다. 시스템은 크로스 오버 대역 파라미터에 따라, 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들을 배제함으로써 마스터 스케일 인자 대역 테이블로부터 고 분해능 주파수 대역 테이블 및 저 분해능 주파수 대역 테이블을 결정하도록 구성될 수 있다. 특히, 고 분해능 주파수 대역 테이블은 크로스 오버 대역 파라미터에 따라 배제된, 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들 없이 마스터 스케일 인자 대역 테이블에 대응할 수 있다. 또한, 시스템은 고 분해능 주파수 대역 테이블을 (예로서, 2배 만큼) 데시메이팅(decimating)함으로써 저 분해능 주파수 대역 테이블을 결정하도록 구성될 수 있다. 이와 같이, 미리 결정된 스케일 인자 대역 테이블들 및 짝수의 스케일 인자 대역들을 가지는 결과로 발생하는 마스터 스케일 인자 대역 테이블들의 이용은 계산적으로 효율적인 방식으로 저 분해능 주파수 대역 테이블을 생성하기 위해 이로울 수 있다.
시스템이 또한, (HFR 방식의 맥락에서 또한 이용될 수 있는) 마스터 스케일 인자 대역 테이블로부터 잡음 대역 테이블 및/또는 리미터(limiter) 대역 테이블을 결정하도록 구성될 수 있음을 주의해야 한다. 또한, HFR 방식에서 이용된 전이를 위한 패칭(patching) 방식은 마스터 스케일 인자 대역 테이블에 기초하여 및/또는 고 및 저 분해능 주파수 대역 테이블들에 기초하여 결정될 수 있다.
저대역 신호 및 고대역 신호는 오디오 신호의 미리 결정된 수의 샘플들을 포함하는 프레임들의 시퀀스로 분할될 수 있다. 시스템은 프레임들의 시퀀스로부터 프레임들의 세트에 대한 파라미터들의 업데이트된 세트를 수신하도록 구성될 수 있다. 프레임들의 세트는 미리 결정된 수의 프레임들(1, 2개 또는 그 이상의 프레임들)을 포함할 수 있다. 업데이트된 세트의 파라미터들은 프레임들의 매 세트에 대해(주기적 방식으로) 수신될 수 있다. 시스템은, 마스터 스케일 인자 대역 테이블에 영향을 미치는 업데이트된 세트의 파라미터들(예로서, 시작 주파수 파라미터, 정지 주파수 파라미터 및/또는 마스터 스케일 파라미터) 중 하나 이상의 파라미터들이 변경되지 않은 채로 남아 있으면, 마스터 스케일 인자 대역 테이블을 변경되지 않은 채로 유지하도록 구성될 수 있다. 마스터 스케일 인자 대역 테이블은 프레임들의 세트의 모든 프레임들에 대해 HFR 방식을 수행하기 위해 이용될 수 있다. 한편, 시스템은, 마스터 스케일 인자 대역 테이블에 영향을 미치는 업데이트된 세트의 파라미터들(예로서, 시작 주파수 파라미터, 정지 주파수 파라미터 및/또는 마스터 스케일 파라미터) 중 하나 이상의 파라미터들이 변경되면, 업데이트된 마스터 스케일 인자 대역 테이블을 결정하도록 구성될 수 있다. 업데이트된 마스터 스케일 인자 대역 테이블은, 또 다른 업데이트된 마스터 스케일 인자 대역 테이블이 결정될 때까지(파라미터들의 수정된 세트의 수신에 영향을 받는), 오디오 신호의 모든 프레임들에 대해 HFR 방식을 수행하기 위해 이용될 수 있다. 이와 같이, 마스터 스케일 인자 대역의 수정은 마스터 스케일 인자 대역 테이블에 영향을 미치는 하나 이상의 수정된 파라미터들을 송신함으로써, 즉 예로서, 수정된 시작 주파수 파라미터, 수정된 정지 주파수 파라미터 및/또는 수정된 마스터 스케일 파라미터를 송신함으로써 효율적인 방식으로 트리거링(triggering)될 수 있다.
또 다른 양태에 따라, 오디오 신호의 저대역 신호로부터 오디오 신호의 고대역 신호를 생성하도록 구성된 고 주파수 복원(HFR) 유닛이 설명된다. 고 주파수 복원 유닛은 하나 이상의 저대역 서브대역 신호들을 결정하도록 구성된 분석 필터 뱅크(예로서, QMF 뱅크)를 포함할 수 있다. 또한, HFR 유닛은 (예로서, 카피-업 프로세스를 이용하여) 전이된 서브대역 신호들을 산출하기 위해, 하나 이상의 저대역 서브대역 신호들을 고대역 주파수 범위로 전이시키도록 구성된 전이 유닛을 포함할 수 있다. 게다가, HFR 유닛은 고대역 신호에 대한 스케일 인자 대역 테이블을 결정하기 위해, 상기 설명된 시스템을 포함할 수 있고, 여기서 스케일 인자 대역 테이블은 고대역 주파수 범위를 커버하는 복수의 스케일 인자 대역들을 포함한다. 또한, HFR 유닛 또는 HFR 유닛을 포함하는 오디오 디코더는 복수의 스케일 인자 대역들에 대한 복수의 스케일 인자들을 각각 수신하도록 구성되는 엔벨로프 조정 유닛을 포함할 수 있다. 엔벨로프 조정 유닛은 스케일링(scaling)된 서브대역 신호들(스케일링된 HFR 서브대역 신호들로서 또한 언급된)을 산출하기 위해, 복수의 스케일 인자 대역들에 따라 복수의 스케일 인자들만큼 전이된 서브대역 신호들을 가중하거나 스케일링하도록 또한 구성될 수 있다. 고대역 신호는 스케일링된 서브대역 신호들에 기초하여 결정될 수 있다. 이 목적을 위해, HFR 유닛 또는 HFR 유닛을 포함하는 오디오 디코더는 가중된 전이된 주파수 대역들로부터 고대역 신호를 결정하도록 구성된 합성 필터 뱅크(예로서, 역 QMF 필터 뱅크)를 포함할 수 있다. 특히, 합성 필터 뱅크는 하나 이상의 저대역 서브대역 신호들로부터 그리고 스케일링된 HFR 서브대역 신호들로부터 (시간 도메인에서) 복원된 오디오 신호를 결정하도록 구성될 수 있다.
또 다른 양태에 따라, 비트스트림으로부터 복원된 오디오 신호를 결정하도록 구성된 오디오 디코더가 설명된다. 오디오 디코더는 비트스트림의 부분들을 디코딩함으로써 복원된 오디오 신호의 저대역 신호를 결정하도록 구성된 코어 디코더(예로서, AAC 디코더)를 포함할 수 있다. 또한, 오디오 디코더는 복원된 오디오 신호의 고대역 신호를 결정하도록 구성된 고 주파수 복원 유닛을 포함한다. 특히, 상기 언급된 합성 필터 뱅크는 저대역 신호로부터 그리고 (고대역 신호를 표현하는) 스케일링된 서브대역 신호들로부터 얻어진 저대역 서브대역 신호들로부터 복원된 오디오 신호를 결정하도록 이용될 수 있다.
또 다른 양태에 따라, 파라미터들의 세트를 결정하고 송신하도록 구성된 오디오 인코더가 설명된다. 파라미터들의 세트는 오디오 신호의 저대역 신호를 나타내는 비트스트림과 함께 송신될 수 있다. 파라미터들의 세트는 대응하는 오디오 디코더가 파라미터들의 세트를 이용하여, 미리 결정된 스케일 인자 대역 테이블로부터 스케일 인자 대역들 중 일부 또는 전부를 선택함으로써 마스터 스케일 인자 대역 테이블을 결정하는 것을 가능하게 할 수 있다. 마스터 스케일 인자 대역 테이블은 오디오 신호의 저대역 신호로부터 오디오 신호의 고대역 신호를 생성하기 위해 고 주파수 복원 방식의 맥락에서 이용될 수 있다.
또 다른 양태에 따라, 오디오 신호의 저대역 신호 및 파라미터들의 세트를 나타내는 비트스트림이 설명된다. 파라미터들의 세트는 오디오 디코더가 파라미터들의 세트를 이용하여 미리 결정된 스케일 인자 대역 테이블로부터 스케일 인자 대역들 중 일부 또는 전부를 선택함으로써 마스터 스케일 인자 대역 테이블을 결정하는 것을 가능하게 할 수 있다. 마스터 스케일 인자 대역 테이블은 오디오 신호의 저대역 신호로부터 오디오 신호의 고대역 신호를 생성하기 위해 고 주파수 복원 방식의 맥락에서 이용될 수 있다.
또 다른 양태에 따라, 오디오 신호의 고대역 신호에 대한 마스터 스케일 인자 대역 테이블을 결정하기 위한 방법이 설명된다. 고대역 신호는 고 주파수 복원 방식을 이용하여, 오디오 신호의 저대역 신호로부터 생성될 것이다. 마스터 스케일 인자 대역 테이블은 고대역 신호의 스펙트럼 엔벨로프의 주파수 분해능을 나타낼 수 있다. 방법은 파라미터들의 세트를 수신하는 단계, 및 미리 결정된 스케일 인자 대역 테이블을 제공하는 단계를 포함할 수 있다. 미리 결정된 스케일 인자 대역 테이블의 스케일 인자 대역들 중 적어도 하나는 복수의 주파수 대역들을 포함할 수 있다. 방법은 파라미터들의 세트를 이용하여, 미리 결정된 스케일 인자 대역 테이블의 스케일 인자 대역들 중 일부 또는 전부를 선택함으로써 (단지) 마스터 스케일 인자 대역 테이블을 결정하는 단계를 더 포함할 수 있다. 이와 같이, 마스터 스케일 인자 대역 테이블은 또 다른 산출들에 대한 필요성 없이, 단지 선택 동작들에 기초하여 결정될 수 있다. 따라서, 마스터 스케일 인자 대역 테이블은 계산적으로 효율적인 방식으로 결정될 수 있다.
또 다른 양태에 따라, 소프트웨어 프로그램이 설명된다. 소프트웨어 프로그램은 프로세서 상에서의 실행을 위해 그리고 프로세서 상에서 실행될 때, 본 발명에서 설명된 방법 단계들을 수행하기 위해 적응될 수 있다.
또 다른 양태에 따라, 저장 매체가 설명된다. 저장 매체는 프로세서 상에서의 실행을 위해 그리고 프로세서 상에서 실행될 때, 본 발명에서 설명된 방법 단계들을 수행하기 위해 적응된 소프트웨어 프로그램을 포함할 수 있다.
또 다른 양태에 따라, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램은 컴퓨터 상에서 실행될 때, 본 발명에서 설명된 방법 단계들을 수행하기 위한 실행가능한 지시들을 포함할 수 있다.
본 특허 출원에서 설명된 바와 같은 방법들 및 시스템들의 바람직한 실시예들을 포함하는 상기 방법들 및 시스템들이 독자적으로 또는 본 발명에 개시된 다른 방법들 및 시스템들과 조합하여 이용될 수 있음을 주의해야 한다. 또한, 본 특허 출원에서 설명된 방법들 및 시스템들의 모든 양태들은 임의적으로 조합될 수 있다. 특히, 청구항들의 특징들은 임의의 방식으로 서로 조합될 수 있다.
본 발명은 첨부된 도면들을 참조하여 일 예시적인 방식으로 아래에 설명된다.
도 1은 예시적인 저대역 및 고대역 신호들을 도시한 도면.
도 2는 예시적인 스케일 인자 대역 테이블들을 도시한 도면.
도 3a 및 도 3b는 예시적인 마스터 스케일 인자 대역 테이블들의 비교들을 도시한 도면들.
도 4는 미리 결정된 스케일 인자 대역 테이블을 이용하여 고대역 신호를 생성하기 위한 일 예시적인 방법을 도시한 도면.
도 2는 예시적인 스케일 인자 대역 테이블들을 도시한 도면.
도 3a 및 도 3b는 예시적인 마스터 스케일 인자 대역 테이블들의 비교들을 도시한 도면들.
도 4는 미리 결정된 스케일 인자 대역 테이블을 이용하여 고대역 신호를 생성하기 위한 일 예시적인 방법을 도시한 도면.
고 주파수 복원(HFR) 기술들을 이용하는 오디오 디코더들은 전형적으로, (저대역 신호로서 언급된) 저 주파수 오디오 신호로부터 (고대역 신호로서 언급된) 고 주파수 오디오 신호를 생성하기 위한 HFR 유닛 및 고 주파수 오디오 신호의 스펙트럼 엔벨로프를 조정하기 위한 후속 스펙트럼 엔벨로프 조정 유닛을 포함할 수 있다.
도 1에서, 엔벨로프 조정기에 들어가기 이전에, HFR 유닛의 출력의 문체상으로 도시된 스펙트럼(100, 110)이 디스플레이된다. 상단 패널에서, 카피-업 방법(2개의 패치들을 이용한)은 저대역 신호(101)로부터 고대역 신호(105)를 생성하기 위해 이용된다. 예로서, "ISO/IEC 14496-3 정보 기술 - 오디오 시각 객체들의 코딩 - 파트 3: 오디오(ISO/IEC 14496-3 Information Technology - Coding of audio-visual objects - Part 3: Audio)"에서 설명되고 참조로서 통합되는 MPEG-4 스펙트럼 대역 복제(SBR)에서 이용된 카피-업 방법. 카피-업 방법은 하위 주파수들(101)의 부분들을 더 높은 주파수들(101)로 변환시킨다. 하부 패널에서, 고조파 전이 방법(2개의 비 중첩 전이 순차들을 이용한)은 저대역 신호(111)로부터 고대역 신호(115)를 생성하기 위해 이용된다. 예로서, "MPEG-D USAC: ISO/IEC 23003-3 - 통합된 음성 및 오디오 코딩(MPEG-D USAC: ISO/IEC 23003-3 - Unified Speech and Audio Coding)"에서 설명되고 참조로서 통합되는 MPEG-D USAC의 고조파 전이 방법. 후속 엔벨로프 조정 단계에서, 타겟 스펙트럼 엔벨로프는 고 주파수 구성요소들(105, 115)에 적용된다.
스펙트럼(100, 110)에 더하여, 도 1은 타겟 스펙트럼 엔벨로프를 표현하는 스펙트럼 엔벨로프 데이터의 예시적인 주파수 대역들(130)을 도시한다. 이들 주파수 대역들(130)은 스케일 인자 대역들 또는 타겟 간격들로서 언급된다. 전형적으로, 타겟 에너지 값 즉, 스케일 인자 에너지(또는 스케일 인자)는 각각의 타겟 간격에 대해 즉, 각각의 스케일 인자 대역에 대해 명시된다. 즉, 스케일 인자 대역들은, 타겟 간격 당 전형적으로 단지 하나의 단일 타겟 에너지 값이 존재하기 때문에 타겟 스펙트럼 엔벨로프의 효과적인 주파수 분해능을 규정한다. 스케일 인자 대역들에 대해 명시된 스케일 인자들 또는 타겟 에너지들을 이용하여, 후속 엔벨로프 조정기는, 스케일 인자 대역들 내의 고대역 신호의 에너지가 각각의 스케일 인자 대역들에 대한 수신된 스펙트럼 엔벨로프 데이터의 에너지 즉, 타겟 에너지와 같게 되도록 고대역 신호를 조정하려고 노력한다.
본 발명은 오디오 디코더에서 (HFR 또는 SBR 프로세스 내에서 이용될 스케일 인자 대역들(130)을 나타내는) 주파수 대역 테이블들을 결정하기 위한 효율적인 방식에 관한 것이다. 또한, 본 발명은 오디오 인코더로부터 대응하는 오디오 디코더로 (스케일 인자 대역 테이블들로서 언급된) 주파수 대역 테이블들을 전달하기 위한 시그널링 오버헤드(signalling overhead)를 감소시키는 것에 관한 것이다. 게다가, 본 발명은 오디오 인코더의 튜닝(tuning)을 단순화하는 것에 관한 것이다.
오디오 디코더에서 주파수 대역 테이블들(특히, 마스터 스케일 인자 대역 테이블)을 결정하기 위한 가능한 방식은 오디오 디코더로 송신된 파라미터들을 이용하는 미리 규정된 알고리즘들에 기초한다. 실행 시간 동안, 미리 결정된 알고리즘들은 송신된 파라미터들에 기초하여 주파수 대역 테이블들을 산출하기 위해 실행된다. 미리 결정된 알고리즘들은 (마스터 스케일 인자 대역 테이블로서 또한 언급된) 소위 "마스터 테이블"을 제공한다. 산출된 "마스터 테이블"은 그 다음, 고 주파수 복원 알고리즘에 대응하는 파라메트릭 데이터를 정확하게 디코딩하고 적용하기 위해 필요한 테이블들(예로서, 고 분해능 주파수 대역 테이블, 저 분해능 주파수 대역 테이블, 잡음 대역 테이블 및/또는 리미터 대역 테이블)의 세트를 얻기 위해 이용될 수 있다.
주파수 대역 테이블들을 결정하기 위한 상기 언급된 방식은 이롭지 않은데, 이는 그것이 "마스터 테이블들"을 산출하기 위해 오디오 디코더에 의해 이용되는 파라미터들의 송신을 요구하기 때문이다. 또한, "마스터 테이블들"을 산출하기 위한 미리 결정된 알고리즘들의 실행은 오디오 디코더에서 리소스들을 계산하는 것을 요구하고 따라서, 오디오 디코더의 비용을 증가시킨다.
본 발명에서, 하나 이상의 미리 결정된, 정적 스케일 인자 대역 테이블들을 이용하는 것이 제안된다. 특히, 제 1 테이블이 저 비트 레이트들을 위한 것이고 제 2 테이블이 고 비트 레이트들을 위한 것인 2개의 정적 스케일 인자 대역 테이블들을 규정하는 것이 제안된다. 고대역 신호(105)를 복원하기 위해 오디오 디코더에 의해 필요할 수 있는, 마스터 테이블을 포함하는 다른 테이블들은 그 다음, 정적으로 미리 규정된 테이블들로부터 얻어질 수 있다. 다른 테이블들(특히, 마스터 스케일 인자 대역 테이블)의 도출은 (비트스트림으로서 또한 언급된) 데이터 스트림 내의 오디오 인코더로부터 오디오 디코더로 송신된 파라미터들로 미리 규정된 스케일 인자 대역 테이블들을 인덱싱(indexing)함으로써 효율적인 방식으로 행해질 수 있다.
제 1 및 제 2 정적 스케일 인자 대역 테이블들은,
유사한 방식으로, 제 2 테이블(예로서, 미리 결정된 비트 레이트 임계치보다 높은 상대적으로 고 비트 레이트들에 대한)은 다음을 포함한다.
도 2로부터 보여질 수 있는 바와 같이, 저 비트 레이트 스케일 인자 대역 테이블(200)은 CQMF 대역(10)에서 시작하고 대역(46)으로 이동하여, 최대 20개의 스케일 인자 대역들(130)을 갖는다. 고 비트 레이트 스케일 인자 대역 테이블(210)은, 그 범위가 대역(18)으로부터 대역(62)인 최대 22개의 스케일 인자 대역들(130)을 지원한다.
정적 스케일 인자 대역 테이블들(200, 210)로부터 현재 프레임의 디코딩을 위해 이용될 마스터 테이블을 얻기 위해, 3개의 파라미터들이 이용될 수 있다. 이들 파라미터들은, 오디오 디코더가 현재 프레임에 대한 마스터 테이블을 얻는 것을 가능하게 하기 위해(즉, 현재 마스터 테이블을 얻기 위해), 오디오 인코더로부터 오디오 디코더로 송신될 수 있다. 이들 파라미터들은 다음과 같다:
1. 시작 주파수(startFreq) 파라미터: 시작 주파수 파라미터는 3 비트들의 길이를 가질 수 있고 0과 7 사이의 값들을 취할 수 있다. 시작 주파수 파라미터는 각각의 스케일 인자 대역 테이블들(200, 210)의 최저 주파수 대역들(201, 211)(즉, 주파수 대역(10 또는 18))로부터 시작하여 2개의 스케일 인자 대역들(130)의 단계들에서 위로 이동하는 미리 결정된 스케일 인자 대역 테이블들(200, 210)에 대한 인덱스일 수 있다. 파라미터 값(startFreq=1)은 따라서, 고 비트 레이트 스케일 인자 대역 테이블(210)에 대한 주파수 대역(20)을 가리킬 것이다.
2. 정지 주파수(stopFreq) 파라미터: 정지 주파수 파라미터는 2 비트들의 길이를 가질 수 있고 0과 4 사이의 값들을 취할 수 있다. 정지 주파수 파라미터는 최고 주파수 대역(46 또는 62)로부터 시작하여 2개의 스케일 인자 대역들(130)의 단계들에서 아래로 이동하는 스케일 인자 대역 테이블들(200, 210)에 대한 인덱스일 수 있다. 파라미터 값(stopFreq=2)은 따라서, 고 비트 레이트 스케일 인자 대역 테이블(210)에 대한 대역(50)을 가리킬 것이다.
3. 마스터 스케일(masterScale) 파라미터: 마스터 스케일 파라미터는 1 비트의 길이를 가질 수 있고 0과 1 사이의 값을 취할 수 있다. 마스터 스케일 파라미터는 2개의 미리 결정된 스케일 인자 대역 테이블들(200, 210) 중 현재 이용되고 있는 것을 나타낼 수 있다. 예로서, 파라미터 값(masterScale=0)은 저 비트 레이트 스케일 인자 대역 테이블(200)을 나타낼 수 있고 파라미터 값(masterScale=1)은 고 비트 레이트 스케일 인자 대역 테이블(210)을 나타낼 수 있다.
다음의 표 1 및 표 2는 48000 Hz의 샘플링 주파수를 이용하여, 저 비트 레이트 스케일 인자 대역 테이블(200) 및 고 비트 레이트 스케일 인자 대역 테이블(210)에 대한 가능한 시작 및 정지 주파수 대역들을 각각 열거한다.
| startFreq | CQMF 대역 | 주파수[Hz] | stopFreq | CQMF 대역 | 주파수[Hz] |
| 0 | 10 | 3750 | 0 | 46 | 17250 |
| 1 | 12 | 4500 | 1 | 38 | 14250 |
| 2 | 14 | 5250 | 2 | 32 | 12000 |
| 3 | 46 | 6000 | 3 | 28 | 10500 |
| 4 | 18 | 6750 | |||
| 5 | 20 | 7500 | |||
| 6 | 24 | 9000 | |||
| 7 | 28 | 10500 |
저 비트레이트 스케일 인자 대역 테이블에 대한 시작 및 정지 주파수들을 보여준다.
| startFreq | CQMF 대역 | 주파수[Hz] | stopFreq | CQMF 대역 | 주파수[Hz] |
| 0 | 18 | 6750 | 0 | 62 | 23250 |
| 1 | 20 | 7500 | 1 | 56 | 21000 |
| 2 | 22 | 8250 | 2 | 50 | 18750 |
| 3 | 24 | 9000 | 3 | 44 | 16500 |
| 4 | 28 | 10500 | |||
| 5 | 32 | 12000 | |||
| 6 | 36 | 13500 | |||
| 7 | 40 | 15000 |
고 비트레이트 스케일 인자 대역 테이블에 대한 시작 및 정지 주파수들을 보여준다.
마스터 스케일 파라미터를 이용하여, 인코더는 미리 결정된 스케일 인자 대역 테이블들(200, 210) 중 어떤 것이 마스터 스케일 인자 대역 테이블을 얻기 위해 이용될 것인지를 디코더에 나타낼 수 있다. 표 1 및 표 2에서 설명된 바와 같이, 시작 주파수 파라미터 및 정지 주파수 파라미터를 이용하여, 실제 마스터 스케일 인자 대역 테이블이 결정될 수 있다. 예로서, masterScale=0, startFreq=1 및 stopFreq=2에 대해, 마스터 스케일 인자 대역 테이블은, 그 범위가 주파수 대역(12)으로부터 최대 주파수 대역(32)까지인 저 비트 레이트 스케일 인자 대역 테이블(200)로부터의 스케일 인자 대역들을 포함한다.
마스터 스케일 인자 대역 테이블은 오디오 신호의 지속적인 세그먼트들에 대해 HFR을 수행하기 위해 이용되는 고 분해능 주파수 대역 테이블에 대응할 수 있다. 저 분해능 주파수 대역 테이블은 고 분해능 주파수 대역 테이블을 예로서, 2배 만큼 데시메이팅함으로써 마스터 스케일 인자 대역 테이블로부터 얻어질 수 있다. 저 분해능 주파수 대역 테이블은 (감소된 주파수 분해능을 댓가로, 증가된 시간 분해능을 허용하기 위해) 오디오 신호의 일시적 세그먼트들을 위해 이용될 수 있다. 고 분해능 주파수 대역 테이블들(210, 210)에 대한 스케일 인자 대역들(130)의 수가 짝수일 수 있음이 표 1 및 표 2로부터 보여질 수 있다. 따라서, 저 분해능 주파수 대역 테이블은 2배 만큼 고 분해능 테이블의 완전한 데시메이션일 수 있다. 게다가, 표 1 및 표 2로부터 보여진 바와 같이, 주파수 대역 테이블들은 언제나 짝수의 CQMF 대역(220)으로 시작하고 종료한다.
현재 이용된 주파수 대역 테이블들에 영향을 미치는 제 4 파라미터는 크로스 오버 대역(xOverBand) 파라미터일 수 있다. 크로스 오버 대역 파라미터는 2 또는 3 비트들의 길이를 가질 수 있거나 0과 3(7) 사이의 값들을 취할 수 있다. xOverBand 파라미터는 제 1 빈에서 시작하여 하나의 스케일 인자 대역(130)의 단계를 통해 위로 이동하는 고 분해능 주파수 대역 테이블에 대한(또는 마스터 스케일 인자 대역 테이블에 대한) 인덱스일 수 있다. 따라서, xOverBand 파라미터의 이용량은 고 분해능 주파수 대역 테이블 및/또는 마스터 스케일 인자 대역 테이블의 시작을 효과적으로 절단할 것이다. xOverBand 파라미터는 저대역 신호(101)의 주파수 범위를 연장하고/하거나 고대역 신호(105)의 주파수 범위를 감소시키기 위해 이용될 수 있다. xOverBand 파라미터가 기존의 테이블들을 절단시킴으로써, 및 특히 트랜스포저(transposer) 패칭 방식을 변경시키지 않고 HFR 대역폭을 변경시키기 때문에, 모든 채널들이 여전히 동일한 패칭 방식을 이용하는 동안, xOverBand 파라미터는 청취가능한 아티팩트(artifact)들 없이 실행시간 시 대역폭을 변경시키거나, 다중 채널 셋업에서 상이한 HFR 대역폭들을 허용하기 위해 이용될 수 있다. xOverBand 파라미터의 일부 선택들을 위해, 고 및 저 분해능 주파수 대역 테이블의 제 1 스케일 인자 대역은 동일하게 될 것이다(예로서, 도 3b에서 보여질 수 있는 바와 같이).
도 3a 및 도 3b는 미리 결정된 스케일 인자 대역 테이블들(200, 210)에 기초하여 얻어진 마스터 스케일 인자 대역 테이블들 및 알고리즘적 접근법을 이용하여 얻어진 마스터 스케일 인자 대역 테이블들의 비교를 보여준다. 도 3a는 22kbps(모노/파라메트릭 스테레오)의 상대적으로 저 비트 레이트의 상황을 보여준다. 다이어그램의 상부 절반(300)은 정적 저 비트 레이트 스케일 인자 대역 테이블(200)을 이용하여 얻어진 마스터 스케일 인자 대역 테이블을 보여주고 다이어그램의 하부 절반(310)은 알고리즘적 접근법을 이용하여 얻어진 마스터 스케일 인자 대역 테이블을 보여준다. 라인들(301, 311)은 각각의 마스터 스케일 인자 대역 테이블들의 스케일 인자 대역들의 경계들을 표현한다. 하부 다이아몬드들(302, 312)은 고 분해능 스케일 인자 대역들의 경계들을 표현하고 더 높은 다이아몬드들(303, 313)은 저 분해능 스케일 인자 대역들의 경계들을 표현한다. 정적인 미리 결정된 스케일 인자 대역 테이블들(200, 210)을 이용하여 얻어지는 마스터 스케일 인자 대역 테이블들이 알고리즘적 접근법을 이용하여 얻어지는 마스터 스케일 인자 대역 테이블들과 실질적으로 동일함이 보여질 수 있다.
도 3b는 76kb/s의 비트 레이트를 갖는 상대적으로 고 비트 레이트 스테레오 경우를 보여준다. 이 경우에, 고 비트 레이트 스케일 인자 대역 테이블(210)은 마스터 스케일 인자 대역 테이블을 결정하기 위해 이용되었다. 다시, 상부 다이어그램(320)은 정적 스케일 인자 대역 테이블(210)을 이용하여 얻어진 마스터 스케일 인자 대역 테이블을 보여주는 반면에, 하부 다이어그램(330)은 알고리즘적 접근법을 이용하여 얻어진 마스터 스케일 인자 대역 테이블을 보여준다. 라인들(321, 331)은 각각의 마스터 스케일 인자 대역 테이블들의 스케일 인자 대역들의 경계들을 표현한다. 하부 다이아몬드들(322, 332)은 고 분해능 스케일 인자 대역들의 경계들을 표현하고 더 높은 다이아몬드들(323, 333)은 저 분해능 스케일 인자 대역들의 경계들을 표현한다. 다시, 정적인 미리 결정된 스케일 인자 대역 테이블들(200, 210)을 이용하여 얻어지는 마스터 스케일 인자 대역 테이블들이 알고리즘적 접근법을 이용하여 얻어지는 마스터 스케일 인자 대역 테이블들과 실질적으로 동일함이 보여질 수 있다.
도 3b의 예에서, xOverBand 파라미터는 0과 다른 값으로 설정되었다. 특히, xOverBand 파라미터는 알고리즘적 접근법에 대해 2로 설정된 반면에, xOverBand 파라미터는 본 발명에서 설명된 접근법에 대해 1로 설정되었다. xOverBand 파라미터를 이용하는 결과로서, xOverBand 파라미터와 같은 주파수 대역들(324, 334)의 수는 고 분해능 테이블들 및 저 분해능 테이블들로부터 배제된다.
현재 마스터 스케일 인자 대역 테이블(현재 마스터 테이블로서 또한 언급된)은 표 3에 열거된 의사 코드를 이용하여 오디오 디코더에 의해 얻어질 수 있다.
표 3의 의사 코드에서, 파라미터(masterReset)는, 다음의 파라미터들 중 임의의 파라미터가 이전 프레임으로부터 변경되었으면 1로 설정된다: masterScale 파라미터, startFreq 파라미터 및/또는 stopFreq 파라미터. 이와 같이, 변경된 masterScale 파라미터, startFreq 파라미터 및/또는 stopFreq 파라미터의 수신은 오디오 디코더에서 새로운 마스터 테이블의 결정을 트리거링한다. 현재 마스터 테이블은 새로운(업데이트된) 테이블이 결정되는 한 이용된다(변경된 마스터 스케일, 시작 주파수 및/또는 정지 주파수 파라미터에 영향을 받는다).
도 3의 의사 코드에서, masterBandTable은 얻어진 마스터 스케일 인자 대역 테이블이고 nMfb는 얻어진 마스터 스케일 인자 대역 테이블에서의 스케일 인자 대역들의 수이다. 얻어진 마스터 스케일 인자 대역 테이블로부터, HFR 프로세스에서 이용되는 모든 다른 테이블들 예로서, 고 및 저 분해능 주파수 대역 테이블들, 잡음 대역 테이블 및 리미터 대역 테이블은, 참조로서 통합되는 예로서, "ISO/IEC 14496-3 정보 기술 - 오디오 시각 객체들의 코딩 - 파트 3: 오디오(ISO/IEC 14496-3 Information Technology - Coding of audio-visual objects - Part 3: Audio)"에서 명시되는 레거시 SBR 방법들에 따라 얻어질 수 있다.
도 4는 오디오 신호의 고대역 신호(105, 115)에 대한 마스터 스케일 인자 대역 테이블을 결정하기 위한 일 예시적인 방법(400)의 흐름도를 보여준다. 즉, 방법(400)은 오디오 신호의 저대역 신호(101, 111)로부터 고대역 신호(105, 115)를 생성하기 위해 HFR 방식의 맥락에서 이용되는 마스터 스케일 인자 대역 테이블(마스터 테이블로서 또한 언급된)을 결정하는 것에 관한 것이다. 마스터 스케일 인자 대역 테이블은 고대역 신호(105, 115)의 스펙트럼 엔벨로프의 주파수 분해능을 나타낸다. 방법(400)은 파라미터들 예로서, 시작 주파수 파라미터, 정지 주파수 파라미터 및/또는 마스터 스케일 파라미터의 세트를 수신하는 단계(401)를 포함한다. 또한, 방법(400)은 미리 결정된 스케일 인자 대역 테이블(200, 210)을 제공하는 단계(402)를 포함한다. 게다가, 방법(400)은 파라미터들의 세트를 이용하여, 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 중 일부 또는 전부를 선택함으로써 마스터 스케일 인자 대역 테이블을 결정하는 단계(403)를 포함한다.
본 발명에서, HFR을 위해 이용된 스케일 인자 대역들을 얻기 위한 효율적인 방식이 설명된다. 방식은 하나 이상의 미리 결정된 스케일 인자 대역 테이블들을 이용하고, HFR에 대한(예로서, SBR에 대한) 마스터 스케일 인자 대역 테이블들은 상기 하나 이상의 미리 결정된 스케일 인자 대역 테이블들로부터 얻어진다. 이 목적을 위해, 파라미터들의 세트는 오디오 인코더로부터 오디오 디코더로 송신되는 비트스트림에 삽입되고, 그에 의해 오디오 디코더가 마스터 스케일 인자 대역 테이블을 결정하는 것을 가능하게 한다. 마스터 스케일 인자 대역 테이블의 결정은 단지 테이블 룩업 동작들에 있고, 그에 의해 마스터 스케일 인자 대역 테이블을 결정하기 위해 계산적으로 효율적인 방식을 제공한다. 게다가, 비트스트림에 삽입되는 파라미터들의 세트는 비트 레이트 효율적인 방식으로 인코딩될 수 있다.
본 발명에서 설명된 방법들 및 시스템들은 소프트웨어, 펌웨어 및/또는 하드웨어로서 구현될 수 있다. 특정 구성요소들은 예로서, 디지털 신호 프로세서 또는 마이크로프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 다른 구성요소들은 예로서, 하드웨어로서 및/또는 주문형 반도체(application specific integrated circuit)들로서 구현될 수 있다. 설명된 방법들 및 시스템에서 조우된 신호들은 랜덤 액세스 메모리 또는 광학 저장 매체들과 같은 매체들 상에 저장될 수 있다. 그들은 라디오 네트워크들, 위성 네트워크들, 무선 네트워크들 또는 유선 네트워크들 예로서, 인터넷과 같은, 네트워크들을 통해 전송될 수 있다. 본 발명에서 설명된 방법들 및 시스템들을 이용하는 전형적인 디바이스들은 오디오 신호들을 저장하고/하거나 렌더링(rendering)하기 위해 이용되는 휴대용 전자 디바이스들 또는 다른 소비자 장비이다.
101, 111: 저대역 신호
105, 115: 고대역 신호
130: 주파수 대역들
200: 저 비트 레이트 스케일 인자 대역 테이블
210: 고 비트 레이트 스케일 인자 대역 테이블
130: 주파수 대역들
200: 저 비트 레이트 스케일 인자 대역 테이블
210: 고 비트 레이트 스케일 인자 대역 테이블
Claims (34)
- 고 주파수 복원 방식을 이용하여 오디오 신호의 저대역 신호(101)로부터 생성될 상기 오디오 신호의 고대역 신호(105)의 마스터 스케일 인자 대역 테이블을 결정하도록 구성된 시스템으로서, 상기 마스터 스케일 인자 대역 테이블은 상기 고대역 신호(105)의 스펙트럼 엔벨로프의 주파수 분해능을 나타내는, 상기 시스템에 있어서,
- 파라미터들의 세트를 수신하고;
- 미리 결정된 스케일 인자 대역 테이블(200, 210)을 제공하는 것으로서, 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 중 적어도 하나는 복수의 주파수 대역들(220)을 포함하는, 상기 미리 결정된 스케일 인자 대역 테이블을 제공하며;
- 상기 파라미터들의 세트를 이용하여, 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 중 일부 또는 전부를 선택함으로써 상기 마스터 스케일 인자 대역 테이블을 결정하도록 구성되는, 시스템. - 제 1 항에 있어서,
상기 마스터 스케일 인자 대역 테이블은 상기 파라미터들의 세트를 이용하여 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)을 절단함으로써(truncating) 결정되는, 시스템. - 제 1 항 또는 제 2 항에 있어서,
상기 마스터 스케일 인자 대역 테이블은 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)로부터 스케일 인자 대역들(130) 만을 포함하는, 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
- 상기 파라미터들의 세트는 상기 마스터 스케일 인자 대역 테이블의 스케일 인자 대역들(130)의 최저 주파수를 가지는 상기 마스터 스케일 인자 대역 테이블의 스케일 인자 대역(130)을 나타내는 시작 주파수 파라미터를 포함하고;
- 상기 시스템은 상기 마스터 스케일 인자 대역 테이블을 결정하기 위한 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 하위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들(130)을 삭제하도록 구성되는, 시스템. - 제 4 항에 있어서,
상기 시작 주파수 파라미터는 0과 7 사이의 값들을 취하는 3 비트 값을 포함하는, 시스템. - 제 4 항 또는 제 5 항에 있어서,
- 상기 시스템은 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 하위 주파수 끝에서의 짝수의 스케일 인자 대역들(130)을 삭제하도록 구성되고;
- 상기 짝수는 상기 시작 주파수 파라미터의 2배인, 시스템. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
- 상기 파라미터들의 세트는 상기 마스터 스케일 인자 대역 테이블의 스케일 인자 대역들(130)의 최고 주파수를 가지는 상기 마스터 스케일 인자 대역 테이블의 스케일 인자 대역(130)을 나타내는 정지 주파수 파라미터를 포함하고;
- 상기 시스템은 상기 마스터 스케일 인자 대역 테이블을 결정하기 위한 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 상위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들(130)을 삭제하도록 구성되는, 시스템. - 제 7 항에 있어서,
상기 정지 주파수 파라미터는 0과 3 사이의 값들을 취하는 2 비트 값을 포함하는, 시스템. - 제 7 항 또는 제 8 항에 있어서,
- 상기 시스템은 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 상위 주파수 끝에서의 짝수의 스케일 인자 대역들(130)을 삭제하도록 구성되고;
- 상기 짝수는 상기 정지 주파수 파라미터의 2배인, 시스템. - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
- 상기 시스템은 복수의 미리 결정된 스케일 인자 대역 테이블들(200, 210)을 제공하도록 구성되고;
- 상기 파라미터들의 세트는, 상기 마스터 스케일 인자 대역 테이블을 결정하기 위해 이용될 상기 복수의 미리 결정된 스케일 인자 대역 테이블들(200, 210) 중 하나를 나타내는 마스터 스케일 파라미터를 포함하는, 시스템. - 제 10 항에 있어서,
- 상기 복수의 미리 결정된 스케일 인자 대역 테이블들(200, 210)은 저 비트 레이트 스케일 인자 대역 테이블(200) 및 고 비트 레이트 스케일 인자 대역 테이블(210)을 포함하고;
- 상기 저 비트 레이트 스케일 인자 대역 테이블(200)은 상기 고 비트 레이트 스케일 인자 대역 테이블(210)의 스케일 인자 대역들(130) 중 임의의 대역보다 낮은 주파수들에서의 하나 이상의 스케일 인자 대역들(130)을 포함하며;
- 상기 고 비트 레이트 스케일 인자 대역 테이블(210)은 상기 저 비트 레이트 스케일 인자 대역 테이블(200)의 스케일 인자 대역들 중 임의의 대역보다 높은 주파수들에서의 하나 이상의 스케일 인자 대역들(130)을 포함하는, 시스템. - 제 11 항에 있어서,
상기 마스터 스케일 파라미터는 상기 저 비트 레이트 스케일 인자 대역 테이블(200)과 상기 고 비트 레이트 스케일 인자 대역 테이블(210) 사이를 구별하기 위해, 0과 1 사이의 값들을 취하는 1 비트 값을 포함하는, 시스템. - 제 11 항 또는 제 12 항에 있어서,
- 상기 저 비트 레이트 스케일 인자 대역 테이블(200)은, 그 범위가 제 1 저 주파수 대역(201)으로부터 제 1 고 주파수 대역(202)까지인 하나 이상의 스케일 인자 대역들(130)을 포함하고;
- 상기 고 비트 레이트 스케일 인자 대역 테이블(210)은, 그 범위가 제 2 저 주파수 대역(211)으로부터 제 2 고 주파수 대역(212)까지인 하나 이상의 스케일 인자 대역들(130)을 포함하고;
- 상기 제 1 저 주파수 대역(201)은 상기 제 2 저 주파수 대역(211)보다 낮은 주파수에 있고/있거나;
- 상기 제 2 고 주파수 대역(212)은 상기 제 1 고 주파수 대역(202)보다 높은 주파수에 있는, 시스템. - 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 고 비트 레이트 스케일 인자 대역 테이블(210) 내에 포함된 스케일 인자 대역들(130)의 수는 상기 저 비트 레이트 스케일 인자 대역 테이블(200) 내에 포함된 스케일 인자 대역들의 수보다 높은, 시스템. - 제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
상기 주파수 대역들(220)은 64 채널 필터 뱅크에 의해 생성된 주파수 대역들에 대응하고, 상기 주파수 대역들은 범위가 대역 인덱스(0)로부터 대역 인덱스(63)까지인, 시스템. - 제 15 항에 있어서,
상기 저 비트 레이트 스케일 인자 대역 테이블(200)은,
- 각각이 단일 주파수 대역을 포함하는 주파수 대역(10)으로부터 최대 주파수 대역(20)까지의 스케일 인자 대역들(130);
- 각각이 2개의 주파수 대역들을 포함하는 주파수 대역(20)으로부터 최대 주파수 대역(32)까지의 스케일 인자 대역들(130);
- 각각이 3개의 주파수 대역들을 포함하는 주파수 대역(32)으로부터 최대 주파수 대역(38)까지의 스케일 인자 대역들(130); 및/또는
- 각각이 4개의 주파수 대역들을 포함하는 주파수 대역(38)으로부터 최대 주파수 대역(46)까지의 스케일 인자 대역들(130) 중 일부 또는 전부를 포함하는, 시스템. - 제 15 항 또는 제 16 항에 있어서,
상기 고 비트 레이트 스케일 인자 대역 테이블(210)은,
- 각각이 단일 주파수 대역을 포함하는 주파수 대역(18)으로부터 최대 주파수 대역(24)까지의 스케일 인자 대역들(130);
- 각각이 2개의 주파수 대역들을 포함하는 주파수 대역(24)으로부터 최대 주파수 대역(44)까지의 스케일 인자 대역들(130); 및/또는
- 각각이 3개의 주파수 대역들을 포함하는 주파수 대역(44)으로부터 최대 주파수 대역(62)까지의 스케일 인자 대역들(130) 중 일부 또는 전부를 포함하는, 시스템. - 제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 내에 포함된 주파수 대역들(220)의 수는 증가하는 주파수에 따라 증가하는, 시스템. - 제 1 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 미리 결정된 스케일 인자 대역 테이블(200, 210) 내에 포함된 스케일 인자 대역들(130)의 수 및/또는 상기 마스터 스케일 인자 대역 테이블 내에 포함된 스케일 인자 대역들(130)의 수는 짝수인, 시스템. - 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
상기 마스터 스케일 인자 대역 테이블에 기초하여 고 분해능 주파수 대역 테이블 및 저 분해능 주파수 대역 테이블을 결정하도록 또한 구성되는, 시스템. - 제 20 항에 있어서,
- 상기 파라미터들의 세트는 고 주파수 복원으로부터 배제될 상기 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0의 하나 이상의 스케일 인자 대역들(130)을 나타내는 크로스 오버(cross over) 대역 파라미터를 포함하고;
- 상기 시스템은 상기 크로스 오버 대역 파라미터에 따라, 상기 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 상기 0의 하나 이상의 스케일 인자 대역들(130)을 배제함으로써 상기 마스터 스케일 인자 대역 테이블로부터 상기 고 분해능 주파수 대역 테이블 및 상기 저 분해능 주파수 대역 테이블을 결정하도록 구성되는, 시스템. - 제 21 항에 있어서,
상기 크로스 오버 대역 파라미터는 배제될 상기 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 0부터 최대 3 또는 7개의 스케일 인자 대역들(130)을 나타내기 위해, 0과 3 또는 7 사이의 값들을 취하는 2 또는 3 비트 값을 포함하는, 시스템. - 제 21 항 또는 제 22 항에 있어서,
상기 고 분해능 주파수 대역 테이블은 상기 크로스 오버 대역 파라미터에 따라 배제된, 상기 마스터 스케일 인자 대역 테이블의 하위 주파수 끝에서의 상기 0의 하나 이상의 스케일 인자 대역들(130) 없이 상기 마스터 스케일 인자 대역 테이블에 대응하는, 시스템. - 제 20 항 내지 제 23 항 중 어느 한 항에 있어서,
상기 고 분해능 주파수 대역 테이블을 데시메이팅(decimating)함으로써 상기 저 분해능 주파수 대역 테이블을 결정하도록 또한 구성되는, 시스템. - 제 1 항 내지 제 24 항 중 어느 한 항에 있어서,
상기 주파수 대역들(220)은 직교 미러 필터 뱅크에 의해 생성된 주파수 대역들에 대응하는, 시스템. - 제 1 항 내지 제 25 항 중 어느 한 항에 있어서,
- 상기 저대역 신호(101) 및 상기 고대역 신호(105)는 상기 오디오 신호의 미리 결정된 수의 샘플들을 포함하는 프레임들의 시퀀스로 분할되고;
- 상기 시스템은 상기 프레임들의 시퀀스로부터 프레임들의 세트에 대한 파라미터들의 업데이트된 세트를 수신하도록 구성되고;
- 상기 시스템은, 상기 마스터 스케일 인자 대역 테이블에 영향을 미치는 상기 업데이트된 세트의 파라미터들 중 상기 하나 이상의 파라미터들이 변경되지 않은 채로 남아 있으면, 상기 마스터 스케일 인자 대역 테이블을 변경되지 않은 채로 유지하도록 구성되며;
- 상기 시스템은, 상기 마스터 스케일 인자 대역 테이블에 영향을 미치는 상기 업데이트된 세트의 파라미터들 중 상기 하나 이상의 파라미터들이 변경되면, 업데이트된 마스터 스케일 인자 대역 테이블을 결정하도록 구성되는, 시스템. - 제 26 항에 있어서,
상기 시스템은 상기 프레임들의 시퀀스의 각각의 프레임에 대한 파라미터들의 업데이트된 세트를 수신하도록 구성되는, 시스템. - 제 1 항 내지 제 27 항 중 어느 한 항에 있어서,
잡음 대역 테이블 및/또는 리미터(limiter) 대역 테이블 및/또는 상기 마스터 스케일 인자 대역 테이블로부터의 및/또는 상기 고 및 저 분해능 주파수 대역 테이블들로부터의 전이를 위한 패칭(patching) 방식을 결정하도록 또한 구성되는, 시스템. - 오디오 신호의 저대역 신호(101)로부터 상기 오디오 신호의 고대역 신호(105)를 생성하도록 구성된 고 주파수 복원 유닛에 있어서,
- 상기 고대역 신호(105)에 대한 스케일 인자 대역 테이블을 결정하기 위해, 제 1 항 내지 제 28 항 중 어느 한 항의 시스템을 포함하고; 상기 스케일 인자 대역 테이블은 고대역 주파수 범위를 커버하는 복수의 스케일 인자 대역들(130)을 포함하고;
- 전이된 서브대역 신호들을 산출하기 위해, 상기 저대역 신호(101)로부터 얻어진 하나 이상의 저대역 서브대역 신호들을 상기 고대역 주파수 범위로 전이시키도록 구성되고;
- 상기 복수의 스케일 인자 대역들(130)에 대한 복수의 스케일 인자들을 각각 수신하도록 구성되며;
- 스케일링(scaling)된 서브대역 신호들을 산출하기 위해, 상기 복수의 스케일 인자들을 이용하여, 상기 복수의 스케일 인자 대역들(130)에 따라, 상기 전이된 서브대역 신호들을 스케일링하도록 구성되고; 상기 스케일링된 서브대역 신호들은 상기 고대역 신호(105)를 나타내는, 고 주파수 복원 유닛. - 제 29 항에 있어서,
- 상기 저대역 신호(101)로부터 상기 하나 이상의 저대역 서브대역 신호들을 결정하도록 구성된 분석 필터 뱅크; 및
- 상기 스케일링된 서브대역 신호들로부터 상기 고대역 신호(105)를 결정하도록 구성된 합성 필터뱅크를 더 포함하는, 고 주파수 복원 유닛. - 비트스트림으로부터 복원된 오디오 신호를 결정하도록 구성된 오디오 디코더에 있어서,
- 상기 비트스트림의 일부를 디코딩함으로써 상기 복원된 오디오 신호의 저대역 신호(101)를 결정하도록 구성된 코어 디코더; 및
- 상기 비트스트림의 또 다른 부분 내에 포함된 파라미터들의 세트를 이용하여 상기 복원된 오디오 신호의 고대역 신호(105)를 결정하도록 구성된, 제 29 항 또는 제 30 항에 따른 고 주파수 복원 유닛을 포함하는, 오디오 디코더. - 파라미터들의 세트를 결정하고 송신하도록 구성된 오디오 인코더에 있어서,
상기 파라미터들의 세트는 대응하는 오디오 디코더가 상기 파라미터들의 세트를 이용하여 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 중 일부 또는 전부를 선택함으로써 마스터 스케일 인자 대역 테이블을 결정하는 것을 가능하게 하고; 상기 마스터 스케일 인자 대역 테이블은 오디오 신호의 저대역 신호(101)로부터 상기 오디오 신호의 고대역 신호(105)를 생성하기 위해 고 주파수 복원 방식에서 이용되는, 오디오 인코더. - 오디오 신호의 저대역 신호(101) 및 파라미터들의 세트를 나타내는 비트스트림에 있어서,
상기 파라미터들의 세트는 오디오 디코더가, 상기 파라미터들의 세트를 이용하여 미리 결정된 스케일 인자 대역 테이블(200, 210)로부터 스케일 인자 대역들(130) 중 일부 또는 전부를 선택함으로써 마스터 스케일 인자 대역 테이블을 결정하는 것을 가능하게 하고; 상기 마스터 스케일 인자 대역 테이블은 상기 오디오 신호의 저대역 신호(101)로부터 상기 오디오 신호의 고대역 신호(105)를 생성하기 위해 고 주파수 복원 방식에서 이용되는, 비트스트림. - 오디오 신호의 고대역 신호(105)에 대한 마스터 스케일 인자 대역 테이블을 결정하기 위한 방법(400)에 있어서,
상기 고대역 신호는 고 주파수 복원 방식을 이용하여 상기 오디오 신호의 저대역 신호(101)로부터 생성되고; 상기 마스터 스케일 인자 대역 테이블은 상기 고대역 신호(105)의 스펙트럼 엔벨로프의 주파수 분해능을 나타내며;
상기 방법(400)은,
- 파라미터들의 세트를 수신하는 단계(401);
- 미리 결정된 스케일 인자 대역 테이블(200, 210)을 제공하는 단계(402)로서, 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 중 적어도 하나는 복수의 주파수 대역들(220)을 포함하는, 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)을 제공하는 단계(402); 및
- 상기 파라미터들의 세트를 이용하여 상기 미리 결정된 스케일 인자 대역 테이블(200, 210)의 스케일 인자 대역들(130) 중 일부 또는 전부를 선택함으로써 상기 마스터 스케일 인자 대역 테이블을 결정하는 단계(403)를 포함하는, 마스터 스케일 인자 대역 테이블을 결정하기 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361871575P | 2013-08-29 | 2013-08-29 | |
| US61/871,575 | 2013-08-29 | ||
| PCT/EP2014/067168 WO2015028297A1 (en) | 2013-08-29 | 2014-08-11 | Frequency band table design for high frequency reconstruction algorithms |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160036670A true KR20160036670A (ko) | 2016-04-04 |
| KR101786863B1 KR101786863B1 (ko) | 2017-10-18 |
Family
ID=51355520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167005207A KR101786863B1 (ko) | 2013-08-29 | 2014-08-11 | 고 주파수 복원 알고리즘들을 위한 주파수 대역 테이블 설계 |
Country Status (24)
| Country | Link |
|---|---|
| US (1) | US9842594B2 (ko) |
| EP (1) | EP3008727B1 (ko) |
| JP (1) | JP6392873B2 (ko) |
| KR (1) | KR101786863B1 (ko) |
| CN (1) | CN105556602B (ko) |
| AR (1) | AR097454A1 (ko) |
| AU (1) | AU2014314477B2 (ko) |
| BR (1) | BR112016004157B1 (ko) |
| CA (1) | CA2920816C (ko) |
| CL (1) | CL2016000475A1 (ko) |
| DK (1) | DK3008727T3 (ko) |
| ES (1) | ES2634196T3 (ko) |
| HK (1) | HK1219557A1 (ko) |
| HU (1) | HUE033077T2 (ko) |
| IL (1) | IL243961B (ko) |
| ME (1) | ME02812B (ko) |
| MX (1) | MX355259B (ko) |
| MY (1) | MY183529A (ko) |
| PL (1) | PL3008727T3 (ko) |
| RU (1) | RU2650031C2 (ko) |
| SG (1) | SG11201600830UA (ko) |
| TW (1) | TWI557726B (ko) |
| UA (1) | UA116572C2 (ko) |
| WO (1) | WO2015028297A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10008214B2 (en) * | 2015-09-11 | 2018-06-26 | Electronics And Telecommunications Research Institute | USAC audio signal encoding/decoding apparatus and method for digital radio services |
| CN109243485B (zh) * | 2018-09-13 | 2021-08-13 | 广州酷狗计算机科技有限公司 | 恢复高频信号的方法和装置 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6493666B2 (en) * | 1998-09-29 | 2002-12-10 | William M. Wiese, Jr. | System and method for processing data from and for multiple channels |
| SE9903552D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Efficient spectral envelope coding using dynamic scalefactor grouping and time/frequency switching |
| SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| US6912424B2 (en) * | 1999-12-01 | 2005-06-28 | Meagan, Medical, Inc. | Apparatus and method for coupling therapeutic and/or monitoring equipment to a patient |
| AU2547201A (en) * | 2000-01-11 | 2001-07-24 | Matsushita Electric Industrial Co., Ltd. | Multi-mode voice encoding device and decoding device |
| US7330814B2 (en) * | 2000-05-22 | 2008-02-12 | Texas Instruments Incorporated | Wideband speech coding with modulated noise highband excitation system and method |
| US7242784B2 (en) * | 2001-09-04 | 2007-07-10 | Motorola Inc. | Dynamic gain control of audio in a communication device |
| EP1423847B1 (en) * | 2001-11-29 | 2005-02-02 | Coding Technologies AB | Reconstruction of high frequency components |
| US7272566B2 (en) * | 2003-01-02 | 2007-09-18 | Dolby Laboratories Licensing Corporation | Reducing scale factor transmission cost for MPEG-2 advanced audio coding (AAC) using a lattice based post processing technique |
| RU2316059C2 (ru) * | 2003-05-01 | 2008-01-27 | Нокиа Корпорейшн | Способ и устройство для квантования усиления в широкополосном речевом кодировании с переменной битовой скоростью передачи |
| US20050004793A1 (en) * | 2003-07-03 | 2005-01-06 | Pasi Ojala | Signal adaptation for higher band coding in a codec utilizing band split coding |
| RU2374703C2 (ru) * | 2003-10-30 | 2009-11-27 | Конинклейке Филипс Электроникс Н.В. | Кодирование или декодирование аудиосигнала |
| KR100707174B1 (ko) * | 2004-12-31 | 2007-04-13 | 삼성전자주식회사 | 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법 |
| JP5129117B2 (ja) * | 2005-04-01 | 2013-01-23 | クゥアルコム・インコーポレイテッド | 音声信号の高帯域部分を符号化及び復号する方法及び装置 |
| WO2006116025A1 (en) * | 2005-04-22 | 2006-11-02 | Qualcomm Incorporated | Systems, methods, and apparatus for gain factor smoothing |
| US8682652B2 (en) * | 2006-06-30 | 2014-03-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic |
| US7873511B2 (en) * | 2006-06-30 | 2011-01-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic |
| JP5065687B2 (ja) * | 2007-01-09 | 2012-11-07 | 株式会社東芝 | オーディオデータ処理装置及び端末装置 |
| US20080208575A1 (en) * | 2007-02-27 | 2008-08-28 | Nokia Corporation | Split-band encoding and decoding of an audio signal |
| JP5010743B2 (ja) * | 2008-07-11 | 2012-08-29 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | スペクトル傾斜で制御されたフレーミングを使用して帯域拡張データを計算するための装置及び方法 |
| US8831958B2 (en) * | 2008-09-25 | 2014-09-09 | Lg Electronics Inc. | Method and an apparatus for a bandwidth extension using different schemes |
| CN102177426B (zh) * | 2008-10-08 | 2014-11-05 | 弗兰霍菲尔运输应用研究公司 | 多分辨率切换音频编码/解码方案 |
| RU2523035C2 (ru) * | 2008-12-15 | 2014-07-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Аудио кодер и декодер, увеличивающий полосу частот |
| CN102667920B (zh) * | 2009-12-16 | 2014-03-12 | 杜比国际公司 | Sbr比特流参数缩混 |
| ES2522171T3 (es) * | 2010-03-09 | 2014-11-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para procesar una señal de audio usando alineación de borde de patching |
| US8600737B2 (en) * | 2010-06-01 | 2013-12-03 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for wideband speech coding |
| CN103155033B (zh) * | 2010-07-19 | 2014-10-22 | 杜比国际公司 | 高频重建期间的音频信号处理 |
| JP6037156B2 (ja) * | 2011-08-24 | 2016-11-30 | ソニー株式会社 | 符号化装置および方法、並びにプログラム |
| FR3008533A1 (fr) * | 2013-07-12 | 2015-01-16 | Orange | Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences |
| US9666202B2 (en) * | 2013-09-10 | 2017-05-30 | Huawei Technologies Co., Ltd. | Adaptive bandwidth extension and apparatus for the same |
| US9564141B2 (en) * | 2014-02-13 | 2017-02-07 | Qualcomm Incorporated | Harmonic bandwidth extension of audio signals |
-
2014
- 2014-07-29 TW TW103125869A patent/TWI557726B/zh active
- 2014-08-11 BR BR112016004157-7A patent/BR112016004157B1/pt active IP Right Grant
- 2014-08-11 WO PCT/EP2014/067168 patent/WO2015028297A1/en active Application Filing
- 2014-08-11 ME MEP-2017-172A patent/ME02812B/me unknown
- 2014-08-11 RU RU2016111311A patent/RU2650031C2/ru active
- 2014-08-11 US US14/914,524 patent/US9842594B2/en active Active
- 2014-08-11 JP JP2016535409A patent/JP6392873B2/ja active Active
- 2014-08-11 HU HUE14752293A patent/HUE033077T2/en unknown
- 2014-08-11 MX MX2016002421A patent/MX355259B/es active IP Right Grant
- 2014-08-11 SG SG11201600830UA patent/SG11201600830UA/en unknown
- 2014-08-11 CA CA2920816A patent/CA2920816C/en active Active
- 2014-08-11 DK DK14752293.2T patent/DK3008727T3/en active
- 2014-08-11 PL PL14752293T patent/PL3008727T3/pl unknown
- 2014-08-11 AU AU2014314477A patent/AU2014314477B2/en active Active
- 2014-08-11 CN CN201480047373.2A patent/CN105556602B/zh active Active
- 2014-08-11 KR KR1020167005207A patent/KR101786863B1/ko active IP Right Grant
- 2014-08-11 EP EP14752293.2A patent/EP3008727B1/en active Active
- 2014-08-11 ES ES14752293.2T patent/ES2634196T3/es active Active
- 2014-08-11 MY MYPI2016700444A patent/MY183529A/en unknown
- 2014-08-26 AR ARP140103192A patent/AR097454A1/es active IP Right Grant
- 2014-11-08 UA UAA201601820A patent/UA116572C2/uk unknown
-
2016
- 2016-02-04 IL IL243961A patent/IL243961B/en active IP Right Grant
- 2016-02-29 CL CL2016000475A patent/CL2016000475A1/es unknown
- 2016-06-28 HK HK16107489.5A patent/HK1219557A1/zh unknown
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101764723B1 (ko) | 전이 주파수 주변의 크로스-오버 필터를 이용하여 인코딩된 오디오 신호를 디코딩하는 장치 및 방법 | |
| RU2449387C2 (ru) | Способ и устройство для обработки сигнала | |
| RU2688247C2 (ru) | Устройство и способ для расширения диапазона частот для акустических сигналов | |
| KR101646650B1 (ko) | 최적의 저-스루풋 파라메트릭 코딩/디코딩 | |
| KR101798559B1 (ko) | 스테레오 위상 파라미터 인코딩 방법 및 장치 | |
| JP6457625B2 (ja) | 独立したノイズ充填を用いた強化された信号を生成するための装置および方法 | |
| JP2018165834A (ja) | 雑音信号処理方法、雑音信号生成方法、符号化器、復号化器、並びに符号化および復号化システム | |
| JP2009515212A (ja) | オーディオ圧縮 | |
| KR102560473B1 (ko) | 후처리 지연을 저감시킨 고주파 재구성 기술의 통합 | |
| US20070078646A1 (en) | Method and apparatus to encode/decode audio signal | |
| US7844451B2 (en) | Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums | |
| US9230551B2 (en) | Audio encoder or decoder apparatus | |
| KR20200100172A (ko) | 오디오 신호에 대한 고주파 재구성 기술의 하위 호환 통합 | |
| CN102194458B (zh) | 频带复制方法、装置及音频解码方法、系统 | |
| CN105745703A (zh) | 信号编码方法和装置以及信号解码方法和装置 | |
| US8676365B2 (en) | Pre-echo attenuation in a digital audio signal | |
| KR20220054712A (ko) | 오디오 신호의 고주파 재구성을 위한 하모닉 트랜스포저의 하위호환형 통합 | |
| KR101786863B1 (ko) | 고 주파수 복원 알고리즘들을 위한 주파수 대역 테이블 설계 | |
| EP2690622B1 (en) | Audio decoding device and audio decoding method | |
| KR101387808B1 (ko) | 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치 | |
| US20120123788A1 (en) | Coding method, decoding method, and device and program using the methods | |
| KR20230035373A (ko) | 오디오 인코딩 방법, 오디오 디코딩 방법, 관련 장치, 및 컴퓨터 판독가능 저장 매체 | |
| KR20240151254A (ko) | 오디오 신호에 대한 고주파 재구성 기술의 하위 호환 통합 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |