KR20120029494A - 멀티채널 오디오 대역폭 확장 장치 및 방법 - Google Patents

멀티채널 오디오 대역폭 확장 장치 및 방법 Download PDF

Info

Publication number
KR20120029494A
KR20120029494A KR1020100091040A KR20100091040A KR20120029494A KR 20120029494 A KR20120029494 A KR 20120029494A KR 1020100091040 A KR1020100091040 A KR 1020100091040A KR 20100091040 A KR20100091040 A KR 20100091040A KR 20120029494 A KR20120029494 A KR 20120029494A
Authority
KR
South Korea
Prior art keywords
signal
multichannel audio
channel
parameter
downmixed
Prior art date
Application number
KR1020100091040A
Other languages
English (en)
Other versions
KR101697550B1 (ko
Inventor
김미영
오은미
키릴 유르코프
주기현
보리스 쿠드리아쇼프
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100091040A priority Critical patent/KR101697550B1/ko
Priority to US13/232,696 priority patent/US8976970B2/en
Publication of KR20120029494A publication Critical patent/KR20120029494A/ko
Application granted granted Critical
Publication of KR101697550B1 publication Critical patent/KR101697550B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화하는 방법 및 장치가 제시된다. 복호화 장치는, 멀티채널 오디오 입력 신호를 다운믹싱하고, 상기 다운믹스된 신호의 채널 수를 확장한다. 그리고, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출한다. 그리고, 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화한다.

Description

멀티채널 오디오 대역폭 확장 장치 및 방법{APPARATUS AND METHOD FOR BANDWIDTH EXTENSION FOR MULTI-CHANNEL AUDIO}
멀티채널(multi-channel) 오디오를 부호화 및 복호화 하는 방법에 연관되며, 보다 특정하게는 멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화하는 방법 및 장치에 연관된다.
일반적으로 멀티채널 오디오 코딩에는 웨이브폼(waveform) 멀티채널 오디오 코딩과 파라메트릭(Parametric) 멀티채널 오디오 코딩이 있다.
웨이브폼 멀티채널 오디오 코딩에는 MPEG-2 MC 오디오 코딩, AAC MC 오디오 코딩 및 BSAC/AVS MC 오디오 코딩 등이 있다.
파라메트릭 멀티채널 오디오 코딩으로는 대표적으로 MPEG Surround기술이 있으며, MPEG Surround 기술에서는 다운믹스 신호(down-mixed signal)와 공간정보(spatial)를 이용하여 멀티채널 오디오 신호를 복원한다.
종래의 MPEG Surround 기술은 멀티채널 오디오 신호를 다운믹싱하고 공간정보를 parameter화 하여 압축하는 방식이며, 적은 정보만으로도 멀티채널로 복원이 가능하다. 그리고, 압축 효율을 높이기 위해 MPEG Surround 기술은 SBR과 결합하여 사용된다.
멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화 함으로써, 멀티채널 오디오 대역폭을 확장하는 부호화 및 복호화 방법이 제공된다.
멀티채널 오디오 신호에 있어서, 저주파 신호와 고주파 신호 간에 유사성(correlation)이 작은 경우에도 복원된 고주파 신호에서 음질이 열화되는 것을 방지할 수 있는 부호화 및 복호화 방법이 제공된다.
본 발명의 일측에 따르면, 멀티채널 오디오 입력 신호를 다운믹싱하는 다운믹서, 상기 다운믹스된 신호의 채널 수를 확장하는 채널 역상관기, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 파라미터 추정부, 및 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 비트 먹서를 포함하는, 멀티채널 오디오 부호화 장치가 제공된다.
여기서, 상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장할 수 있다.
그리고, 상기 비트 먹서는, 상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화할 수 있다.
한편, 상기 파라미터 추정부는, 상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출할 수 있다.
본 발명의 다른 일측에 따르면, 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 복원하는 비트 디먹서, 상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 복원하는 파라미터 디코더, 상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 채널 역상관기, 상기 채널 수가 확장된 다운믹스 신호로부터, 상기 복원된 파라미터를 이용하여 패치(patching)할 채널 신호를 선택하는 고주파 신호 합성부, 상기 선택된 채널 신호와 상기 복원된 파라미터 정보를 이용하여 채널 신호를 복원하는 공간 정보 합성부를 포함하는, 멀티채널 오디오 복호화 장치가 제공된다.
여기서, 상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장할 수 있다.
본 발명의 또 다른 일측에 따르면, 멀티채널 오디오 입력 신호를 다운믹싱하는 단계, 상기 다운믹스된 신호의 채널 수를 확장하는 단계, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계, 및 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계를 포함하는, 멀티채널 오디오 부호화 방법이 제공된다.
여기서, 상기 다운믹스된 신호의 채널 수를 확장하는 단계는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장할 수 있다.
한편, 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계는, 상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화할 수 있다.
또한, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계는, 상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하는 단계, 및 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계를 포함할 수 있다.
본 발명의 또 다른 일측에 따르면, 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 복원하는 단계, 상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 복원하는 단계, 상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 단계, 상기 채널 수가 확장된 다운믹스 신호로부터, 상기 복원된 파라미터를 이용하여 패치(patching )할 채널 신호를 선택하는 단계, 및 상기 선택된 채널 신호와 상기 복원된 파라미터 정보를 이용하여 채널 신호를 복원하는 단계를 포함하는, 멀티채널 오디오 복호화 방법이 제공된다.
멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화 함으로써, 멀티채널 오디오 대역폭을 확장될 수 있다.
멀티채널 오디오 신호에 있어서, 저주파 신호와 고주파 신호 간에 유사성(correlation)이 작은 경우에도 복원된 고주파 신호에서 음질이 열화되는 것이 방지될 수 있다.
도 1은 본 발명의 일실시예에 따른 멀티채널 오디오 신호 부호화 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 멀티채널 오디오 신호 부호화 장치 내에서, 고주파 신호를 부호화 하는 과정을 도시하는 개념도이다.
도 3은 본 발명의 일실시예에 따른 멀티채널 오디오 신호 복호화 장치를 도시한다.
도 4는 다운믹스 신호로부터 신호를 patching 하여 고주파 신호를 생성하는 과정을 설명하기 위한 개념도이다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 멀티채널 부호화 장치를 도시한다.
멀티채널 신호 y1, y2, ..., yN이 다운믹서(Downmixer)(110)에 입력된다.
본 발명의 일실시예에 따르면, 다운믹서(110)는 MPEG Surround 기술을 이용하여 이러한 멀티채널 신호들을 2채널 신호인 x1과 x2로 다운믹스 한다.
그리고, 공간 파라미터(spatial parameter) 추출부(120)는 멀티 채널 신호신호 y1, y2, ..., yN의 저주파 대역(low frequency band) 신호를, 채널 간의 공간적 상관 관계를 나타내는 공간 파라미터(spatial parameter)로 표현한다.
그러면, 채널 역상관기(140)는 다운믹서(110)에 의해 다운믹스 된 신호 x1과 x2의 고주파 대역(high frequency band) 신호를 이용하여 채널을 확장하여 추가적인 신호 x3와 x4 등을 생성하여, 베이스 신호 세트(base signal set)를 만든다.
그리고, 파라미터 추정부(150)는 이러한 베이스 신호 세트에 대응하는 신호 x1, x2, x3 및 x4 등과, 입력된 멀티채널 신호 y1, y2, ..., yN의 고주파 대역 신호와의 상관관계(correlation)을 통해, 상기 고주파 대역 신호의 envelope에 해당하는 파라미터들을 생성한다.
이러한 일련의 과정이 아래 수학식 1 내지 수학식 3을 참조하여 보다 상세히 설명된다.
본 발명의 일실시예에 따르면, 이 과정에서 상기 입력 멀티채널 신호 y1, y2, ..., yN의 j 번째 subband에 해당하는 고주파 대역 신호를
Figure pat00001
라고 하면, 다운믹스 신호인
Figure pat00002
및
Figure pat00003
는 다음 수학식과 같이 계산될 수 있다.
[수학식 1]
Figure pat00004
여기서, 다운믹스 신호인
Figure pat00005
및
Figure pat00006
는 기존의 MPEG Surround 의 다운믹싱과 동일한 방식으로 계산될 수도 있다.
또한 상기 고주파 신호는 종래의 SBR coding 에 의해 고주파 신호가 복원된 신호일수도 있다.
그리고, 다운믹스 신호인
Figure pat00007
및
Figure pat00008
를 이용하여, 상기 생성되는 추가적인 고주파 신호인
Figure pat00009
및
Figure pat00010
는 다음과 같이 계산된다.
[수학식 2]
Figure pat00011
여기서 추가적인 고주파 신호인
Figure pat00012
및
Figure pat00013
는 채널 역상관기(channel decorrelator)(140)에 의해 생성된다.
그러면, 이러한 추가적 고주파 신호 생성 후 구해지는 상기 베이스 신호 세트(base signal set)는 아래 수학식과 같다.
[수학식 3]
Figure pat00014
여기서,
Figure pat00015
,
Figure pat00016
,
Figure pat00017
및
Figure pat00018
신호는 파라미터 추정부(150)가 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 데에 사용되는 최적의 신호의 후보 값으로 이해될 수 있다.
그러면, 복원될 멀티채널 신호의 고주파 신호는, bandwidth extension 과정에서 저주파 신호로부터 patching 할 신호를 가져오는 것과 유사한 방식으로,
Figure pat00019
,
Figure pat00020
,
Figure pat00021
및
Figure pat00022
신호로부터 patching 할 신호가 선택된다.
그리고, 이 중에서 원신호의 고주파 신호에 가장 유사한 신호를 선택하여, 이를 이용하여 멀티채널의 고주파신호를 복원한다.
이 경우, 파라미터 추정부(150)은 상기 확장된 채널 신호 중에서 최적의 신호를 선택한다.
여기서 최적의 신호라 함은, 상기 다운믹스 신호 및 상기 확장된 신호 중에서, 상기 각 입력 멀티채널 신호와의 match function 을 적용하여 최대 값을 가지는 채널 신호이다.
우선,
Figure pat00023
,
Figure pat00024
,
Figure pat00025
및
Figure pat00026
신호를 살펴보면,
Figure pat00027
또는
Figure pat00028
에서
Figure pat00029
신호의 특성이 강하며,
Figure pat00030
또는
Figure pat00031
에서
Figure pat00032
신호의 특성이 강함을 알 수 있다.
그리고,
Figure pat00033
신호 성분은
Figure pat00034
신호로 대표될 수 있다.
이러한 후보 신호로부터 최종 patching을 할 신호(상기 최적의 신호)에는 다음과 같이 energy matching 수식을 정의해서, 이 값이 최대가 되는 신호가 선택된다.
이러한 과정은 도 2를 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 부호화 장치(100) 내에서 채널 역상관기(channel decorrelator)(140)에서 생성된 채널 신호들로부터, 가장 최적의 patching 채널을 선택하고, 고주파 신호 생성에 필요한 parameter 를 추출하는 과정을 설명하기 위한 흐름도이다.
매치 펑션 계산부(Match function calculator)(220)는 상기 생성된 채널 신호들
Figure pat00035
,
Figure pat00036
,
Figure pat00037
및
Figure pat00038
을 수신하여, 매칭 펑션의 계산 값을 다음과 같이 도출한다.
[수학식 4]
Figure pat00039
그러면 이러한 매칭 펑션의 계산 값
Figure pat00040
이 최대가 되는 신호가 상기 최적의 채널 신호로 결정된다.
여기서, 베이스 신호 선택부(Base signal selector)(210)은 아래 수학식에 의해 베이스 신호를 선택한다.
[수학식 5]
Figure pat00041
한편, 이득 추정부(Gain estimator)(230)은 상기 입력 멀티채널 오디오 신호의 고주파 대역 신호에 대해 다음과 같이 SBR 의 envelope 에 해당 하는 이득(gain) 값 정보를 생성한다.
여기서 이득(gain) 값은 일 예로 다음 수학식과 같이 원신호와 pathcing 할 신호의 energy ratio 로 계산될 수 있다.
[수학식 6]
Figure pat00042
그러면, 다시 도 1을 참조하여, 비트 먹서(160)은 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하여 비트 스트림을 생성한다.
도 3은 본 발명의 일실시예에 따른 멀티채널 복호화 장치를 도시한다
멀티채널 복호화의 과정은 상기 도 1 내지 도 2를 참조하여 상술한 멀티채널 부호화 과정의 역과정으로 수행된다.
먼저 비트 디먹서(Bit demuxer)(310)는 전송된 비트 스트림을 디먹싱한다.
본 발명의 일실시예에 따르면, 전송된 상기 다운믹스 신호와 공간 파라미터(spatial parameter) 추출부(120)가 추출한 공간 파라미터를 이용하여 저주파 영역의 다채널 신호가 복원된다.
공간 정보 합성부 (Spatial synthesizer)(340)는 상기 다운믹스 신호와 공간 파라미터(spatial parameter) 정보를 이용하여 저주파 영역에 해당하는 멀티채널 신호를 만들어 낸다.
여기서, 채널 역상관기(channel decorrelator)(330)는, 도 1의 부호화 장치에서와 동일한 방식으로 다운믹스 신호로부터 추가적인 신호를 생성하여, 베이스 신호 세트(base signal set)를 생성한다.
그리고, 공간 정보 합성부(340), 파라미터 복호화부(350) 및 고주파 신호 합성부(360)를 거치면서, 멀티채널 복호화가 수행되며, 멀티채널 입력 음성 신호(원 신호)와 매우 유사한 멀티채널 출력 음성 신호가 생성된다.
도 4는 다운믹스 신호로부터 신호를 patching 하여 고주파 신호를 생성하는 과정을 설명하기 위한 개념도이다.
다운믹스 신호(downmixed signal)(401)이 채널 역상관기(channel decorrelator)(410)에 입력되고, 이러한 채널 역상관기(410)는, 도 1의 부호화 장치에서와 동일한 방식으로 다운믹스 신호로부터 추가적인 신호를 생성하여, 베이스 신호 세트(base signal set)를 생성하게 된다.
그리고, 고주파 생성부(High-frequency generator)(420)는 patching 채널 index 정보를 이용하여 상기 베이스 신호 세트(base signal set)에서 patching 할 대상 신호를 선택하고, 상기 생성된 이득(gain) 정보를 이용하여 고주파 대역의 신호를 생성한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 다운믹서
120: 공간 파라미터 추출부
130: 웨이브폼 인코더
140: 채널 역상관기
150: 파라미터 추정부
160: 비트 먹서

Claims (13)

  1. 멀티채널 오디오 입력 신호를 다운믹싱하는 다운믹서;
    상기 다운믹스된 신호의 채널 수를 확장하는 채널 역상관기;
    상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 파라미터 추정부; 및
    상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 비트 먹서
    를 포함하는, 멀티채널 오디오 부호화 장치.
  2. 제1항에 있어서,
    상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 부호화 장치.
  3. 제1항에 있어서,
    상기 비트 먹서는, 상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화하는, 멀티채널 오디오 부호화 장치.
  4. 제1항에 있어서,
    상기 파라미터 추정부는,
    상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는, 멀티채널 오디오 부호화 장치.
  5. 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 복원하는 비트 디먹서;
    상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 복원하는 파라미터 디코더;
    상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 채널 역상관기;
    상기 채널 수가 확장된 다운믹스 신호로부터, 상기 복원된 파라미터를 이용하여 패치(patching )할 채널 신호를 선택하는 고주파 신호 합성부; 및
    상기 선택된 채널 신호와 상기 복원된 파라미터 정보를 이용하여 채널 신호를 복원하는 공간 정보 합성부
    를 포함하는, 멀티채널 오디오 복호화 장치.
  6. 제5항에 있어서,
    상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 복화화 장치.
  7. 멀티채널 오디오 입력 신호를 다운믹싱하는 단계;
    상기 다운믹스된 신호의 채널 수를 확장하는 단계;
    상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계; 및
    상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계
    를 포함하는, 멀티채널 오디오 부호화 방법.
  8. 제7항에 있어서,
    상기 다운믹스된 신호의 채널 수를 확장하는 단계는,
    선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 부호화 방법.
  9. 제7항에 있어서,
    상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계는,
    상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화하는, 멀티채널 오디오 부호화 방법.
  10. 제7항에 있어서,
    상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계는,
    상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하는 단계; 및
    상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계
    를 포함하는, 멀티채널 오디오 부호화 방법.
  11. 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 복원하는 단계;
    상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 복원하는 단계;
    상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 단계;
    상기 채널 수가 확장된 다운믹스 신호로부터, 상기 복원된 파라미터를 이용하여 패치(patching )할 채널 신호를 선택하는 단계; 및
    상기 선택된 채널 신호와 상기 복원된 파라미터 정보를 이용하여 채널 신호를 복원하는 단계
    를 포함하는, 멀티채널 오디오 복호화 방법.
  12. 제11항에 있어서,
    상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 단계는,
    선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 복화화 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100091040A 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법 KR101697550B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100091040A KR101697550B1 (ko) 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법
US13/232,696 US8976970B2 (en) 2010-09-16 2011-09-14 Apparatus and method for bandwidth extension for multi-channel audio

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100091040A KR101697550B1 (ko) 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120029494A true KR20120029494A (ko) 2012-03-27
KR101697550B1 KR101697550B1 (ko) 2017-02-02

Family

ID=45817789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100091040A KR101697550B1 (ko) 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법

Country Status (2)

Country Link
US (1) US8976970B2 (ko)
KR (1) KR101697550B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940938B2 (en) 2013-07-22 2018-04-10 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
KR20200039394A (ko) 2018-10-05 2020-04-16 주식회사 플레이티지 반도체공정용 히터 재킷

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2549953T3 (es) * 2012-08-27 2015-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
EP3740950B8 (en) * 2018-01-18 2022-05-18 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090004778A (ko) * 2007-07-05 2009-01-12 엘지전자 주식회사 오디오 신호 처리 방법 및 장치

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60326782D1 (de) * 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
ATE527654T1 (de) * 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
BRPI0509100B1 (pt) * 2004-04-05 2018-11-06 Koninl Philips Electronics Nv Codificador de multicanal operável para processar sinais de entrada, método paracodificar sinais de entrada em um codificador de multicanal
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
KR101251426B1 (ko) * 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
KR101562379B1 (ko) * 2005-09-13 2015-10-22 코닌클리케 필립스 엔.브이. 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법
WO2007046659A1 (en) * 2005-10-20 2007-04-26 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
ES2339888T3 (es) * 2006-02-21 2010-05-26 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de audio.
CN101411063B (zh) * 2006-03-28 2011-11-23 艾利森电话股份有限公司 滤波器自适应频率分辨率
WO2007111568A2 (en) * 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
KR100923156B1 (ko) 2006-05-02 2009-10-23 한국전자통신연구원 멀티채널 오디오 인코딩 및 디코딩 시스템 및 방법
WO2008035949A1 (en) * 2006-09-22 2008-03-27 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
KR101435893B1 (ko) 2006-09-22 2014-09-02 삼성전자주식회사 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
WO2008039041A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
US8630863B2 (en) * 2007-04-24 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding audio/speech signal
KR101403340B1 (ko) * 2007-08-02 2014-06-09 삼성전자주식회사 변환 부호화 방법 및 장치
CN101868821B (zh) 2007-11-21 2015-09-23 Lg电子株式会社 用于处理信号的方法和装置
KR101452722B1 (ko) * 2008-02-19 2014-10-23 삼성전자주식회사 신호 부호화 및 복호화 방법 및 장치
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
US8831958B2 (en) 2008-09-25 2014-09-09 Lg Electronics Inc. Method and an apparatus for a bandwidth extension using different schemes
US8964994B2 (en) * 2008-12-15 2015-02-24 Orange Encoding of multichannel digital audio signals
KR101692394B1 (ko) * 2009-08-27 2017-01-04 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090004778A (ko) * 2007-07-05 2009-01-12 엘지전자 주식회사 오디오 신호 처리 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940938B2 (en) 2013-07-22 2018-04-10 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US9953656B2 (en) 2013-07-22 2018-04-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
US10147431B2 (en) 2013-07-22 2018-12-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
KR20200039394A (ko) 2018-10-05 2020-04-16 주식회사 플레이티지 반도체공정용 히터 재킷

Also Published As

Publication number Publication date
US20120070007A1 (en) 2012-03-22
KR101697550B1 (ko) 2017-02-02
US8976970B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
US11081117B2 (en) Methods, apparatus and systems for encoding and decoding of multi-channel Ambisonics audio data
RU2690885C1 (ru) Стереофонический кодер и декодер аудиосигналов
KR100908081B1 (ko) 인코딩 및 디코딩된 다채널 신호를 생성하는 장치 및 방법
KR101697550B1 (ko) 멀티채널 오디오 대역폭 확장 장치 및 방법
KR101376100B1 (ko) 대역폭 확장 복호화 방법 및 장치
KR100955361B1 (ko) 적응 잔류 오디오 코딩
US9280974B2 (en) Audio decoding device, audio decoding method, audio decoding program, audio encoding device, audio encoding method, and audio encoding program
US9514759B2 (en) Method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal
KR100462615B1 (ko) 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
US20080077412A1 (en) Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
KR20100105496A (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
KR102296067B1 (ko) 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치
KR102433192B1 (ko) 압축된 ｈｏａ 표현을 디코딩하기 위한 방법 및 장치와 압축된 ｈｏａ 표현을 인코딩하기 위한 방법 및 장치
JPWO2006070760A1 (ja) スケーラブル符号化装置およびスケーラブル符号化方法
US9691397B2 (en) Device and method data for embedding data upon a prediction coding of a multi-channel signal
KR20110116079A (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
EP2690622A1 (en) Audio decoding device and audio decoding method
KR102051436B1 (ko) 오디오 신호 처리 장치들 및 방법들
KR101873771B1 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
CN103733256A (zh) 音频信号处理方法、音频编码设备、音频解码设备和采用所述方法的终端
KR20070038020A (ko) 오디오 신호 처리 방법 및 장치와 프로그램을 기록하는컴퓨터로 읽을 수 있는 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant