KR102653560B1 - 다채널 오디오 신호 처리 장치 및 방법 - Google Patents
다채널 오디오 신호 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR102653560B1 KR102653560B1 KR1020220137301A KR20220137301A KR102653560B1 KR 102653560 B1 KR102653560 B1 KR 102653560B1 KR 1020220137301 A KR1020220137301 A KR 1020220137301A KR 20220137301 A KR20220137301 A KR 20220137301A KR 102653560 B1 KR102653560 B1 KR 102653560B1
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- channel audio
- channel
- audio signals
- binaural
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 240
- 238000000034 method Methods 0.000 title abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 63
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 7
- 102100025018 Dynein regulatory complex subunit 2 Human genes 0.000 claims description 5
- 101000908413 Homo sapiens Dynein regulatory complex subunit 2 Proteins 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 102100025015 Dynein regulatory complex subunit 3 Human genes 0.000 claims description 3
- 101000908408 Homo sapiens Dynein regulatory complex subunit 3 Proteins 0.000 claims description 3
- 101000813988 Homo sapiens Epidermal growth factor receptor kinase substrate 8-like protein 1 Proteins 0.000 claims description 3
- 102100025032 Dynein regulatory complex protein 1 Human genes 0.000 claims 4
- 101000908373 Homo sapiens Dynein regulatory complex protein 1 Proteins 0.000 claims 4
- 239000000284 extract Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101100465868 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) drc-2 gene Proteins 0.000 description 1
- 101100410018 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) drc-3 gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
다채널 오디오 신호 처리 장치 및 방법이 개시된다. 다채널 오디오 신호 처리 방법은 M개 채널의 오디오 신호를 다운믹스하여 N개 채널의 오디오 신호를 생성하는 단계; 및 상기 N개 채널의 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 단계를 포함할 수 있다.
Description
본 발명은 3차원 오디오 디코더에 포함된 다채널 오디오 신호 처리 장치 및 방법에 관한 것이다.
멀티미디어 컨텐츠의 품질이 증가됨에 따라 기존에 사용되는 5.1 채널의 오디오 신호보다 채널수가 많은 7.1채널, 10.2채널, 13.2채널, 22.2채널과 같은 고품질의 다채널 오디오 신호가 사용되고 있다. 하지만, 실질적으로 고품질의 다채널 오디오 신호는 스마트폰과 같은 개인형 단말이나 PC 등을 통해 2채널의 스테레오 스피커 또는 헤드폰으로 청취되는 경우가 많다.
따라서, 고품질의 다채널 오디오 신호를 2채널의 스테레오 스피커 또는 헤드폰에서 청취할 수 있도록 다채널 오디오 신호를 스테레오 오디오 신호로 다운믹스하는 바이노럴 렌더링이 개발되었다.
기존에 바이노럴 렌더링은 5.1채널 또는 7.1채널 오디오 신호의 채널 각각을 머리 전달 함수(HRTF, Head Related Transfer Function) 또는 바이노럴 룸 임펄스 응답(BRIR, Binaural Room Impulse response)과 같은 바이노럴 필터를 통해 필터링을 수행하여 바이노럴 스테레오 오디오 신호를 생성하였다. 기존의 방식의 경우, 입력된 다채널 오디오 신호의 채널 개수가 증가함에 따라 필터링 연산량이 증가하는 문제가 발생되었다.
결국, 10.2 채널, 22.2 채널과 같이 다채널 오디오 신호의 채널의 개수가 증가함에 따라 연산량이 증가하는 경우, 2채널의 스테레오 스피커 또는 헤드폰으로 재생하기 위한 실시간 연산이 어려운 문제가 존재할 수 있다. 특히, 연산 능력이 상대적으로 낮은 모바일 단말의 경우, 다채널 오디오 신호의 채널 수가 증가함에 따라 실시간으로 바이노럴 필터링 연산이 어려울 수 있다.
따라서, 채널 수가 많은 고품질의 다채널 오디오 신호를 바이노럴 신호로 렌더링할 때, 실시간 연산이 가능하도록 바이노럴 필터링의 연산량을 줄이는 방법이 요구되고 있다.
본 발명은 입력된 다채널 오디오 신호를 다운믹스 한 후, 바이노럴 렌더링을 수행함으로써 다채널 오디오 신호의 채널 수가 증가하더라도 바이노럴 렌더링에 필요한 연산량을 줄일 수 있는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 다채널 오디오 신호 처리 방법은 M개 채널의 오디오 신호를 다운믹스하여 N개 채널의 오디오 신호를 생성하는 단계; 및 상기 N개 채널의 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 단계를 포함할 수 있다.
상기 다채널 오디오 신호 처리 방법에서 상기 스테레오 오디오 신호를 생성하는 단계는, 상기 N개 채널의 채널별 오디오 신호의 재생 위치에 대응하는 필터를 이용하여 채널별 스테레오 오디오 신호들을 생성하는 단계; 및 상기 채널별 스테레오 오디오 신호들을 믹싱하여 스테레오 오디오 신호를 생성하는 단계를 포함할 수 있다.
상기 다채널 오디오 신호 처리 방법에서 상기 스테레오 오디오 신호를 생성하는 단계는, 상기 N개 채널의 오디오 신호에서 각 채널에 대응하는 복수의 바이노럴 렌더러를 이용하여 스테레오 오디오 신호를 생성할 수 있다.
본 발명의 다른 실시예에 따른 다채널 오디오 신호 처리 방법은 가상 스피커 레이아웃에 기초하여 다채널 오디오 신호의 채널 개수를 서브 샘플링하는 단계; 및 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 단계를 포함할 수 있다.
상기 다채널 오디오 신호 처리 방법에서 상기 스테레오 오디오 신호를 생성하는 단계는, 주파수 도메인에서 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링할 수 있다.
상기 다채널 오디오 신호 처리 방법에서 상기 상기 스테레오 오디오 신호를 생성하는 단계는, 상기 N개 채널의 오디오 신호에서 각 채널에 대응하는 복수의 바이노럴 렌더러를 이용하여 스테레오 오디오 신호를 생성할 수 있다.
본 발명의 또 다른 실시예에 있어서 다채널 오디오 신호 처리 방법은 출력 스피커 레이아웃에서 3차원 스피커 레이아웃에 기초하여 다채널 오디오 신호의 채널 개수를 서브 샘플링하는 단계; 및 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 단계를 포함할 수 있다.
상기 다채널 오디오 신호 처리 방법에서 상기 스테레오 오디오 신호를 생성하는 단계는, 주파수 도메인에서 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링할 수 있다.
상기 다채널 오디오 신호 처리 방법에서 상기 스테레오 오디오 신호를 생성하는 단계는, 상기 N개 채널의 오디오 신호에서 각 채널에 대응하는 복수의 바이노럴 렌더러를 이용하여 스테레오 오디오 신호를 생성할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치는 M개 채널의 오디오 신호를 다운믹스하여 N개 채널의 오디오 신호를 생성하는 채널 다운믹스부; 및 상기 N개 채널의 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 바이노럴 렌더링부를 포함할 수 있다.
상기 다채널 오디오 신호 처리 장치에서 상기 바이노럴 렌더링부는, 상기 N개 채널의 채널별 오디오 신호의 재생 위치에 대응하는 필터를 이용하여 채널별 스테레오 오디오 신호들을 생성하고, 상기 채널별 스테레오 오디오 신호들을 믹싱하여 스테레오 오디오 신호를 생성할 수 있다.
상기 다채널 오디오 신호 처리 장치에서 상기 바이노럴 렌더링부는, 상기 N개 채널의 오디오 신호에서 각 채널에 대응하는 복수의 바이노럴 렌더러를 이용하여 스테레오 오디오 신호를 생성할 수 있다.
본 발명의 다른 실시예에 따른 다채널 오디오 신호 처리 장치는 가상 스피커 레이아웃에 기초하여 다채널 오디오 신호의 채널 개수를 서브 샘플링하는 채널 다운믹스부; 및 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 바이노럴 렌더링부를 포함할 수 있다.
상기 다채널 오디오 신호 처리 장치에서 상기 바이노럴 렌더링부는, 주파수 도메인에서 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링할 수 있다.
상기 다채널 오디오 신호 처리 장치에서 상기 바이노럴 렌더링부는, 상기 N개 채널의 오디오 신호에서 각 채널에 대응하는 복수의 바이노럴 렌더러를 이용하여 스테레오 오디오 신호를 생성할 수 있다.
본 발명의 또 다른 실시예에 따른 다채널 오디오 신호 처리 장치는 출력 스피커 레이아웃에서 3차원 스피커 레이아웃에 기초하여 다채널 오디오 신호의 채널 개수를 서브 샘플링하는 채널 다운믹스부; 및 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 바이노럴 렌더링부를 포함할 수 있다.
상기 다채널 오디오 신호 처리 장치에서 상기 바이노럴 렌더링부는, 주파수 도메인에서 상기 서브 샘플링된 다채널 오디오 신호를 바이노럴 렌더링할 수 있다.
상기 다채널 오디오 신호 처리 장치에서 상기 바이노럴 렌더링부는, 상기 N개 채널의 오디오 신호에서 각 채널에 대응하는 복수의 바이노럴 렌더러를 이용하여 스테레오 오디오 신호를 생성할 수 있다.
본 발명의 일실시예에 따르면, 입력된 다채널 오디오 신호를 다운믹스 한 후, 바이노럴 렌더링을 수행함으로써 다채널 오디오 신호의 채널 수가 증가하더라도 바이노럴 렌더링에 필요한 연산량을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치를 구체화한 도면이다.
도 3은 본 발명의 일실시예에 따른 바이노럴 렌더링부의 동작을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치의 동작 일례이다.
도 5는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치가 이용하는 스피커의 위치 정보의 일례이다.
도 6은 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치가 적용된 3차원 오디오 디코더를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치를 구체화한 도면이다.
도 3은 본 발명의 일실시예에 따른 바이노럴 렌더링부의 동작을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치의 동작 일례이다.
도 5는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치가 이용하는 스피커의 위치 정보의 일례이다.
도 6은 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치가 적용된 3차원 오디오 디코더를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 방법은 다채널 오디오 신호 처리 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치를 나타내는 도면이다.
도 1을 참고하면, 다채널 오디오 신호 처리 장치(100)는 채널 다운믹스부(110)와 바이노럴 렌더링부(120)를 포함할 수 있다.
채널 다운믹스부(110)는 M개 채널의 오디오 신호를 다운믹스하여 N개 채널의 오디오 신호를 생성할 수 있다. 여기서, M개 채널은 N개 채널보다 많은 채널을 의미한다(N<M).
일례로, M개 채널의 오디오 신호가 3차원 공간 정보를 포함하는 경우, 채널 다운믹스부(110)는 M개 채널의 오디오 신호에 포함된 3차원 공간 정보의 손실이 최소화되도록 M개 채널의 오디오 신호를 다운믹스할 수 있다. 이때, 3차원 공간 정보는 높이 채널(height Channel)을 포함할 수 있다.
예를 들어, 3차원 채널 레이아웃을 가지는 M개 채널의 오디오 신호를 2차원 채널 레이아웃을 가지는 N개 채널의 오디오 신호로 다운믹스하는 경우, 원래의 M개 채널의 오디오 신호가 가지는 3차원 공간 정보를 N개 채널의 오디오 신호를 이용하여 재현하기 어려움이 있을 수 있다.
따라서, M개 채널의 오디오 신호가 3차원 공간 정보를 포함하는 경우, 채널 다운믹스부(110)는 다운믹스를 통해 생성되는 N개 채널의 오디오 신호도 3차원 공간 정보를 포함하도록 M개 채널의 오디오 신호를 다운믹스할 수 있다. 구체적으로, M개 채널의 오디오 신호가 3차원 공간 정보를 가지는 경우, 채널 다운믹스부(110)는 3차원 공간 정보를 포함하는 채널 레이아웃에 기초하여 M개 채널의 오디오 신호를 다운믹스할 수 있다.
예를 들어, 입력된 다채널 오디오 신호가 3차원 채널 레이아웃 중 22.2채널 레이아웃을 가지는 경우, 채널 다운믹스부(110)는 다운믹싱을 통해 22.2채널의 오디오 신호와 유사한 음장감을 제공하면서도 최소한의 채널을 가지는 10.2 채널 또는 8.1 채널의 오디오 신호를 생성할 수 있다.
바이노럴 렌더링부(120)는 채널 다운믹스부(110)가 생성한 N채널의 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성할 수 있다. 일례로, 바이노럴 렌더링부(120)는 N개 채널의 오디오 신호의 채널별 오디오 신호의 재생 위치에 대응하는 복수의 바이노럴 렌더링 필터들을 이용하여 채널별 스테레오 오디오 신호들을 생성하고, 상기 채널별 스테레오 오디오 신호들을 믹싱함으로써 하나의 스테레오 오디오 신호를 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치를 구체화한 도면이다.
채널 다운믹스부(110)는 다채널 오디오 신호인 M개 채널의 오디오 신호(210)를 수신할 수 있다. 그러면, 채널 다운믹스부(110)는 M개 채널의 오디오 신호(210)를 다운믹스함으로써 N개 채널의 오디오 신호(220)를 출력할 수 있다. 이때, N개 채널의 오디오 신호(220)는 M개 채널의 오디오 신호(210)보다 채널수가 적을 수 있다.
그리고, M개 채널의 오디오 신호(210)가 3차원 공간 정보를 가지는 경우, 채널 다운믹스부(110)는 M개 채널의 오디오 신호(210)의 3차원 공간 정보의 손실이 최소화될 수 있도록 M개 채널의 오디오 신호(210)를 3차원 레이아웃을 가지는 N개 채널의 오디오 신호(220)로 다운믹스할 수 있다.
다음으로, 바이노럴 렌더링부(120)는 N개 채널의 오디오 신호(220)에 바이노럴 렌더링함으로써 왼쪽 채널(221)과 오른쪽 채널(222)로 구성된 스테레오 오디오 신호(230)를 출력할 수 있다.
결국, 다채널 오디오 신호 처리 장치(100)는 입력된 M개 채널의 오디오 신호(210)를 바로 바이노럴 렌더링하지 않고, M개 채널의 오디오 신호(210)를 M개 채널보다 작은 N개 채널의 오디오 신호(220)를 바이노럴 렌더링하기 전에 미리 다운믹싱할 수 있다. 그러면, 바이노럴 렌더링할 때 처리해야 할 채널수가 감소하기 때문에, 실제로 바이노럴 렌더링에 필요한 필터링 연산이 감소할 수 있다.
도 3은 본 발명의 일실시예에 따른 바이노럴 렌더링부의 동작을 나타내는 도면이다.
M개 채널의 오디오 신호(210)으로부터 다운믹싱된 N개 채널의 오디오 신호(220)는 1채널의 모노 오디오 신호가 N개로 구성된 것을 의미할 수 있다. 그러면, 바이노럴 렌더링부(310)는 N개의 모노 오디오 신호에 1:1로 대응하는 N개의 바이노럴 렌더링 필터(410)들을 이용하여 N개 채널의 오디오 신호(220)을 바이노럴 렌더링할 수 있다.
이 때, 바이노럴 렌더링 필터(410)는 입력된 모노 오디오 신호를 바이노럴 렌더링함으로써 왼쪽 채널의 오디오 신호와 오른쪽 채널의 오디오 신호를 생성할 수 있다. 결국, 바이노럴 렌더링부(310)에 의해서 바이노럴 렌더링이 수행되는 경우, N개의 왼쪽 채널의 오디오 신호와 N개의 오른쪽 채널의 오디오 신호가 생성될 수 있다.
그러면, 바이노럴 렌더링부(310)는 N개의 왼쪽 채널의 오디오 신호와 N개의 오른쪽 채널의 오디오 신호를 믹싱함으로써 1개의 왼쪽 채널의 오디오 신호와 1개의 오른쪽 채널의 오디오 신호로 구성되는 스테레오 오디오 신호(230)를 출력할 수 있다. 즉, 바이노럴 렌더링부(310)는 복수의 바이노럴 렌더링 필터(410)들이 생성한 채널별 스테레오 오디오 신호들을 믹싱함으로써 스테레오 오디오 신호(230)를 출력할 수 있다.
도 4는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치의 동작 일례이다.
도 4는 M개 채널의 오디오 신호가 22.2채널의 오디오 신호인 경우의 처리 과정을 나타낸다.
먼저, 채널 다운믹스부(110)는 22.2 채널의 오디오 신호(510)를 수신한 후 다운믹싱할 수 있다. 그러면, 채널 다운믹스부(110)는 22.2 채널의 오디오 신호(510)로부터 10.2 채널 또는 8.1 채널의 오디오 신호(520)를 출력할 수 있다. 22.2 채널의 오디오 신호(510)는 3차원 공간 정보를 포함하기 때문에, 채널 다운믹스부(110)는 22.2 채널의 오디오 신호(510)와 유사한 음장감을 유지하면서도 최소한의 채널을 가지는 10.2 채널 또는 8.1 채널의 오디오 신호(520)를 출력할 수 있다.
그러면, 바이노럴 렌더링부(120)는 다운믹싱된 10.2 채널 또는 8.1 채널의 오디오 신호(520)를 구성하는 복수의 모노 오디오 신호 각각에 대해 바이노럴 렌더링을 수행함으로써 왼쪽 채널의 오디오 신호와 오른쪽 채널의 오디오 신호로 구성된 스테레오 오디오 신호(530)를 출력할 수 있다.
다채널 오디오 신호 처리 장치(100)는 입력된 22.2채널 오디오 신호(510)를 채널 다운믹스부(110)에서 22.2채널 보다 작은 10.2 채널 또는 8.1 채널 오디오 신호(520)로 다운믹스 한 후, N개 채널의 오디오 신호(220)를 바이노럴 렌더링부(120)에 입력함으로써, 바이노럴 렌더링의 연산량을 기존 방법 대비 감소시키면서 채널수가 많은 다채널 오디오 신호를 바이노럴 렌더링할 수 있다.
도 5는 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치가 이용하는 스피커의 위치 정보의 일례이다.
5.1 채널, 8.1 채널, 10.1 채널, 22.2 채널의 오디오 신호는 도 5에 도시된 바와 같은 입력 포맷(input formats)과 출력 포맷(output formats)을 가질 수 있다.
이때, 8.1 채널, 10.1 채널, 22.2 채널의 오디오 신호는 도 5에 도시된 바와 같이 LS 라벨이 U, T, 및 L로 시작하며, 각각 사용자보다 높은 곳에 위치한 스피커에 대응하는 어퍼 레이어(Upper layer), 사용자의 머리 위에 위치한 스피커에 대응하는 탑 레이어(Top layer), 및 사용자보다 낮은 곳에 위치한 스피커에 대응하는 로어 레이어(Lower layer)를 의미할 수 있다.
이때, 어퍼 레이어, 탑 레이어, 및 로어 레이어에 위치한 스피커가 재생하는 오디오 신호는 미들 레이어(Middle layer)에 위치한 스피커가 재생하는 오디오 신호보다 3차원 공간 정보를 더 포함할 수 있다. 예를 들어, 미들 레이어에 위치한 스피커로만 재생하는 5.1 채널의 오디오 신호는 3차원 공간 정보를 포함하지 않을 수 있다. 다만, 어퍼 레이어, 탑 레이어, 및 로어 레이어에 위치한 스피커를 이용하는 22.2 채널, 8.1 채널, 10.1채널은 3차원 공간 정보를 포함할 수 있다.
이 경우, 입력된 다채널 오디오 신호가 22.2 채널의 오디오 신호인 경우, 22.2 채널의 오디오 신호가 가지는 3차원 효과인 음장감을 유지하기 위해 22.2 채널의 오디오 신호는 3차원 공간 정보를 포함하는 10.1 채널, 또는 8.1 채널의 오디오 신호로 다운믹스될 필요가 있다.
도 6은 본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치가 적용된 3차원 오디오 디코더를 도시한 도면이다.
도 6을 참고하면, 3차원 오디오 디코더가 도시된다. 3차원 오디오 디코더에서 생성된 비트스트림은 MP4 형태로 USAC 3D 디코더에 입력된다. 그러면, USAC 3D 디코더는 비트스트림을 디코딩하여 복수의 채널들과 프리 렌더링된 오브젝트들, 복수의 오브젝트들, 압축된 객체 메타데이터(OAM), SAOC 전송 채널들, SAOC 부가 정보, 및 HOA(High-Order Ambisonics) 신호들을 추출할 수 있다.
USAC 3D 디코더에서 출력된 복수의 채널들과 프리 렌더링된 오브젝트들, 복수의 오브젝트들 및 HOA 신호들은 각각 DRC1(Dynamic Range Control)를 거쳐 입력된 후 포맷 변환기(Format conversion), 객체 렌더러, HOA 렌더러에 입력된다.
그리고, 포맷 변환기와 객체 렌더러, HOA 렌더러 및 SAOC 3D 디코더의 출력 결과는 믹서로 입력되며, 믹서에서 복수의 채널에 대응하는 오디오 신호가 출력된다.
믹서에서 출력된 복수의 채널에 대응하는 오디오 신호는 DRC2를 거친 후, 각각 재생 단말에 따라 DRC3 또는 FD-Bin으로 입력된다. 여기서, FD-Bin은 주파수 도메인의 바이노럴 렌더러를 의미한다.
도 6에서 설명되고 있는 대부분의 렌더러들은 QMF 도메인 인터페이스를 제공할 수 있다. 그리고, DRC 2와 DRC 3는 멀티밴드 DRC를 위해서 QMF 표현을 사용한다.
도 6에서 포맷 변환기는 본 발명의 일실시예에서 설명하는 다채널 오디오 신호 처리 장치에 대응할 수 있다. 포맷 변환기는 설정된 재생 환경에 따라 다양한 형태의 채널 신호를 출력할 수 있다. 여기서, 재생 환경은 스피커, 헤드폰과 같은 실제 재생 환경 또는 인터페이스를 통해 임의로 설정할 수 있는 가상 레이아웃을 의미할 수 있다.
이 때, 포맷 변환기가 바이노럴 렌더링 기능을 수행하는 경우, 포맷 변환기는 입력된 복수의 채널에 대응하는 오디오 신호를 다운믹스한 후에, 다운믹스된 결과를 바이노럴 렌더링함으로써 바이노럴 렌더링의 복잡도를 줄일 수 있다. 다시 말해서, 포맷 변환기는 주어진 22.2 채널과 같은 BRIR(Binaural Room Impulse Response)의 전체 set를 사용하는 대신에 가상 레이아웃에서 다채널 오디오 신호의 채널 개수를 서브 샘플링함으로써 바이노럴 렌더링의 복잡도를 줄일 수 있다.
결국, 본 발명의 일실시예에 따르면, 다채널 오디오 신호인 M개 채널의 오디오 신호를 M개 채널보다 작은 N개 채널의 오디오 신호로 다운믹스 한 후, N개 채널의 오디오 신호를 바이노럴 렌더링함으로써 바이노럴 렌더링의 연산량을 줄이면서도 채널수가 많은 다채널 오디오 신호를 효과적으로 바이노럴 렌더링할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 다채널 오디오 신호 처리 장치
110: 채널 다운믹스부
120: 바이노럴 렌더링부
110: 채널 다운믹스부
120: 바이노럴 렌더링부
Claims (14)
- 오디오 디코더가 수행하는 다채널 오디오 신호 처리 방법에 있어서,
재생 환경 또는 가상 레이아웃을 이용하여 포맷 변환기에서 M개 채널의 오디오 신호를 다운믹스하여 N개 채널의 오디오 신호를 생성하는 단계; 및
바이노럴 렌더러에서 상기 N개 채널의 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하는 단계; 및
상기 스테레오 오디오 신호를 출력하는 단계
를 포함하고,
상기 오디오 디코더는, 비트스트림으로부터 복수의 채널들과 프리렌더링된 오브젝트들 및 복수의 오브젝트들을 추출하고,
상기 복수의 채널들과 프리렌더링된 오브젝트들은 상기 포맷 변환기에 입력되고,
상기 복수의 오브젝트들은 DRC1이 적용되는 오브젝트 렌더러에 입력되는 것인, 다채널 오디오 신호 처리 방법. - 삭제
- 제1항에 있어서,
상기 포맷 변환기는 DRC1이 적용되는 것인, 다채널 오디오 신호 처리 방법. - 제1항에 있어서,
상기 N개 채널의 오디오 신호는 믹서에서 출력되는 것인, 다채널 오디오 신호 처리 방법. - 제1항에 있어서,
상기 N개 채널의 오디오 신호는, DRC2와 연결된 바이노럴 렌더러에 입력되거나, 또는 라우드스피커 피드를 위한 DRC2 또는 DRC3가 적용되는 것인, 다채널 오디오 신호 처리 방법. - 제1항에 있어서,
상기 스테레오 오디오 신호를 생성하는 단계는,
상기 스테레오 오디오 신호의 각 좌측 채널 오디오 신호 및 각 우측 채널 오디오 신호에 대해, 상기 N개 채널의 오디오 신호의 각 채널 오디오 신호에 바이노럴 렌더링을 위한 N 바이노럴 필터를 적용하는 단계
를 포함하는, 다채널 오디오 신호 처리 방법. - 제6항에 있어서,
상기 스테레오 오디오 신호를 생성하는 단계는,
바이노럴 렌더링을 위한 머리 전달 함수(HRTF, Head Related Transfer Function) 또는 바이노럴 룸 임펄스 응답(BRIR, Binaural Room Impulse response)와 관련된 상기 N 바이노럴 필터의 필터링 결과를 합산하는 단계
를 포함하는, 다채널 오디오 신호 처리 방법. - 오디오 디코더를 포함하는 다채널 오디오 신호 처리 장치에 있어서,
재생 환경 또는 가상 레이아웃을 이용하여 M개 채널의 오디오 신호를 다운믹스하여 N개 채널의 오디오 신호를 생성하는 포맷 변환기; 및
상기 N개 채널의 오디오 신호를 바이노럴 렌더링하여 스테레오 오디오 신호를 생성하고, 상기 스테레오 오디오 신호를 출력하는 바이노럴 렌더러
를 포함하고,
상기 오디오 디코더는, 비트스트림으로부터 복수의 채널들과 프리렌더링된 오브젝트들 및 복수의 오브젝트들을 추출하고,
상기 복수의 채널들과 프리렌더링된 오브젝트들은 상기 포맷 변환기에 입력되고,
상기 복수의 오브젝트들은 DRC1이 적용되는 오브젝트 렌더러에 입력되는 것인, 다채널 오디오 신호 처리 장치. - 삭제
- 제8항에 있어서,
상기 포맷 변환기는 DRC1이 적용되는 것인, 다채널 오디오 신호 처리 장치. - 제8항에 있어서,
상기 N개 채널의 오디오 신호는 믹서에서 출력되는 것인, 다채널 오디오 신호 처리 장치. - 제8항에 있어서,
상기 N개 채널의 오디오 신호는, DRC2와 연결된 상기 바이노럴 렌더러에 입력되거나, 또는 라우드스피커 피드를 위한 DRC2 또는 DRC3가 적용되는 것인, 다채널 오디오 신호 처리 장치. - 제8항에 있어서,
상기 바이노럴 렌더러는,
상기 스테레오 오디오 신호의 각 좌측 채널 오디오 신호 및 각 우측 채널 오디오 신호에 대해, 상기 N개 채널의 오디오 신호의 각 채널 오디오 신호에 바이노럴 렌더링을 위한 N 바이노럴 필터를 적용하는, 다채널 오디오 신호 처리 장치. - 제13항에 있어서,
상기 바이노럴 렌더러는,
바이노럴 렌더링을 위한 머리 전달 함수(HRTF, Head Related Transfer Function) 또는 바이노럴 룸 임펄스 응답(BRIR, Binaural Room Impulse response)와 관련된 상기 N 바이노럴 필터의 필터링 결과를 합산하는, 다채널 오디오 신호 처리 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020240041915A KR20240046696A (ko) | 2013-04-19 | 2024-03-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130043383 | 2013-04-19 | ||
KR1020130043383 | 2013-04-19 | ||
KR1020210127284A KR102459927B1 (ko) | 2013-04-19 | 2021-09-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210127284A Division KR102459927B1 (ko) | 2013-04-19 | 2021-09-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020240041915A Division KR20240046696A (ko) | 2013-04-19 | 2024-03-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220150849A KR20220150849A (ko) | 2022-11-11 |
KR102653560B1 true KR102653560B1 (ko) | 2024-04-03 |
Family
ID=51995404
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140046741A KR102150955B1 (ko) | 2013-04-19 | 2014-04-18 | 다채널 오디오 신호 처리 장치 및 방법 |
KR1020200107948A KR102308182B1 (ko) | 2013-04-19 | 2020-08-26 | 다채널 오디오 신호 처리 장치 및 방법 |
KR1020210127284A KR102459927B1 (ko) | 2013-04-19 | 2021-09-27 | 다채널 오디오 신호 처리 장치 및 방법 |
KR1020220137301A KR102653560B1 (ko) | 2013-04-19 | 2022-10-24 | 다채널 오디오 신호 처리 장치 및 방법 |
KR1020240041915A KR20240046696A (ko) | 2013-04-19 | 2024-03-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140046741A KR102150955B1 (ko) | 2013-04-19 | 2014-04-18 | 다채널 오디오 신호 처리 장치 및 방법 |
KR1020200107948A KR102308182B1 (ko) | 2013-04-19 | 2020-08-26 | 다채널 오디오 신호 처리 장치 및 방법 |
KR1020210127284A KR102459927B1 (ko) | 2013-04-19 | 2021-09-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020240041915A KR20240046696A (ko) | 2013-04-19 | 2024-03-27 | 다채널 오디오 신호 처리 장치 및 방법 |
Country Status (3)
Country | Link |
---|---|
US (3) | US10075795B2 (ko) |
KR (5) | KR102150955B1 (ko) |
CN (2) | CN104982042B (ko) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9774974B2 (en) | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
EP3219115A1 (en) * | 2014-11-11 | 2017-09-20 | Google, Inc. | 3d immersive spatial audio systems and methods |
US9961467B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US10249312B2 (en) * | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
WO2017165968A1 (en) * | 2016-03-29 | 2017-10-05 | Rising Sun Productions Limited | A system and method for creating three-dimensional binaural audio from stereo, mono and multichannel sound sources |
EP3499857B1 (en) * | 2016-08-26 | 2022-04-27 | Honor Device Co., Ltd. | Audio data processing method, terminal device, and storage medium |
US10356545B2 (en) * | 2016-09-23 | 2019-07-16 | Gaudio Lab, Inc. | Method and device for processing audio signal by using metadata |
US10659904B2 (en) | 2016-09-23 | 2020-05-19 | Gaudio Lab, Inc. | Method and device for processing binaural audio signal |
CN109792582B (zh) * | 2016-10-28 | 2021-10-22 | 松下电器(美国)知识产权公司 | 用于回放多个音频源的双声道渲染装置和方法 |
CN107659888A (zh) * | 2017-08-21 | 2018-02-02 | 广州酷狗计算机科技有限公司 | 识别伪立体声音频的方法、装置及存储介质 |
EP3454578B1 (en) * | 2017-09-06 | 2020-11-04 | Sennheiser Communications A/S | A communication system for communicating audio signals between a plurality of communication devices in a virtual sound environment |
KR102119239B1 (ko) * | 2018-01-29 | 2020-06-04 | 구본희 | 바이노럴 스테레오 오디오 생성 방법 및 이를 위한 장치 |
CN111107481B (zh) * | 2018-10-26 | 2021-06-22 | 华为技术有限公司 | 一种音频渲染方法及装置 |
KR102322120B1 (ko) * | 2018-11-09 | 2021-11-05 | 주식회사 후본 | 사운드 생성 방법 및 이를 수행하는 장치들 |
US11910846B2 (en) * | 2020-05-05 | 2024-02-27 | Bravado Holding Ag | Multipurpose pumping and nursing garments |
WO2023210978A1 (ko) * | 2022-04-28 | 2023-11-02 | 삼성전자 주식회사 | 다채널 오디오 신호 처리 장치 및 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101175592B1 (ko) * | 2007-04-26 | 2012-08-22 | 돌비 인터네셔널 에이비 | 출력신호 합성 장치 및 방법 |
Family Cites Families (102)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371799A (en) | 1993-06-01 | 1994-12-06 | Qsound Labs, Inc. | Stereo headphone sound source localization system |
US5436975A (en) | 1994-02-02 | 1995-07-25 | Qsound Ltd. | Apparatus for cross fading out of the head sound locations |
US5596644A (en) | 1994-10-27 | 1997-01-21 | Aureal Semiconductor Inc. | Method and apparatus for efficient presentation of high-quality three-dimensional audio |
US5742689A (en) | 1996-01-04 | 1998-04-21 | Virtual Listening Systems, Inc. | Method and device for processing a multichannel signal for use with a headphone |
FR2744871B1 (fr) | 1996-02-13 | 1998-03-06 | Sextant Avionique | Systeme de spatialisation sonore, et procede de personnalisation pour sa mise en oeuvre |
KR20010030608A (ko) * | 1997-09-16 | 2001-04-16 | 레이크 테크놀로지 리미티드 | 청취자 주변의 음원의 공간화를 향상시키기 위한 스테레오헤드폰 디바이스에서의 필터링 효과의 이용 |
CA2325482C (en) | 1998-03-25 | 2009-12-15 | Lake Technology Limited | Audio signal processing method and apparatus |
US6990205B1 (en) | 1998-05-20 | 2006-01-24 | Agere Systems, Inc. | Apparatus and method for producing virtual acoustic sound |
JP3694172B2 (ja) | 1998-06-30 | 2005-09-14 | 株式会社河合楽器製作所 | 残響共鳴装置及び残響共鳴方法 |
FI113935B (fi) | 1998-09-25 | 2004-06-30 | Nokia Corp | Menetelmä äänitason kalibroimiseksi monikanavaisessa äänentoistojärjestelmässä ja monikanavainen äänentoistojärjestelmä |
JP4499206B2 (ja) | 1998-10-30 | 2010-07-07 | ソニー株式会社 | オーディオ処理装置及びオーディオ再生方法 |
US6188769B1 (en) | 1998-11-13 | 2001-02-13 | Creative Technology Ltd. | Environmental reverberation processor |
US7146296B1 (en) | 1999-08-06 | 2006-12-05 | Agere Systems Inc. | Acoustic modeling apparatus and method using accelerated beam tracing techniques |
US7107110B2 (en) | 2001-03-05 | 2006-09-12 | Microsoft Corporation | Audio buffers with audio effects |
US7099482B1 (en) | 2001-03-09 | 2006-08-29 | Creative Technology Ltd | Method and apparatus for the simulation of complex audio environments |
WO2004001597A2 (en) | 2002-06-20 | 2003-12-31 | Matsushita Electric Industrial Co., Ltd. | Multitask control device and music data reproduction device |
US8054980B2 (en) | 2003-09-05 | 2011-11-08 | Stmicroelectronics Asia Pacific Pte, Ltd. | Apparatus and method for rendering audio information to virtualize speakers in an audio system |
US20050063551A1 (en) | 2003-09-18 | 2005-03-24 | Yiou-Wen Cheng | Multi-channel surround sound expansion method |
KR20050060789A (ko) * | 2003-12-17 | 2005-06-22 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
US8078475B2 (en) * | 2004-05-19 | 2011-12-13 | Panasonic Corporation | Audio signal encoder and audio signal decoder |
US20050276430A1 (en) | 2004-05-28 | 2005-12-15 | Microsoft Corporation | Fast headphone virtualization |
GB0419346D0 (en) | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
JP4810541B2 (ja) | 2004-10-26 | 2011-11-09 | バーウエン,リチヤード・エス | 自然でない反響 |
US7903824B2 (en) | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
DE102005010057A1 (de) | 2005-03-04 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms |
CA2610430C (en) * | 2005-06-03 | 2016-02-23 | Dolby Laboratories Licensing Corporation | Channel reconfiguration with side information |
EP1927266B1 (en) | 2005-09-13 | 2014-05-14 | Koninklijke Philips N.V. | Audio coding |
KR100739776B1 (ko) | 2005-09-22 | 2007-07-13 | 삼성전자주식회사 | 입체 음향 생성 방법 및 장치 |
US20080306720A1 (en) | 2005-10-27 | 2008-12-11 | France Telecom | Hrtf Individualization by Finite Element Modeling Coupled with a Corrective Model |
US8111830B2 (en) | 2005-12-19 | 2012-02-07 | Samsung Electronics Co., Ltd. | Method and apparatus to provide active audio matrix decoding based on the positions of speakers and a listener |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
US8081762B2 (en) | 2006-01-09 | 2011-12-20 | Nokia Corporation | Controlling the decoding of binaural audio signals |
US9426596B2 (en) * | 2006-02-03 | 2016-08-23 | Electronics And Telecommunications Research Institute | Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue |
CN104681030B (zh) | 2006-02-07 | 2018-02-27 | Lg电子株式会社 | 用于编码/解码信号的装置和方法 |
CN101390443B (zh) | 2006-02-21 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 音频编码和解码 |
KR100754220B1 (ko) | 2006-03-07 | 2007-09-03 | 삼성전자주식회사 | Mpeg 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법 |
WO2007101958A2 (fr) | 2006-03-09 | 2007-09-13 | France Telecom | Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal |
FR2899424A1 (fr) | 2006-03-28 | 2007-10-05 | France Telecom | Procede de synthese binaurale prenant en compte un effet de salle |
EP1853092B1 (en) | 2006-05-04 | 2011-10-05 | LG Electronics, Inc. | Enhancing stereo audio with remix capability |
US8619998B2 (en) | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
US7876903B2 (en) | 2006-07-07 | 2011-01-25 | Harris Corporation | Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system |
US7876904B2 (en) | 2006-07-08 | 2011-01-25 | Nokia Corporation | Dynamic decoding of binaural audio signals |
US20080240448A1 (en) | 2006-10-05 | 2008-10-02 | Telefonaktiebolaget L M Ericsson (Publ) | Simulation of Acoustic Obstruction and Occlusion |
AU2007328614B2 (en) | 2006-12-07 | 2010-08-26 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
KR100873639B1 (ko) | 2007-01-23 | 2008-12-12 | 삼성전자주식회사 | 헤드폰에서 출력되는 음상을 외재화하는 장치 및 방법. |
US8270616B2 (en) | 2007-02-02 | 2012-09-18 | Logitech Europe S.A. | Virtual surround for headphones and earbuds headphone externalization system |
WO2008106680A2 (en) | 2007-03-01 | 2008-09-04 | Jerry Mahabub | Audio spatialization and environment simulation |
US20080273708A1 (en) | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
ES2461601T3 (es) * | 2007-10-09 | 2014-05-20 | Koninklijke Philips N.V. | Procedimiento y aparato para generar una señal de audio binaural |
US8885834B2 (en) | 2008-03-07 | 2014-11-11 | Sennheiser Electronic Gmbh & Co. Kg | Methods and devices for reproducing surround audio signals |
KR101061129B1 (ko) * | 2008-04-24 | 2011-08-31 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 이의 장치 |
JP4532576B2 (ja) | 2008-05-08 | 2010-08-25 | トヨタ自動車株式会社 | 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム |
WO2010008198A2 (en) | 2008-07-15 | 2010-01-21 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
KR20080078907A (ko) | 2008-07-17 | 2008-08-28 | 노키아 코포레이션 | 양 귀 오디오 신호들의 복호화 제어 |
ES2528006T3 (es) | 2008-07-31 | 2015-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generación de señales para señales binaurales |
TWI475896B (zh) * | 2008-09-25 | 2015-03-01 | Dolby Lab Licensing Corp | 單音相容性及揚聲器相容性之立體聲濾波器 |
EP2175670A1 (en) | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
WO2010054360A1 (en) | 2008-11-10 | 2010-05-14 | Rensselaer Polytechnic Institute | Spatially enveloping reverberation in sound fixing, processing, and room-acoustic simulations using coded sequences |
US8965000B2 (en) | 2008-12-19 | 2015-02-24 | Dolby International Ab | Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters |
US20100223061A1 (en) * | 2009-02-27 | 2010-09-02 | Nokia Corporation | Method and Apparatus for Audio Coding |
KR101599554B1 (ko) | 2009-03-23 | 2016-03-03 | 한국전자통신연구원 | Sac 부가정보를 이용한 3d 바이노럴 필터링 시스템 및 방법 |
WO2011010426A1 (ja) | 2009-07-24 | 2011-01-27 | パナソニック株式会社 | 収音装置及び収音方法 |
US9432790B2 (en) | 2009-10-05 | 2016-08-30 | Microsoft Technology Licensing, Llc | Real-time sound propagation for dynamic sources |
PL2478519T3 (pl) | 2009-10-21 | 2013-07-31 | Fraunhofer Ges Forschung | Rewerberator i sposób rewerberacji sygnału audio |
EP2360681A1 (en) | 2010-01-15 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information |
EP2375779A3 (en) | 2010-03-31 | 2012-01-18 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for measuring a plurality of loudspeakers and microphone array |
US20110317522A1 (en) | 2010-06-28 | 2011-12-29 | Microsoft Corporation | Sound source localization based on reflections and room estimation |
US8908874B2 (en) | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
KR20120038891A (ko) * | 2010-10-14 | 2012-04-24 | 삼성전자주식회사 | 오디오 시스템 및 그를 이용한 오디오 신호들의 다운 믹싱 방법 |
US20120093323A1 (en) * | 2010-10-14 | 2012-04-19 | Samsung Electronics Co., Ltd. | Audio system and method of down mixing audio signals using the same |
WO2012072804A1 (en) | 2010-12-03 | 2012-06-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for geometry-based spatial audio coding |
KR101217544B1 (ko) | 2010-12-07 | 2013-01-02 | 래드손(주) | 음질 향상 효과를 가지는 오디오 신호를 생성하는 오디오 장치 및 방법 |
EP2464146A1 (en) | 2010-12-10 | 2012-06-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decomposing an input signal using a pre-calculated reference curve |
EP2656640A2 (en) | 2010-12-22 | 2013-10-30 | Genaudio, Inc. | Audio spatialization and environment simulation |
BR112013017070B1 (pt) | 2011-01-05 | 2021-03-09 | Koninklijke Philips N.V | Sistema de áudio e método de operação para um sistema de áudio |
EP2541542A1 (en) | 2011-06-27 | 2013-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal |
KR20140027954A (ko) | 2011-03-16 | 2014-03-07 | 디티에스, 인코포레이티드 | 3차원 오디오 사운드트랙의 인코딩 및 재현 |
EP2503800B1 (en) | 2011-03-24 | 2018-09-19 | Harman Becker Automotive Systems GmbH | Spatially constant surround sound |
JP2012227647A (ja) | 2011-04-18 | 2012-11-15 | Nippon Hoso Kyokai <Nhk> | マルチチャンネル音響による空間音響再生システム |
US8787584B2 (en) | 2011-06-24 | 2014-07-22 | Sony Corporation | Audio metrics for head-related transfer function (HRTF) selection or adaptation |
EP2600343A1 (en) | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for merging geometry - based spatial audio coding streams |
US8908875B2 (en) | 2012-02-02 | 2014-12-09 | King's College London | Electronic device with digital reverberator and method |
KR101174111B1 (ko) | 2012-02-16 | 2012-09-03 | 래드손(주) | 오디오 신호의 디지털 노이즈를 저감시키는 장치 및 방법 |
US8831255B2 (en) | 2012-03-08 | 2014-09-09 | Disney Enterprises, Inc. | Augmented reality (AR) audio with position and action triggered virtual sound effects |
CN104335606B (zh) * | 2012-05-29 | 2017-01-18 | 创新科技有限公司 | 任意配置的扬声器的立体声拓宽 |
US9386373B2 (en) | 2012-07-03 | 2016-07-05 | Dts, Inc. | System and method for estimating a reverberation time |
MX343564B (es) * | 2012-09-12 | 2016-11-09 | Fraunhofer Ges Forschung | Aparato y metodo para proveer funciones mejoradas de mezcla guiada para audio 3d. |
CN104956689B (zh) | 2012-11-30 | 2017-07-04 | Dts(英属维尔京群岛)有限公司 | 用于个性化音频虚拟化的方法和装置 |
US9143862B2 (en) | 2012-12-17 | 2015-09-22 | Microsoft Corporation | Correlation based filter adaptation |
TR201808415T4 (tr) | 2013-01-15 | 2018-07-23 | Koninklijke Philips Nv | Binoral ses işleme. |
BR112015016978B1 (pt) | 2013-01-17 | 2021-12-21 | Koninklijke Philips N.V. | Aparelho para processamento de um sinal de áudio,aparelho para gerar um fluxo de bits, método de operação de aparelho para processamento de um sinal de áudio, e método de operação de aparelho para gerar um fluxo de bits |
US9344826B2 (en) | 2013-03-04 | 2016-05-17 | Nokia Technologies Oy | Method and apparatus for communicating with audio signals having corresponding spatial characteristics |
EP2974384B1 (en) | 2013-03-12 | 2017-08-30 | Dolby Laboratories Licensing Corporation | Method of rendering one or more captured audio soundfields to a listener |
US9060052B2 (en) | 2013-03-13 | 2015-06-16 | Accusonus S.A. | Single channel, binaural and multi-channel dereverberation |
EP2806663B1 (en) | 2013-05-24 | 2020-04-15 | Harman Becker Automotive Systems GmbH | Generation of individual sound zones within a listening room |
US9420393B2 (en) | 2013-05-29 | 2016-08-16 | Qualcomm Incorporated | Binaural rendering of spherical harmonic coefficients |
DK3008924T3 (en) | 2013-06-14 | 2018-10-01 | Widex As | METHOD OF SIGNAL PROCESSING IN A HEARING SYSTEM AND HEARING SYSTEM |
EP2830043A3 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer |
US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
CN105900455B (zh) | 2013-10-22 | 2018-04-06 | 延世大学工业学术合作社 | 用于处理音频信号的方法和设备 |
DK2916321T3 (en) | 2014-03-07 | 2018-01-15 | Oticon As | Processing a noisy audio signal to estimate target and noise spectral variations |
CN108307272B (zh) | 2014-04-02 | 2021-02-02 | 韦勒斯标准与技术协会公司 | 音频信号处理方法和设备 |
-
2014
- 2014-04-18 US US14/767,538 patent/US10075795B2/en active Active
- 2014-04-18 CN CN201480008322.9A patent/CN104982042B/zh active Active
- 2014-04-18 CN CN201810456326.3A patent/CN108810793B/zh active Active
- 2014-04-18 KR KR1020140046741A patent/KR102150955B1/ko active IP Right Grant
-
2018
- 2018-09-10 US US16/126,466 patent/US10701503B2/en active Active
-
2019
- 2019-12-04 US US16/703,226 patent/US11405738B2/en active Active
-
2020
- 2020-08-26 KR KR1020200107948A patent/KR102308182B1/ko active IP Right Grant
-
2021
- 2021-09-27 KR KR1020210127284A patent/KR102459927B1/ko active IP Right Grant
-
2022
- 2022-10-24 KR KR1020220137301A patent/KR102653560B1/ko active IP Right Grant
-
2024
- 2024-03-27 KR KR1020240041915A patent/KR20240046696A/ko active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101175592B1 (ko) * | 2007-04-26 | 2012-08-22 | 돌비 인터네셔널 에이비 | 출력신호 합성 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20240046696A (ko) | 2024-04-09 |
CN108810793B (zh) | 2020-12-15 |
KR20210123255A (ko) | 2021-10-13 |
CN104982042A (zh) | 2015-10-14 |
KR20220150849A (ko) | 2022-11-11 |
KR102308182B1 (ko) | 2021-10-05 |
CN104982042B (zh) | 2018-06-08 |
CN108810793A (zh) | 2018-11-13 |
US10075795B2 (en) | 2018-09-11 |
US10701503B2 (en) | 2020-06-30 |
KR102459927B1 (ko) | 2022-10-28 |
KR20200105640A (ko) | 2020-09-08 |
US20200112811A1 (en) | 2020-04-09 |
KR20140125745A (ko) | 2014-10-29 |
US11405738B2 (en) | 2022-08-02 |
US20160029139A1 (en) | 2016-01-28 |
US20190007778A1 (en) | 2019-01-03 |
KR102150955B1 (ko) | 2020-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102653560B1 (ko) | 다채널 오디오 신호 처리 장치 및 방법 | |
KR102294767B1 (ko) | 고채널 카운트 멀티채널 오디오에 대한 멀티플렛 기반 매트릭스 믹싱 | |
US9973874B2 (en) | Audio rendering using 6-DOF tracking | |
KR102380192B1 (ko) | 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치 | |
TWI541796B (zh) | 音源解碼器裝置、解碼壓縮過之輸人音源訊號方法及電腦程式 | |
US11871204B2 (en) | Apparatus and method for processing multi-channel audio signal | |
US11924627B2 (en) | Ambience audio representation and associated rendering | |
CN114025301A (zh) | 用于回放多个音频源的双声道渲染装置和方法 | |
KR101546849B1 (ko) | 주파수 영역에서의 음장효과 생성 방법 및 장치 | |
KR20150005438A (ko) | 오디오 신호 처리 방법 및 장치 | |
JP2016019041A (ja) | 音響信号変換装置、音響信号変換方法、音響信号変換プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |