KR101599554B1 - 3 3d binaural filtering system using spectral audio coding side information and the method thereof - Google Patents
3 3d binaural filtering system using spectral audio coding side information and the method thereof Download PDFInfo
- Publication number
- KR101599554B1 KR101599554B1 KR1020090116054A KR20090116054A KR101599554B1 KR 101599554 B1 KR101599554 B1 KR 101599554B1 KR 1020090116054 A KR1020090116054 A KR 1020090116054A KR 20090116054 A KR20090116054 A KR 20090116054A KR 101599554 B1 KR101599554 B1 KR 101599554B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- channel
- binaural
- audio
- channel audio
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003595 spectral effect Effects 0.000 title description 2
- 230000005236 sound signal Effects 0.000 claims abstract description 45
- 238000012546 transfer Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법이 개시된다. 바이노럴 필터링 시스템은, 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하고, 추출된 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력할 수 있다.A 3D binaural filtering system and method using SAC side information is disclosed. The binaural filtering system analyzes a sub information bit stream constituting a multi-channel audio signal transmitted through a terrestrial DMB and a satellite DMB to extract multi-channel audio reproduction characteristic parameters, and extracts the multi-channel audio reproduction characteristic parameters And output a 3D binaural signal from the downmix audio signal.
바이노럴 필터, 위성 DMB, 지상파 DMB, 통합 DMB, 멀티채널 오디오 신호 Binaural filter, satellite DMB, terrestrial DMB, integrated DMB, multi-channel audio signal
Description
본 발명은 SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법에 관한 것으로, 보다 상세하게는 SAC 부가정보를 이용하여 가상 멀티 채널로 렌더링된 3D 바이노럴 신호를 출력하는 3D 바이노럴 필터링 시스템 및 방법에 관한 것이다.The present invention relates to a 3D binaural filtering system and method using SAC side information, and more particularly, to a 3D binaural filtering system and a 3D binaural filtering system that output a 3D binaural signal rendered in a virtual multi- And methods.
본 발명은 방송통신위원회, 지식경제부 및 한국산업기술평가관리원의 IT 원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다 [과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술 개발(표준화연계)-무안경 개인형 3D 방송기술개발(계속)].The present invention is derived from research conducted as a part of the IT source technology development project of the Korea Communications Commission, the Ministry of Knowledge Economy, and the Korea Industrial Technology Evaluation and Management Service [assignment number: 2008-F-011-01, Technology Development (Linking Standardization) - Development of Personal 3D TV Broadcasting Technology (Continued)].
5.1채널과 같은 멀티채널 오디오 신호를 공간정보를 이용하여 압축하는 기술로 공간 오디오 부호화 기술이 있다. 공간 오디오 부호화 기술은 멀티채널 오디오 신호를 모노(Mono) 또는 스테레오(Stereo) 신호로 다운믹스(Downmix)하고, 멀티채널을 복원하는데 필요한 공간 파라미터(Spatial Parameter)를 부가정보(Side Information: SI)로 부호화하는 기술이다.A spatial audio coding technique is a technique for compressing multi-channel audio signals such as 5.1 channels using spatial information. The spatial audio coding technique downmixes a multi-channel audio signal to a mono or stereo signal and generates a spatial parameter required for restoring a multi-channel into a side information (SI) Encoding technique.
더욱이, 공간 오디오 부호화 기술은 DAB(Digital Audio Broadcasting), DMB(Digital Multimedia Broadcasting)와 같이 좁은 대역폭 환경에서 고품질의 오디오 신호를 전송하는 것을 목표로 하는 방송 시스템에서 멀티채널 오디오 서비스를 제공하는데 적합한 기술이다. 이러한 공간 부호화 기술로는 MPEG-Surround 및 SSLCC(Sound Source Location Cue Coding) 등이 있다.Furthermore, the spatial audio coding technology is suitable for providing a multi-channel audio service in a broadcasting system aiming at transmitting a high-quality audio signal in a narrow bandwidth environment such as DAB (Digital Audio Broadcasting) and DMB (Digital Multimedia Broadcasting) . Such spatial encoding techniques include MPEG-Surround and SSLCC (Sound Source Location Cue Coding).
국내에서는, MPEG-Surround를 지상파 DMB에서의 멀티채널 오디오 부호화 표준으로 선정하였고, SSLCC를 위성 DMB에서의 멀티채널 오디오 부호화 표준으로 선정하였다. 이에 따라, MPEG-Surround 및 SSLCC와 같은 공간 부호화 기술을 휴대폰과 같은 이동 단말에 적용하기 위한 연구가 활발히 진행되고 있다.In Korea, MPEG-Surround was selected as multi-channel audio coding standard in terrestrial DMB and SSLCC was selected as multi-channel audio coding standard in satellite DMB. Accordingly, studies for applying a spatial encoding technology such as MPEG-Surround and SSLCC to mobile terminals such as mobile phones have been actively conducted.
또한, 지상파 DMB와 위성 DMB에서 이용되는 공간 오디오 부호화 기술이 서로 상이한 경우, 하나의 기기에서 지상파 DMB 및 위성 DMB를 모두 지원하기 위해서는 두 개의 디코더가 요구되는 문제점이 발생할 수 있다. 이에 따라, 지상파 DMB 및 위성 DMB를 모두 지원할 수 있는 바이노럴 필터링 시스템이 필요하다.In addition, when the terrestrial DMB and the satellite DMB are different from each other, there is a problem that two decoders are required to support both terrestrial DMB and satellite DMB in one device. Accordingly, a binaural filtering system capable of supporting both terrestrial DMB and satellite DMB is needed.
본 발명은 SAC(spectral Audio Coding) 부가정보를 이용하여 3D 바이노럴 신호를 출력할 수 있는 3D 바이노럴 필터링 시스템 및 방법을 제공한다.The present invention provides a 3D binaural filtering system and method capable of outputting a 3D binaural signal using spectral audio coding (SAC) additional information.
본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템은, 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력하는 스테레오 디코더, 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하는 부가정보 분석부, 및 멀티채널 오디오 재생특성 파라미터를 이용하여 PCM 신호로 출력된 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력하는 바이노럴 필터링부를 포함할 수 있다.The 3D binaural filtering system according to an embodiment of the present invention includes a stereo decoder for decoding a downmix audio bit stream constituting a multi-channel audio signal transmitted through a terrestrial DMB and a satellite DMB to output a PCM signal, A supplementary information analyzing unit for analyzing a supplementary information bit stream constituting an audio signal to extract a multi-channel audio reproduction characteristic parameter, and a supplementary information analyzing unit for extracting a multi-channel audio reproduction characteristic parameter from a downmix audio signal output as a PCM signal, And a binaural filtering unit for outputting a signal.
이때, 지상파 DMB의 경우, 다운믹스 오디오 비트스트림은 MPEG-Surround인 공간 오디오 부호화 기법에 따라 부호화될 수 있다. 또한, 위성 DMB의 경우, 다운믹스 오디오 비트스트림은 SSLCC(Sound Source Location Cue Coding)인 공간 오디오 부호화 기법에 따라 부호화될 수 있다.At this time, in the case of the terrestrial DMB, the downmix audio bitstream can be encoded according to a spatial audio coding scheme that is MPEG-Surround. Also, in case of a satellite DMB, the downmix audio bitstream may be encoded according to a spatial audio coding scheme which is a Sound Source Location Cue Coding (SSLCC).
또한, 바이노럴 필터링부는, 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호로부터 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다.In addition, the binaural filtering unit may output a 3D binaural signal rendered as a virtual multi-channel from a downmix audio signal using the multi-channel audio reproduction characteristic parameter.
본 발명의 일 실시예에 따른 3D 바이노럴 필터링 방법은, 지상파 DMB 및 위 성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩하는 단계, 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출하는 단계, 및 멀티채널 오디오 재생특성 파라미터를 이용하여 디코딩된 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력하는 단계를 포함할 수 있다.The 3D binaural filtering method according to an embodiment of the present invention includes decoding a downmix audio bitstream constituting a multi-channel audio signal transmitted through a terrestrial DMB and a satellite DMB, Extracting a multi-channel audio reproduction characteristic parameter by analyzing the additional information bit stream, and outputting a 3D binaural signal from the decoded down-mix audio signal using the multi-channel audio reproduction characteristic parameter.
본 발명은 SAC 부가정보를 이용하여 멀티채널 오디오 신호의 복원과정 없이 3D 바이노럴 신호를 출력함에 따라 바이노럴 필터링 과정 중에 발생할 수 있는 음질의 열화를 감소시킬 수 있다.As the 3D binaural signal is output without restoring the multichannel audio signal using the SAC side information, the present invention can reduce deterioration of sound quality that may occur during the binaural filtering process.
또한, 멀티채널 오디오 신호의 복원과정을 생략함에 따라 연산량이 감소하여 복잡도를 낮출 수 있을 뿐만 아니라, 위성 및 지상파 DMB를 지원하는 기기의 제조 가격을 낮출 수 있다.In addition, omitting the reconstruction process of the multi-channel audio signal can reduce the complexity by reducing the amount of computation, and can also reduce the manufacturing cost of devices supporting satellite and terrestrial DMB.
또한, SAC 부가정보를 이용하여 3D 바이노럴 신호를 출력함에 따라 공간 오디오 부호화 방식에 제한되지 않는 가상 멀티채널 오디오 신호를 생성할 수 있다.In addition, as the 3D binaural signal is outputted using the SAC side information, a virtual multi-channel audio signal which is not limited to the spatial audio coding method can be generated.
최근, 휴대폰과 같은 이동 단말에 공간 부호화 기술을 적용하기 위해 멀티채널 디코더 또는 바이노럴 디코더가 이용될 수 있다. 멀티채널 디코더는 멀티채널 공간 오디오 디코더와 3D 바이노럴 필터를 포함할 수 있다. 멀티채널 공간 오디오 디코더는 지상파 또는 위성 DMB를 통해 수신된 멀티채널 오디오 신호를 복원할 수 있다. 그리고, 3D 바이노럴 필터는 복원된 멀티채널 오디오 신호로부터 바이노럴 신호를 생성할 수 있다. 이때, 생성된 바이노럴 신호는 가상 멀티채널로 렌더링된 신호일 수 있다.Recently, a multi-channel decoder or a binaural decoder can be used to apply a spatial encoding technique to a mobile terminal such as a cellular phone. The multi-channel decoder may include a multi-channel spatial audio decoder and a 3D binaural filter. The multi-channel spatial audio decoder can recover multi-channel audio signals received via terrestrial or satellite DMB. And, the 3D binaural filter can generate a binaural signal from the restored multi-channel audio signal. At this time, the generated binaural signal may be a signal rendered in virtual multi-channel.
바이노럴 디코더(Binaural Decoder)는 공간 파라미터로 구성된 부가정보를 이용하여 모노 또는 스테레오 다운믹스 오디오 신호로부터 스테레오 바이노럴 오디오 신호를 도출할 수 있다. 즉, 바이노럴 디코더는 멀티채널 공간 오디오 디코더에서 수행된 멀티채널 디코딩 과정과 3D 바이노럴 필터에서 수행된 바이노럴 필터링 과정이 혼합된 디코더의 형태를 가질 수 있다.A binaural decoder can derive a stereo binaural audio signal from a mono or stereo downmix audio signal using additional information composed of spatial parameters. That is, the binaural decoder may have a form of a decoder that is a mixture of the multi-channel decoding process performed in the multi-channel spatial audio decoder and the binaural filtering process performed in the 3D binaural filter.
이때, MPEG-Surround 및 SSLCC에서 제공되는 바이노럴 디코더는 멀티채널 디코더에 비해 낮은 복잡도를 갖지만, 멀티채널 오디오 신호의 복원 및 바이노럴 필터링을 통해 높은 복잡도를 가질 수 있다. 여기서, 바이노럴 필터링은 복원된 멀티채널 오디오 신호들에 대해 HRTF(Head Related Transfer Function) 필터링을 수행하는 과정을 포함할 수 있다. 이에 따라, 바이노럴 디코더를 휴대폰과 같은 이동 단말에 실장하는 데 제약이 존재할 수 있다.At this time, the binaural decoder provided in MPEG-Surround and SSLCC has lower complexity than the multi-channel decoder, but can have high complexity through restoration of multi-channel audio signals and binaural filtering. Herein, the binaural filtering may include performing Head Related Transfer Function (HRTF) filtering on the restored multi-channel audio signals. Accordingly, there may be a limitation in mounting the binaural decoder in a mobile terminal such as a mobile phone.
또한, 바이노럴 디코더는 공간 오디오 부호화 기술에서 적용하는 프레임의 크기로 제한된 HRTF 필터를 사용하므로, 음질의 열화가 발생할 수 있다. In addition, binaural decoders use HRTF filters limited to the frame size applied in the spatial audio coding technology, so that deterioration of sound quality may occur.
이에 따라, 멀티채널 디코딩 과정을 생략하여 연산량을 감소시킬 수 있는 바이노럴 필터링 시스템이 필요하다. Accordingly, there is a need for a binaural filtering system capable of reducing the amount of computation by omitting the multi-channel decoding process.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 또한, 본 실시예에서는 지상파 DMB 및 위성 DMB 모두를 통해 멀티채널 오디오 신호가 수신되는 경우를 가정하여 바이노럴 신호를 출력하는 방법에 대해 상세하게 설 명하기로 한다. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In this embodiment, a method of outputting a binaural signal on the assumption that a multi-channel audio signal is received through both the terrestrial DMB and the satellite DMB will be described in detail.
다만, 본 발명을 설명함에 있어서, 관련된 공기 기술 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.In the following description of the present invention, however, the detailed description of related arts or configurations will be omitted or omitted as it is determined that the gist of the present invention may be unnecessarily obscured.
도 1은 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 도시한 도면이다.FIG. 1 is a block diagram of a 3D binaural filtering system according to an embodiment of the present invention. Referring to FIG.
도 1을 참조하면, 3D 바이노럴 필터링 시스템(100)은 스테레오 디코더(110), 부가정보 분석부(130), 및 바이노럴 필터링부(150)를 포함할 수 있다.Referring to FIG. 1, the 3D
스테레오 디코더(110)는 지상파 DMB(T-DMB)를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 공간 오디오 부호화 기법에 따라 디코딩하여 PCM(Pulse Code Modulation)신호를 출력할 수 있다. 이때, 멀티채널 오디오 신호는 다운믹스 오디오 비트스트림 및 부가정보 비트스트림으로 구성될 수 있다. The stereo decoder 110 decodes a downmix audio bitstream constituting a multi-channel audio signal transmitted through a terrestrial DMB (T-DMB) according to a spatial audio coding scheme and outputs a PCM (Pulse Code Modulation) signal . At this time, the multi-channel audio signal may be composed of a downmix audio bitstream and a side information bitstream.
일 예로, 지상파 DMB의 경우, 스테레오 디코더(110)는 MPEG-Surround인 공간 오디오 부호화 기법으로 다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 여기서, MPEG-Surround인 공간 오디오 부호화 기법에는 BSAC(Bit Sliced Arithmetic Coding) 기법이 포함될 수 있다. For example, in the case of a terrestrial DMB, the stereo decoder 110 may output a PCM signal by decoding a downmix audio bitstream using an MPEG-Surround spatial audio coding scheme. Here, a BSAC (Bit Sliced Arithmetic Coding) technique may be included in the MPEG-Surround spatial audio coding scheme.
또한, 스테레오 디코더(110)는 위성 DMB(S-DMB)를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩하여 PCM신호를 출력할 수 있다. In addition, the stereo decoder 110 may decode the downmix audio bitstream constituting the multi-channel audio signal transmitted through the satellite DMB (S-DMB) and output the PCM signal.
일 예로, 위성 DMB의 경우, 스테레오 디코더(110)는 SSLCC인 공간 오디오 부호화 기법으로 다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 여기서, SSLCC인 공간 오디오 부호화 기법에는 aacPlus(Advanced Audio Coding Plus) 또는 HE-AAC(High-Efficiency Advanced Audio Coding) 기법이 포함될 수 있다.For example, in the case of a satellite DMB, the stereo decoder 110 may output a PCM signal by decoding a downmix audio bitstream using a spatial audio coding scheme, which is an SSLCC. Here, the SSACC spatial audio coding scheme may include aacPlus (Advanced Audio Coding Plus) or HE-AAC (High-Efficiency Advanced Audio Coding) scheme.
부가정보 분석부(130)는 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다. 여기서, 부가정보 비트스트림은 멀티채널 오디오 신호를 복원하는 데 필요한 공간 파라미터(Spatial Parameter)룰 포함할 수 있다. 또한, 멀티채널 오디오 재생특성 파라미터는 주파수 대역별 전후방 채널 신호 사이의 출력 레벨차를 포함할 수 있다.The additional information analyzing unit 130 may extract the multi-channel audio reproduction characteristic parameters by analyzing the additional information bit stream constituting the multi-channel audio signal. Here, the additional information bitstream may include a spatial parameter rule necessary for restoring a multi-channel audio signal. In addition, the multi-channel audio reproduction characteristic parameter may include an output level difference between front and rear channel signals of respective frequency bands.
일 예로, 지상파 DMB의 경우, 부가정보 분석부(130) 는 MPEG-Surround(MPS)인 공간 오디오 부호화 기법에 따라 부호화된 부가정보 비트스트림(MPS SI)으로부터 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다. For example, in the case of the terrestrial DMB, the additional information analysis unit 130 may extract the multi-channel audio reproduction characteristic parameters from the supplementary information bit stream (MPS SI) encoded according to the spatial audio coding scheme of MPEG-Surround (MPS) have.
또한, 위성 DMB의 경우, 부가정보 분석부(130) 는 SSLCC(Sound Source Location Cue Coding)인 공간 오디오 부호화 기법에 따라 부호화된 부가정보 비트스트림(SSLCC SI)으로부터 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다. 이를 통해, 부가정보 분석부(130)는 주파수 대역별 전후방 채널 신호 사이의 출력 레벨차를 추출할 수 있다.In the case of the satellite DMB, the additional information analyzing unit 130 extracts the multi-channel audio reproduction characteristic parameters from the supplementary information bit stream SSLCC SI encoded according to the spatial audio coding scheme, which is a sound source location cue coding (SSLCC) . Accordingly, the additional information analyzer 130 can extract the output level difference between the front and rear channel signals for each frequency band.
바이노럴 필터링부(150)는 추출된 멀티채널 오디오 재생특성 파라미터를 이용하여 PCM 신호로 출력된 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력할 수 있다. 즉, 바이노럴 필터링부(150)는 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호로부터 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다. 이를 통해, 바이노럴 필터링부(150)는 멀티채널 오디오 신호의 복원과정 없이도 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다.The binaural filtering unit 150 may output the 3D binaural signal from the downmix audio signal output as the PCM signal using the extracted multi-channel audio reproduction characteristic parameter. That is, the binaural filtering unit 150 may output a 3D binaural signal rendered as a virtual multi-channel from a downmix audio signal using the multi-channel audio reproduction characteristic parameter. Accordingly, the binaural filtering unit 150 can output the 3D binaural signal rendered in the virtual multi-channel without restoring the multi-channel audio signal.
일 예로, 바이노럴 필터링부(150)는 멀티채널 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호에 대해 HRTF(Head Related Transfer function) 필터링을 수행하여 3D 바이노럴 신호를 출력할 수 있다. 여기서, HRTF 필터는 인간의 청각기관을 모델링한 더미 헤더 마이크를 이용하여 360도의 방위각과 180도의 고도각 사이를 특정 간격을 두고 각각의 위치에 대한 좌우 양쪽의 임펄스 응답을 구하는 필터링일 수 있다.For example, the binaural filtering unit 150 may perform a HRTF (Head Related Transfer Function) filtering on the downmix audio signal using the multi-channel audio reproduction characteristic parameter to output a 3D binaural signal. Here, the HRTF filter may be filtering to obtain both left and right impulse responses with respect to each position at a specific interval between an azimuth angle of 360 degrees and an altitude angle of 180 degrees using a dummy header microphone modeling a human auditory organ.
도 2는 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 설명하기 위해 제공되는 흐름도이다.2 is a flowchart illustrating a configuration of a 3D binaural filtering system according to an embodiment of the present invention.
도 2를 참조하면, 먼저, 스테레오 디코더(110)는 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 다운믹스 오디오 비트스트림을 디코딩할 수 있다(S210). Referring to FIG. 2, the stereo decoder 110 may decode a downmix audio bitstream constituting a multi-channel audio signal transmitted through a terrestrial DMB and a satellite DMB (S210).
일 예로, 지상파 DMB의 경우, 스테레오 디코더(110)는 MPEG-Surround인 공간 오디오 부호화 기법으로 부호화된 다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 즉, 지상파 DMB의 경우, 다운믹스 오디오 비트스트림은 BSAC 디코더를 통해 PCM 신호로 출력될 수 있다.For example, in the case of a terrestrial DMB, the stereo decoder 110 may output a PCM signal by decoding a downmix audio bitstream encoded with an MPEG-Surround spatial audio coding scheme. That is, in the case of the terrestrial DMB, the downmix audio bitstream may be output as a PCM signal through the BSAC decoder.
또한, 위성 DMB의 경우, 스테레오 디코더(110)는 SSLCC인 공간 오디오 부호 화 기법으로 부호화된 다운믹스 오디오 비트스트림을 디코딩하여 PCM 신호를 출력할 수 있다. 즉, 위성 DMB의 경우, 다운믹스 오디오 비트스트림은 aacPlus 또는 HE-AAC 디코더를 통해 PCM 신호로 출력될 수 있다.Also, in case of the satellite DMB, the stereo decoder 110 may decode the downmix audio bitstream encoded by the spatial audio coding scheme, which is the SSLCC, and output the PCM signal. That is, in the case of satellite DMB, the downmix audio bitstream may be output as a PCM signal through an aacPlus or HE-AAC decoder.
이어, 부가정보 분석부(130)는 지상파 DMB 및 위성 DMB를 통해 전송된 멀티채널 오디오 신호를 구성하는 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다(S220). 여기서, 멀티채널 오디오 재생특성 파라미터는 주파수 대역별 전후방 채널 신호 사이의 출력 레벨차를 포함할 수 있다.The additional information analyzing unit 130 may extract the multi-channel audio reproduction characteristic parameters by analyzing the additional information bit stream constituting the multi-channel audio signal transmitted through the terrestrial DMB and satellite DMB (S220). Here, the multi-channel audio reproduction characteristic parameter may include an output level difference between front and rear channel signals of respective frequency bands.
일 예로, 지상파 DMB의 경우, 부가정보 분석부(130)는 MPEG-Surround인 공간 오디오 부호화 기법에 따라 부호화된 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다.For example, in the case of a terrestrial DMB, the additional information analyzer 130 may extract the multi-channel audio reproduction characteristic parameters by analyzing the additional information bit stream encoded according to the MPEG-Surround spatial audio coding technique.
또한, 위성 DMB의 경우, 부가정보 분석부(130)는 SSLCC인 공간 오디오 부호화 기법에 따라 부호화된 부가정보 비트스트림을 분석하여 멀티채널 오디오 재생특성 파라미터를 추출할 수 있다.In case of the satellite DMB, the additional information analyzing unit 130 may extract the multi-channel audio reproduction characteristic parameters by analyzing the additional information bit stream encoded according to the SSLCC spatial audio coding scheme.
그러면, 바이노럴 필터링부(150)는 추출된 멀티채널 오디오 재생특성 파라미터를 이용하여 디코딩된 다운믹스 오디오 신호로부터 3D 바이노럴 신호를 출력할 수 있다(S230). 즉, 바이노럴 필터링부(150)는 PCM 신호로 출력된 다운믹스 오디오 신호로부터 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다. 이를 통해, 멀티채널 오디오 신호의 복원과정 없이 가상 멀티채널로 렌더링된 3D 바이노럴 신호를 출력할 수 있다.Then, the binaural filtering unit 150 may output the 3D binaural signal from the decoded downmix audio signal using the extracted multi-channel audio reproduction characteristic parameter (S230). That is, the binaural filtering unit 150 may output a 3D binaural signal rendered as a virtual multi-channel from a downmix audio signal output as a PCM signal. Thus, a 3D binaural signal rendered as a virtual multi-channel can be output without restoring a multi-channel audio signal.
지금까지, BSAC, HE-AAC 또는 aacPlus 기법으로 부호화된 다운믹스 오디오 비트스트림에 대해서 설명하였으나, 이는 실시예에 불과할 뿐, AAC 기법으로 부호화된 다운믹스 오디오 비트스트림이 수신된 경우에도 3D 바이노럴 신호를 출력할 수 있다.Although a downmix audio bitstream coded by the BSAC, HE-AAC, or aacPlus technique has been described above, it is only an embodiment. Even when a downmix audio bitstream encoded by the AAC technique is received, the 3D binaural A signal can be output.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
도 1은 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 도시한 도면이다.FIG. 1 is a block diagram of a 3D binaural filtering system according to an embodiment of the present invention. Referring to FIG.
도 2는 본 발명의 일 실시예에 따른 3D 바이노럴 필터링 시스템의 구성을 설명하기 위해 제공되는 흐름도이다.2 is a flowchart illustrating a configuration of a 3D binaural filtering system according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명>Description of the Related Art
110: 스테레오 디코더110: Stereo decoder
130: 부가정보 분석부130: Additional information analysis section
150: 바이노럴 필터링부150: binaural filtering unit
Claims (8)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20090024328 | 2009-03-23 | ||
| KR1020090024328 | 2009-03-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100106193A KR20100106193A (en) | 2010-10-01 |
| KR101599554B1 true KR101599554B1 (en) | 2016-03-03 |
Family
ID=43128603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090116054A KR101599554B1 (en) | 2009-03-23 | 2009-11-27 | 3 3d binaural filtering system using spectral audio coding side information and the method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101599554B1 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190079993A (en) | 2017-12-28 | 2019-07-08 | 박승민 | Method for authoring stereoscopic contents and application thereof |
| KR20190082055A (en) | 2018-08-22 | 2019-07-09 | 박승민 | Method for providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190081163A (en) | 2017-12-29 | 2019-07-09 | 박승민 | Method for selective providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190081160A (en) | 2017-12-29 | 2019-07-09 | 박승민 | Method for providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190082056A (en) | 2018-08-22 | 2019-07-09 | 박승민 | Method for selective providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190105950A (en) | 2018-03-07 | 2019-09-18 | 박승민 | Method for providing binaural sound effect and application thereof |
| KR20190112563A (en) | 2018-03-26 | 2019-10-07 | 박승민 | Method for editing stereo audio during playback and playback edited stereo audio based on pro-distortion and application thereof |
| KR102036010B1 (en) | 2018-05-15 | 2019-10-25 | 박승민 | Method for emotional calling using binaural sound and apparatus thereof |
| KR102048739B1 (en) | 2018-06-01 | 2019-11-26 | 박승민 | Method for providing emotional sound using binarual technology and method for providing commercial speaker preset for providing emotional sound and apparatus thereof |
| KR20190137672A (en) | 2018-12-24 | 2019-12-11 | 박승민 | Method for providing commercial speaker preset for providing emotional sound using binarual technology and apparatus thereof |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8319912B2 (en) | 2010-10-28 | 2012-11-27 | Lg Electronics Inc. | Display apparatus |
| WO2012057570A2 (en) | 2010-10-28 | 2012-05-03 | Lg Electronics Inc. | Display apparatus |
| US10075795B2 (en) | 2013-04-19 | 2018-09-11 | Electronics And Telecommunications Research Institute | Apparatus and method for processing multi-channel audio signal |
| CN108806704B (en) | 2013-04-19 | 2023-06-06 | 韩国电子通信研究院 | Multi-channel audio signal processing device and method |
| US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100658222B1 (en) * | 2004-08-09 | 2006-12-15 | 한국전자통신연구원 | 3 Dimension Digital Multimedia Broadcasting System |
| WO2008048042A1 (en) * | 2006-10-17 | 2008-04-24 | Electronics And Telecommunications Research Institute | Apparatus and method for transmitting or replaying multi-channel audio signal |
-
2009
- 2009-11-27 KR KR1020090116054A patent/KR101599554B1/en active IP Right Grant
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190079993A (en) | 2017-12-28 | 2019-07-08 | 박승민 | Method for authoring stereoscopic contents and application thereof |
| KR20190081163A (en) | 2017-12-29 | 2019-07-09 | 박승민 | Method for selective providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190081160A (en) | 2017-12-29 | 2019-07-09 | 박승민 | Method for providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190105950A (en) | 2018-03-07 | 2019-09-18 | 박승민 | Method for providing binaural sound effect and application thereof |
| KR20190112563A (en) | 2018-03-26 | 2019-10-07 | 박승민 | Method for editing stereo audio during playback and playback edited stereo audio based on pro-distortion and application thereof |
| KR102036010B1 (en) | 2018-05-15 | 2019-10-25 | 박승민 | Method for emotional calling using binaural sound and apparatus thereof |
| KR102048739B1 (en) | 2018-06-01 | 2019-11-26 | 박승민 | Method for providing emotional sound using binarual technology and method for providing commercial speaker preset for providing emotional sound and apparatus thereof |
| KR20190082055A (en) | 2018-08-22 | 2019-07-09 | 박승민 | Method for providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190082056A (en) | 2018-08-22 | 2019-07-09 | 박승민 | Method for selective providing advertisement using stereoscopic content authoring tool and application thereof |
| KR20190137672A (en) | 2018-12-24 | 2019-12-11 | 박승민 | Method for providing commercial speaker preset for providing emotional sound using binarual technology and apparatus thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100106193A (en) | 2010-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101599554B1 (en) | 3 3d binaural filtering system using spectral audio coding side information and the method thereof | |
| KR101117336B1 (en) | Audio signal encoder and audio signal decoder | |
| ES2899286T3 (en) | Temporal Envelope Configuration for Audio Spatial Encoding Using Frequency Domain Wiener Filtering | |
| KR101283783B1 (en) | Apparatus for high quality multichannel audio coding and decoding | |
| AU2005226536B2 (en) | Frequency-based coding of audio channels in parametric multi-channel coding systems | |
| AU2005328264B2 (en) | Near-transparent or transparent multi-channel encoder/decoder scheme | |
| EP2048658B1 (en) | Stereo audio encoding device, stereo audio decoding device, and method thereof | |
| US8848926B2 (en) | Apparatus and method for restoring multi-channel audio signal using HE-AAC decoder and MPEG surround decoder | |
| JP7196268B2 (en) | Encoding of multi-channel audio content | |
| KR20070005477A (en) | Method for compensation of energy levels in specific channel signals for multi-channel audio coding and aparatuses for encoding and deconding multi-channel audio signals performancing the compensation | |
| EP1779385B1 (en) | Method and apparatus for encoding and decoding multi-channel audio signal using virtual source location information | |
| KR20070003594A (en) | Method of clipping sound restoration for multi-channel audio signal | |
| KR20070003544A (en) | Clipping restoration by arbitrary downmix gain | |
| KR20060109297A (en) | Method and apparatus for encoding/decoding audio signal | |
| US20110311063A1 (en) | Embedding and extracting ancillary data | |
| JP6686015B2 (en) | Parametric mixing of audio signals | |
| KR100891666B1 (en) | Apparatus for processing audio signal and method thereof | |
| JP2007187749A (en) | New device for supporting head-related transfer function in multi-channel coding | |
| Lindblom et al. | Flexible sum-difference stereo coding based on time-aligned signal components | |
| US20240153512A1 (en) | Audio codec with adaptive gain control of downmixed signals | |
| RU2802677C2 (en) | Methods and devices for forming or decoding a bitstream containing immersive audio signals | |
| KR101383915B1 (en) | A digital audio receiver having united speech and audio decoder | |
| KR102191260B1 (en) | Apparatus and method for encoding/decoding of audio using multi channel audio codec and multi object audio codec | |
| CN113948094A (en) | Audio encoding and decoding method and related device and computer readable storage medium | |
| KR20070076363A (en) | Method of encoding and decoding an audio signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190124 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200225 Year of fee payment: 5 |