KR101137361B1 - 오디오 신호 처리 방법 및 장치 - Google Patents
오디오 신호 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR101137361B1 KR101137361B1 KR1020100007635A KR20100007635A KR101137361B1 KR 101137361 B1 KR101137361 B1 KR 101137361B1 KR 1020100007635 A KR1020100007635 A KR 1020100007635A KR 20100007635 A KR20100007635 A KR 20100007635A KR 101137361 B1 KR101137361 B1 KR 101137361B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- level guide
- downmix
- level
- mix
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims description 38
- 238000004091 panning Methods 0.000 claims abstract description 36
- 238000003672 processing method Methods 0.000 claims abstract description 11
- 238000009877 rendering Methods 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 description 92
- 238000010586 diagram Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
본 발명은, 복수개의 오브젝트들을 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림을 수신하는 단계; 레벨 가이드 정보가 상기 비트스트림에 존재하는지를 가리키는 모든 프레임에 대한 레벨 가이드 플래 정보를 획득하는 단계; 상기 레벨 가이드 플래그 정보에 기초하여, 상기 비트스트림으로부터 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 적용되는 오브젝트 레벨의 제한을 표시하는 레벨 가이드 정보를 획득하는 단계; 믹스 정보를 수신하는 단계; 상기 레벨 가이드 정보 및 상기 다운믹스 게인 정보에 근거하여, 상기 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성하는 단계; 및 상기 변형된 믹스 정보 및 상기 오브젝트 정보에 근거하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성하는 단계;를 포함하되, 상기 믹스 정보는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 오브젝트 레벨을 이용하여 추정되고, 상기 오브젝트 정보 및 상기 다운믹스 게인 정보는 상기 다운믹스 신호가 생성될 때 결정되는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다. 상기 오디오 신호 처리 방법을 이용하여 오브젝트들의 패닝과 게인을 조절하는 경우, 패닝 또는 게인 조절에 대한 제한범위를 제공함으로써, 패닝 또는 게인 조절에 따라 음질이 왜곡되는 것을 방지할 수 있다.
Description
본 발명은 오디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 디지털 매체, 방송 신호 등으로 수신된 오디오 신호를 처리할 수 있는 오디오 신호의 처리 방법 및 장치에 관한 것이다.
복수 개의 오브젝트들을 포함하는 오디오 신호를, 모노 또는 스트레오 신호로 다운믹스하여 다운믹스 신호를 생성하는 과정에 있어서, 오브젝트들로부터 파라미터들이 추출된다. 이러한 파라미터들은 다운믹스된 신호를 디코딩하는 과정에서 사용될 수 있는데, 각각의 오브젝트들의 패닝(panning)과 게인(gain)은 파라미터들 이외에 유저의 선택에 의하여 제어될 수 있다.
다운믹스 신호에 포함되어 있는 오브젝트들의 패닝과 게인은 사용자의 선택에 의하여 제어될 수 있다. 그러나, 사용자에 의하여 오브젝트들의 패닝과 게인, 특히 오브젝트들의 게인이 제어되는 경우, 게인 제어에 대한 가이드라인(guideline) 또는 제한(limitation)이 없어 게인 제어에 따라 음질이 왜곡될 수 있다.
또한, 사용자가 오브젝트들의 패닝과 게인을 조절할 경우, 유저 인터페이스(user interface) 상으로 패닝과 게인 제어에 대한 가이드라인 또는 제한을 확인할 필요성이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 유저의 선택을 기반으로 오브젝트들의 패닝과 게인을 제어할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은, 유저의 선택을 기반으로 오브젝트들의 패닝과 게인을 제어하되, 일정 제한 범위 내에서만 제어할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는데 있다.
본 발명의 또 다른 목적은, 유저의 선택을 기반으로 오브젝트들의 패닝과 게인을 조절할 경우, 유저 인터페이스 상으로 패닝과 게인 제어에 대한 가이드라인 또는 제한을 확인할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는데 있다.
본 발명은, 복수개의 오브젝트들을 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림을 수신하는 단계; 레벨 가이드 정보가 상기 비트스트림에 존재하는지를 가리키는 모든 프레임에 대한 레벨 가이드 플래 정보를 획득하는 단계; 상기 레벨 가이드 플래그 정보에 기초하여, 상기 비트스트림으로부터 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 적용되는 오브젝트 레벨의 제한을 표시하는 레벨 가이드 정보를 획득하는 단계; 믹스 정보를 수신하는 단계; 상기 레벨 가이드 정보 및 상기 다운믹스 게인 정보에 근거하여, 상기 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성하는 단계; 및 상기 변형된 믹스 정보 및 상기 오브젝트 정보에 근거하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성하는 단계;를 포함하되, 상기 믹스 정보는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 오브젝트 레벨을 이용하여 추정되고, 상기 오브젝트 정보 및 상기 다운믹스 게인 정보는 상기 다운믹스 신호가 생성될 때 결정되는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 본 발명에서, 상기 모든 프레임에 대한 레벨 가이드 플래그 정보는 상기 비트스트림의 헤더로부터 획득되는 것을 특징으로 한다.
또한, 본 발명은, 레벨 가이드 정보가 상기 비트스트림의 프레임 데이터 내에 존재하는지를 가리키는 각각의 프레임에 대한 레벨 가이드 정보를 획득하는 단계를 더 포함하되, 상기 레벨 가이드 정보는 상기 비트스트림의 프레임 데이터로부터 획득되고, 상기 프레임 데이터에 상응하는 현재 프레임에에 적용되는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 본 발명에서, 상기 레벨 가이드 정보는 고정 비트 길이(fixed bit length)에 대응하고, 모든 프레임들에 대한 상기 레벨 가이드 정보는 양자화 테이블(quantization)을 이용하여 레벨 가이드 파라미터로 역양자화되고, 상기 변형된 믹스 정보는 상기 레벨 가이드 파라미터 및 상기 다운믹스 게인 정보에 근거하여 상기 믹스 정보를 변형시킴으로써 생성되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보를 포함하고, 상기 다운믹싱 프로세싱 정보는 채널들의 수의 변화없이 상기 다운믹스 신호를 처리하고, 상기 멀티채널 정보는 채널 레벨 차이, 채널간 채널 상관 및 채널 예측 계수 중 적어도 하나를 포함하고, 상기 믹스 정보는 상기 적어도 하나의 오브젝트의 전부 또는 일부에 대한 추가적인 오브젝트 패닝을 이용하여 추정되며, 상기 다운믹스 게인 정보는, 상기 다운믹스 신호가 생성되는 경우, 적어도 하나의 오브젝트 적용되는 게인 값인 것을 특징으로 한다.
또한, 본 발명은, 상기 다운믹스 신호 및 상기 다운믹스 프로세싱 정보를 이용하여 프로세싱된 다운믹스 신호를 생성하는 단계; 및 상기 프로세싱된 다운믹스 신호 및 상기 멀티채널 정보에 근거하여 멀티채널 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법을 제공한다.
또한, 본 발명에서, 상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 모두에 적용된 공통된 제한을 포함하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 각각에 적용된 개별적인 제한을 포함하는 것을 특징으로 한다.
또한, 본 발명은, 복수개의 오브젝들을 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림을 수신하는 수신 유닛; 레벨 가이드 정보가 상기 비트스트림에 존재하는지를 가리키는 모든 프레임에 대한 레벨 가이드 플래 정보를 획득하고, 상기 레벨 가이드 플래그 정보에 기초하여, 상기 비트스트림으로부터 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 적용되는 오브젝트 레벨의 제한을 표시하는 레벨 가이드 정보를 획득하는 추출 유닛; 믹스 정보를 수신하고, 상기 레벨 가이드 정보 및 상기 다운믹스 게인 정보에 근거하여, 상기 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성하는 렌더링 제어 유닛; 및 상기 변형된 믹스 정보 및 상기 오브젝트 정보에 근거하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성하는 정보 생성 유닛;을 포함하되, 상기 믹스 정보는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 오브젝트 레벨을 이용하여 추정되고, 상기 오브젝트 정보 및 상기 다운믹스 게인 정보는 상기 다운믹스 신호가 생성될 때 결정되는 것을 특징으로 하는 오디오 신호 처리 장치를 제공한다.
또한, 본 발명에서, 상기 모든 프레임에 대한 레벨 가이드 플래그 정보는 상기 비트스트림의 헤더로부터 획득되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 추출 유닛은, 레벨 가이드 정보가 상기 비트스트림의 프레임 데이터 내에 존재하는지를 가리키는 각각의 프레임에 대한 레벨 가이드 정보를 더 획득하고, 상기 레벨 가이드 정보는 상기 비트스트림의 프레임 데이터로부터 획득되고, 상기 프레임 데이터에 상응하는 현재 프레임에에 적용되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 레벨 가이드 정보는 고정 비트 길이에 대응하고, 상기 추출 유닛은 양자화 테이블을 이용하여 모든 프레임들에 대한 상기 레벨 가이드 정보를 레벨 가이드 파라미터로 역양자화하고, 상기 변형된 믹스 정보는 상기 레벨 가이드 파라미터 및 상기 다운믹스 게인 정보에 근거하여 상기 믹스 정보를 변형시킴으로써 생성되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보를 포함하고, 상기 다운믹싱 프로세싱 정보는 채널들의 수의 변화없이 상기 다운믹스 신호를 처리하고, 상기 멀티채널 정보는 채널 레벨 차이, 채널간 채널 상관 및 채널 예측 계수 중 적어도 하나를 포함하고, 상기 믹스 정보는 상기 적어도 하나의 오브젝트의 전부 또는 일부에 대한 추가적인 오브젝트 패닝을 이용하여 추정되며, 상기 다운믹스 게인 정보는, 상기 다운믹스 신호가 생성되는 경우, 적어도 하나의 오브젝트 적용되는 게인값인 것을 특징으로 한다.
또한, 본 발명에서, 상기 다운믹스 신호 및 상기 다운믹스 프로세싱 정보를 이용하여 프로세싱된 다운믹스 신호를 생성하는 다운믹스 프로세싱 유닛; 및 상기 프로세싱된 다운믹스 신호 및 상기 멀티채널 정보에 근거하여 멀티채널 신호를 생성하는 멀티채널 디코더를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 모두에 적용된 공통된 제한을 포함하는 것을 특징으로 한다.
또한, 본 발명에서, 상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 각각에 적용된 개별적인 제한을 포함하는 것을 특징으로 한다.
본 발명은 다음과 같은 효과와 이점을 제공한다.
우선, 유저의 선택을 기반으로 오브젝트들의 패닝과 게인을 조절할 수 있다.
둘째, 오브젝트들의 패닝과 게인을 조절하는 경우, 패닝 또는 게인 조절에 대한 제한범위를 제공함으로써, 패닝 또는 게인 조절에 따라 음질이 왜곡되는 것을 방지할 수 있다.
셋째, 오브젝트들의 패닝과 게인을 조절하는 경우, 유저 인터페이스 상에 패닝과 게인 제어에 대한 가이드라인 또는 제한을 표시함으로써, 패닝 또는 게인 조절에 따라 음질이 왜곡되는 것을 미연에 방지할 수 있다.
넷째, 오브젝트들의 패닝과 게인을 조절하는 경우, 조절된 결과를 유저 인터페이상에 표시함으로써 유저가 원했던 오브젝트들의 패닝과 게인 조절이 실제로 이루어졌는지는 확인할 수 있다.
도 1은 본 발명의 일실시예에 따른 오디오 신호 처리 장치를 나타낸다.
도 2는 본 발명의 실시예에 따른 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 오디오 신호 처리 장치에 포함된 추출 유닛의 구성을 상세히 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 그래픽 유저 인터페이스를 이용한 레벨 가이드 정보를 디스플레이하는 방법을 나타낸다.
도 6은 본 발명의 또 다른 실시예에 따른 그래픽 유저 인터페이스를 이용한 레벨 가이드 정보를 디스플레이하는 방법을 나타낸다.
도 7은 레벨 가이드 정보가 비트스트림상에서 존재하는지 여부 및 위치를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 오디오 신호 처리 방법의 흐름도를 나타낸다.
도 9는 본 발명의 일실시예에 따른 레벨 가이드 정보에 대응하는 표시를 디스플레이하는 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 10 은 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 변형된 믹스 정보에 대응하는 표시를 디스플레이하는 방법을 나타낸다.
도 12는 본 발명의 또다른 실시예에 따른 변형된 믹스 정보에 대응하는 표시를 디스플레이하는 방법을 나타낸다.
도 13은 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 14는 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 상세히 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 오디오 신호 처리 장치에 포함된 추출 유닛의 구성을 상세히 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 그래픽 유저 인터페이스를 이용한 레벨 가이드 정보를 디스플레이하는 방법을 나타낸다.
도 6은 본 발명의 또 다른 실시예에 따른 그래픽 유저 인터페이스를 이용한 레벨 가이드 정보를 디스플레이하는 방법을 나타낸다.
도 7은 레벨 가이드 정보가 비트스트림상에서 존재하는지 여부 및 위치를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 오디오 신호 처리 방법의 흐름도를 나타낸다.
도 9는 본 발명의 일실시예에 따른 레벨 가이드 정보에 대응하는 표시를 디스플레이하는 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 10 은 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 변형된 믹스 정보에 대응하는 표시를 디스플레이하는 방법을 나타낸다.
도 12는 본 발명의 또다른 실시예에 따른 변형된 믹스 정보에 대응하는 표시를 디스플레이하는 방법을 나타낸다.
도 13은 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 14는 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 상세히 나타낸 블록도이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
특히, 본 명세서에서 정보(information)란, 값(values), 파라미터(parameters), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 그 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 오디오 신호 처리 장치를 나타낸다.
도 1을 참조하면, 본 발명의 일실시예에 따른 오디오 신호 처리 장치(100)는 크게 다운믹싱부(110), 오브젝트 인코더(120)를 포함한다. 복수 개의 오브젝트들은 다운믹싱부(110)에 입력되어 모노 또는 스테레오 다운믹스 신호가 생성된다.
또한, 복수 개의 오브젝트들은 오브젝트 인코더(120)는 오브젝트의 속성을 나타내는 오브젝트 정보(object information)를 생성한다. 상기 오브젝트 정보(object information)는 오브젝트의 레벨을 나타내는 오브젝트 레벨 정보(object level information), 및 오브젝트 간의 상관성을 나타내는 오브젝트 상관 정보(object correlation information)를 포함한다. 상기 다운믹스 신호가 스테레오 신호인 경우, 상기 다운믹스 신호의 각 채널(예: 좌측 채널 및 우측 채널)에 상기 오브젝트들이 포함된 정도를 나타내는 게인들의 차이를 나타내는 오브젝트 게인 비율(object gain ratio) 를 포함한다. 또한, 오브젝트 인코더(120)는 상기 다운믹스 신호 생성시 상기 오브젝트에 적용되는 게인을 나타내는 오브젝트 게인 정보(DMG)를 추가적으로 생성할 수 있다. 나아가 오브젝트 인코더(120)는 레벨 가이드 정보를 더 생성할 수도 있는데, 레벨 가이드 정보에 대해서는 추후 도 2와 함께 구체적으로 후술하고자 한다.
오브젝트 인코더(120)는 오브젝트 정보, 다운믹스 게인 정보 및 레벨 가이드 정보 등을 멀티플렉싱함으로써 하나의 비트스트림을 생성할 수 있다. 한편, 멀티플렉서(미도시)는 다운믹싱 유닛(110)에서 생성된 다운믹스 신호와 상기 오브젝트 인코더(120)에서 생성된 파라미터(오브젝트 정보 등)을 멀티플렉싱함으로써, 하나의 비트스트림을 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 오디오 신호 처리 장치의 구성을 나타낸 블록도이다. 도 2를 참조하면, 우선, 본 발명의 실시예에 따른 오디오 신호 처리 장치(200)는 수신부(210), 추출부(220), 렌더링 제어 유닛(230), 오브젝트 디코더(240)를 포함하며, 멀티채널 디코더(270)를 더 포함할 수 있다, 상기 오브젝트 디코더(240)는 다운믹스 프로세싱 유닛(250) 및 정보 생성 유닛(260)을 포함할 수 있다.
수신부(210)는 오디오 신호 부호화 장치(100)로부터 적어도 하나의 오브젝트를 포함하는 다운믹스 신호(DMX)를 수신하고, 오브젝트 정보를 포함하는 비트스트림을 수신한다. 비트스트림은 다운믹스 게인 정보 및 레벨 가이드 정보를 더 포함할 수 있다. 본 발명은 다운믹스 신호와 상기 비트스트림을 별도로 수신하는 것으로 도시하였으나 이는 본 발명의 이해를 돕고자 하는 것이며, 상술한 바와 같이 다운믹스 신호 및 상기 비트스트림이 멀티플렉싱된 별도의 비트스트림에 포함되어 전송될 수 있다.
추출부(220)는 수신부(210)로부터 전송받은 비트스트림으로부터 다운믹스 게인 정보 및 레벨 가이드 정보를 추출하며, 추출부에 대한 자세한 설명은 도 3을 참조하여 후술한다.
렌더링 제어 유닛(230)은 사용자 인터페이스(미도시)로부터 믹스 정보(MXI)를 수신하고, 상기 추출부(220)로부터 추출된 다운믹스 게인 정보 및 레벨 가이드 정보를 수신한다. 이에 대해서는 도 3에서 구체적으로 기재될 것이다.
믹스 정보란, 오브젝트 위치 정보(object position information), 오브젝트 게인 정보(object gain information), 및 재생환경 정보(playback configuration information) 등을 근거로 생성된 정보로서, 오브젝트 위치 정보란, 사용자가 각 오브젝트의 위치 또는 패닝을 제어하기 위해 입력한 정보이며, 오브젝트 게인 정보란, 사용자가 각 오브젝트의 게인을 제어하기 위해 입력한 정보이며, 재생환경 정보란, 스피커의 개수, 스피커의 위치, 앰비언트 정보(스피커의 가상 위치) 등을 포함하는 정보로서 사용자로부터 입력받을 수도 있고, 미리 저장되어 있을 수도 있으며, 다른 장치로부터 수신할 수도 있다.
다운믹스 게인 정보는 다운믹스 신호 생성시 오브젝트에 적용되는 게인을 나타낸다. 한편 레벨 가이드 정보는 다운믹스 신호에 포함된 다수의 오브젝트들 중에서, 적어도 하나의 오브젝트에 대해서 재생 레벨 제한(limitation of reproduction level) 또는 오브젝트 레벨 제한(limitation of object level)을 표시하는 정보이다. 오브젝트 레벨 제한은 오브젝트 레벨이 과도하게 강조되거나(boost) 과도하게 억압되는(surppress) 경우 음질이 왜곡되는 것을 방지하기 위해 필요하다. 오브젝트 레벨 제한은 특정 값 이상으로 강조되지 않도록 하기 위한 강조 제한값 및, 특정 값 이상으로 억압되지 않도록 하기 위한 억압 제한값을 포함할 수 있다.
상기 레벨 가이드 정보는 상기 오디오 신호 처리 장치(200)가 스스로 생성할 수도 있고, 유저가 미리 설정할 수도 있지만, 본 발명에서는 인코더에서 생성된 경우에 대해서 설명하고자 한다.
상기 렌더링 제어 유닛(230)은 상기 레벨 가이드 정보 및 다운믹스 게인 정보에 근거하여 상기 믹스 정보를 변형(modifying)함으로써 변형된 믹스 정보(modified mix information)를 생성한다. 이 과정에 대한 구체적인 설명은 도 11과 함께 후술하고자 한다. 상기 변형된 믹스 정보는 정보 생성 유닛(260)에 입력된다.
한편, 도 2를 참조하면 믹스 정보는 유저에 의해 입력되는 경우를 예로 들어 설명하고 있으나, 본 발명은 이에 한정되지 아니한다. 즉, 믹스 정보는 비트스트림에 포함되어 수신부(210)에 입력되는 정보일 수도 있고, 외부에서 별도로 입력된 정보일 수 있다.
한편, 정보 생성 유닛(260)은 변형된 믹스 정보 및 오브젝트 정보 등에 근거하여 다운믹스 프로세싱 정보(downmix processing information) 및 멀티 채널 정보(multi-channel information) 중 적어도 하나를 생성할 수 있다. 구체적으로, 디코딩 모드일 경우(예: 출력 모드가 모노, 스테레오, 3D (바이노널) 출력인 경우, 정보 생성 유닛(260)은 다운믹스 프로세싱 정보를 생성하고, 트랜스코딩 모드인 경우(예: 출력모드가 멀티채널 모드인 경우) 멀티채널 정보를 더 생성할 수 있다.
여기서 다운믹스 프로세싱 정보(DPI)는 다운믹스를 처리하기 위한 정보로서 상기 디코딩 모드인 경우, 오브젝트의 레벨 또는 패닝을 조절함으로써 최종적인 출력(예: 시간 도메인의 PCM 신호)을 생성하기 위한 정보이다. 또한, 다운믹스 프로세싱 정보(DPI)는, 상기 트랜스코딩 모드인 경우, 스테레오 다운믹스 신호에 대해서, 채널 수 변화 없이, 오브젝트 패닝을 조절하기 위한 정보일 수 있다. 트랜스코딩 모드이면서, 모노 다운믹스 신호인 경우 다운믹스 프로세싱 정보(DPI)는 생성되지 않고, 다운믹스 신호(DMX)가 다운믹스 프로세싱 유닛(250)을 바이패싱할 수 있다.
한편, 상기 멀티채널 정보는 다운믹스 신호(DMX) 또는 프로세싱된 다운믹스 신호를 업믹싱하기 위한 정보로서, 채널 레벨 정보(channel level information), 채널 상관 정보(channel correlation information) 및 채널 예측 계수(channel prediction coefficient)를 포함할 수 있다.
다운믹스 프로세싱 유닛(250)은 정보 생성 유닛(260)에서 다운믹스 처리 정보(DPI)가 생성된 경우 상기 다운믹스 신호 및 상기 다운믹스 처리 정보(DPI)를 이용하여 프로세싱된 다운믹스 신호를 생성될 수 있다. 만약, 앞서 언급한 디코딩 모드인 경우 프로세싱된 다운믹스 신호는 시간 도메인의 PCM 신호일 수 있다. 이 경우 프로세싱된 다운믹스 신호는 멀티채널 디코더(270)로 전달되지 않고, 최종 출력신호로서 스피커 등의 출력 장치로 전달된다.
상기 멀티채널 정보는 멀티채널 디코더(multi-channel decoder)(270)로 출력되며 멀티채널 디코더(270)는 프로세싱된 다운믹스 신호(processed downmix signal)(트랜스코딩 모드 및 스테레오 다운믹스인 경우) 또는 다운믹스 신호(DMX)(트랜스코딩 모드 및 모노 다운믹스인 경우)와 멀티채널 정보(MI)를 이용하여 업믹싱을 수행하며 최종적으로 멀티채널 신호를 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 오디오 신호 처리 장치에 포함된 추출 유닛의 구성을 상세히 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 오디오 신호 처리 장치에 포함된 추출부(220)는, 도 2에서 설명한 추출부(220)의 세부적인 구성의 일예를 나타낸 것이며, 다운믹스 게인 정보 추출 유닛(222), 오브젝트 정보 추출 유닛(224), 레벨 가이드 플래그 획득 유닛(226), 레벨 가이드 정보 획득 유닛(228) 및 렌더링 제어 유닛(230)을 포함한다.
상기 다운믹스 게인 정보 추출 유닛(222)은 도 2에서 설명된 수신부(210)로부터 수신된 비트스트림으로부터 다운믹스 게인 정보를 추출하는데, 여기서 다운믹스 게인 정보란 앞서 언급된 바와 같이 다운믹스 신호에 포함된 각 오브젝트에 적용되는 게인을 나타내는 정보이다.
상기 오브젝트 정보 추출 유닛(224)은 상기 수신된 비트스트림으로부터 오브젝트 정보를 추출하는데, 오브젝트 정보는 앞서 언급한 바와 같이 오브젝트 레벨 정보, 오브젝트 상관 정보 등을 포함할 수 있다.
레벨 가이드 플래그 획득 유닛(226)은 상기 수신된 비트스트림 로부터 레벨 가이드 플래그를 획득한다. 구체적으로, 레벨 가이드 플래그는 전체 프레임에 대한 레벨 가이드 플래그 및 각 프레임에 대한 레벨 가이드 플래그를 포함할 수 있다. 전체 프레임에 대한 레벨 가이드 플래그는 상기 비트스트림 내에 레벨 가이드 정보가 포함되어 있는지를 가리키는데 이 플래그는 비트스트림의 헤더에 포함될 수 있다. 한편, 각 프레임에 대한 레벨 가이드 플래그 정보는, 비트스트림의 프레임 데이터에 레벨 가이드 정보가 존재하는지 여부를 나타내는 것으로서, 이 플래그 또한 비트스트림의 헤더에 포함될 수 있다.
상기 레벨 가이드 플래그 획득 유닛(226)에 의해 획득된 플래그에 따라서, 비트스트림이 레벨 가이드 정보 획득 유닛(228)으로 유입된다. 상기 플래그가 상기 수신된 비트스트림 내에 레벨 가이드 정보가 포함되어 있는지를 가리키는 경우(예컨대, 상기 플래그의 값이 1인 경우), 비트스트림은 레벨 가이드 정보 획득 유닛(228)으로 유입된다. 반대로 상기 플래그가 상기 수신된 비트스트림 내에 레벨 가이드 정보가 포함되지 않는 것을 가리키는 경우(예컨대 상기 플래그 정보의 값이 0인 경우), 상기 수신된 비트스트림은 레벨 가이드 정보 획득 유닛(228)을 거치지 않는다.
레벨 가이드 정보 획득 유닛(228)은 레벨 가이드 플래그가 상기 비트스트림에 레벨 가이드 정보가 포함되어 있음을 지시하는 경우, 비트스트림으로부터 레벨 가이드 정보를 획득한다. 레벨 가이드 정보는 전체 프레임에 대응할 수도 있고, 특정 프레임에 대응할 수도 있는데, 이에 대한 구체적인 설명은 추후 도 7과 함께 후술하고자 한다.
렌더링 제어 유닛(230)은 다운믹스 게인정보 획득 유닛(222)으로부터 다운믹스 게인 정보를, 사용자 인터페이스(미도시)로부터 믹스 정보(mix information)를, 상기 레벨 가이드 정보 획득 유닛(228)으로부터 레벨 가이드 정보를 획득하고, 상기 렌더링 제어 유닛(230)은 상기 레벨 가이드 정보에 근거하여 상기 믹스 정보를 변형(modifying)함으로써 변형된 믹스 정보(modified mix information)를 생성하고 상기 변형된 믹스 정보는 도 2를 참조하여 설명된 정보 생성 유닛(260)에 전달된다.
상기 레벨 가이드 정보는 적어도 하나의 오브젝트에 대한 재생 레벨 제한(limitation of reproduction level)을 표시하는 정보로써, 예컨대 오브젝트의 게인 조절에 대한 범위를 포함할 수 있으며, 이때 상기 범위는 상한값 또는 하한값 등의 제한값으로 결정될 수 있으나, 본 발명은 이에 한정되지 아니한다.
상기 제한값은 특정 오브젝트에 대한 절대적인 게인값에 해당할 수 있다. 예컨대, 2개의 오브젝트(오브젝트 A, B)를 포함하는 오브젝트 신호에 있어서 오브젝트 A(vocal 오브젝트)의 게인 조절 범위는 6dB 이내가 되고, 오브젝트 B(guitar 오브젝트)의 게인 조절 범위는 12dB이내가 될 수 있다. 이에 대해서는 도 8에서 구체적으로 기재될 것이다.
도 4는 본 발명의 일실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 일실시예에 다른 오디오 신호 처리 장치(400)는 도 2를 참조하여 설명된 오디오 신호 처리 장치(200)에 그래픽 유저 인터페이스(480)를 더 포함할 수 있다.
도 4의 수신부(410), 추출부(420), 렌더링 제어 유닛(430), 오브젝트 디코더(440), 다운믹스 프로세싱 유닛(450), 정보 생성 유닛(460) 및 멀티채널 디코더(470)는 동일한 명칭을 갖는 도 2의 구성 요소와 기능과 구성이 동일하므로, 이에 관한 상세한 설명은 생략한다.
그래픽 유저 인터페이스(480)는 적어도 하나의 오브젝트의 레벨을 조절하기 위한 유저 입력을 수신하고, 유저 입력에 의해 추정된 믹스 정보는 렌더링 제어 유닛(430)에 입력된다.
상술한 바와 같이, 렌더링 제어 유닛(430)은 레벨 가이드 정보에 근거하여 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성할 수 있으며, 상기 그래픽 유저 인터페이스(480)는 상기 변형된 믹스 정보에 대응하는 표시(representation)를 디스플레이할 수 있다.
그래픽 유저 인터페이스(480)를 통한 유저 입력 및 변형된 믹스 정보의 표시 방법에 대해서는 도 11에서 구체적으로 기재될 것이다.
도 5는 본 발명의 일실시예에 따른 그래픽 유저 인터페이스를 이용한 레벨 가이드 정보를 디스플레이하는 방법을 나타낸다.
도 5를 참조하면, 그래픽 유저 인터페이스는, 다운믹스 신호 내에 포함된 복수 개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 렌더링 제한을 가리키는 레벨 가이드 정보에 대응하는 표시를 디스플레이하며, 상기 표시는 상기 렌더링 제한을 표시하는 비추천된 렌더링 영역(non-recommended rendering region)과 상기 렌더링 제한을 제외한 렌더링 범위를 표시하는 추천된 렌더링 영역(recommended rendering region)을 포함할 수 있다.
또한, 상기 그래픽 유저 인터페이스는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 레벨을 제어하기 위한 상기 유저 입력을 수신하기 위한 레벨 페이더(level fader)를 추가적으로 디스플레이하고, 상기 레벨 가이드 정보에 대응하는 상기 표시는 상기 레벨 페이더와 관련되어 디스플레이될 수 있다.
상기 레벨 페이더는 직선 또는 커브를 따라 동작되고, 상기 비추천된 렌더링 영역 및 상기 추천된 렌더링 영역은 상기 직선 또는 커브 상에 디스플레이될 수 있으며, 상기 레벨 페이더는 상기 추천된 렌더링 영역 내에서 동작될 수 있다.
도 5는 레벨 페이더가 직선을 따라 동작되는 것과 관련하여 설명하고 있으나, 본 발명은 이에 한정되지 아니한다. 한편, 상기 추천된 렌더링 영역의 형태는 상기 비추천된 렌더링 영역의 형태와 상이하다. 즉, 예컨대, 상기 형태는 색깔, 밝기, 질감 및 무늬 중 적어도 하나를 포함할 수 있다.
예컨대, 도 5에 도시된 바와 같이, 베이스(bass) 오브젝트를 예로 들어 설명하면, 추천된 렌더링 영역(520)을 녹색 라인(green line)으로 표시하고, 비추천된 렌더링 영역(510)을 빨간색 라인(red line)으로 표시할 수 있다.
본 발명은 색깔을 기준으로 하여 상기 추천된 렌더링 영역과 비추천된 렌더링 영역의 형태를 구별하고 있으나, 본 발명은 이에 한정되지 않으며, 상술한 바와 같이 밝기, 질감 및 무늬 등과 같이 시각적으로 식별이 가능한 경우를 모두 포함할 수 있다.
유저는 오브젝트들의 패닝과 게인을 조절하는 경우, 특히 게인을 조절하는 경우, 레벨 가이드 정보에 대응하는 표시에 근거하여 게인 조절에 대한 제한범위를 확인할 수 있게 됨으로써, 패닝 또는 게인 조절에 따라 음질이 왜곡되는 것을 미연에 방지할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 그래픽 유저 인터페이스를 이용한 레벨 가이드 정보를 디스플레이하는 방법을 나타낸다.
도 5에 도시된 디스플레이 방법은 게인 조절에 대한 제한 범위를 제공할 뿐, 그 범위를 벗어나지 못하도록 제한하는 것은 아니므로 유저의 게인 조절에 따라 음질이 왜곡되는 경우가 발생할 소지가 있다.
도 6은 상기와 같은 문제점을 방지하고자 레벨 페이더의 상한값과 하한값을 표시하고 유저가 레벨 가이드 정보에 근거한 게인 조절에 대한 제한 범위를 벗어날 수 없도록 함으로써 유저의 게인 조절에 따라 음질이 왜곡되는 경우가 발생할 수 없도록 할 수 있다.
상술한 유저 입력에 의해 추정되는 믹스 정보는 수학식 1과 같은 렌더링 매트릭스의 형태로 입력될 수 있다. 수학식 1의 렌더링 매트릭스에서 각 행은 입력신호의 각 채널을 의미하며, 각 열은 입력 신호에 포함되어 있는 각각의 오브젝트를 의미한다. 따라서, 각 오브젝트가 각 채널에서 어느 정도의 크기로 출력될지가 상기 매트릭스를 통해 결정될 수 있다.
즉, 렌더링 매트릭스에서 N개의 오브젝트 중 i번째 오브젝트에 대한 출력은 수학식 2로 추정될 수 있다.
[수학식 1]
[수학식 2]
레벨 가이드 정보는 적어도 하나의 오브젝트에 대한 재생 레벨 제한(limitation of reproduction level)을 표시하는 정보이고, 다운믹스 게인 정보에 대한 상대적인 값이므로 상술한 변형된 믹스 정보는 수학식 3으로 표현될 수 있다.
[수학식 3]
여기서, 
이며, 
는 양자화되지 않은 다운믹스 게인 정보이다.
최종적으로, 변형된 믹스 정보는 수학식 4의 렌더링 매트릭스로 유도될 수 있다.
[수학식 4]
또한, 믹스 정보가 매트릭스가 아닌 레벨값 (
) 및 패닝값(
)의 형태로 입력되는 경우, 믹스 정보를 가이드 또는 제한하는 것은 쉽다. 즉, 변형된 믹스 정보가 입력 신호에 포함된 오브젝트에 대한 출력 레벨 기대치에 상응하는 전체 에너지 를 포함한다고 가정하면, 믹스 정보를 변형하는 프로세스는 수학식 5로 표현될 수 있다.
[수학식 5]
나아가, 가이드 또는 제한된 레벨값 (
) 및 입력된 패닝값 (
)로 수학식 1의 매트릭스가 계산될 수 있다.
본 발명의 오디오 신호는 인코더에서 복수개의 오브젝트들을 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림으로 인코딩되고, 이들은 하나의 비트스트림 또는 별개의 비트스트림의 형태로 디코더에 전송된다.
한편, 상기 비트스트림은 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 렌더링 제한을 가리키는 레벨 가이드 정보 및 상기 레벨 가이드 정보가 상기 비트스트림에 존재하는지를 가리키는 레벨 가이드 플래그 정보를 포함할 수 있다.
상기 레벨 가이드 플래그는 표 1과 같은 형태의 신택스를 통해 전송될 수 있다.
| Level guide flag (bsExtlndRgiFlag) |
Meaning |
| 0 | 레벨 가이드 정보가 비트스트림 내에 존재 |
| 1 | 레벨 가이드 정보가 비트스트림 내에 존재하지 않음 |
한편, 레벨 가이드 정보는 모든 오브젝트에 공통되는 하나의 정보로서 전송되거나 오브젝트 각각에 적용되는 정보로서 전송될 수 있다.
표 2는 레벨 가이드 정보가 각 오브젝트마다 적용되는 정보인지를 가리키는 레벨 가이드 속성 정보(level guide attribute information) 및 그 의미를 나타낸다.
| Level guide attribute information (bsIndRgiFlag) |
Meaning |
| 0 | 레벨 가이드 정보가 모든 오브젝트에 공통 |
| 1 | 레벨 가이드 정보가 각 오브젝트마다 적용 |
한편, 레벨 가이드 정보는 비트스트림의 구성정보 영역(configuration information region)에 포함되어 뒤에 위치하는 모든 데이터 영역들에 공통적으로 적용되거나, 복수개의 데이터 영역(data region) 각각에 포함되어 각 데이터 영역에 개별적으로 적용될 수 있다.
도 7은 레벨 가이드 정보가 비트스트림상에서 존재하는지 여부 및 위치를 나타내는 도면이다. 도 7을 참조하면서 레벨 가이드 정보의 위치 및 대상에 대해서 설명하고자 한다. 도 7의 (a) 및 (b)는 레벨 가이드 정보가 비트스트림에 포함되는 경우에 해당하고, 도 7의 (c)는 레벨 가이드 정보가 비트스트림에 존재하지 않는 경우에 해당한다.
우선, 도 7의 (a)를 참조하면, 레벨 가이드 정보는 비트스트림의 구성정보 영역에 포함되어 있는데, 구성정보 영역이란, 샘플링 레이트, 주파수 해상도, 프레임 길이 등 프레임에 공통적으로 적용되는 정보를 포함하는 헤더에 해당할 수 있다. 이 경우, 구성정보 영역에서 추출된 레벨 가이드 정보는 다운믹스 신호의 모든 데이터 영역들 또는 모든 프레임들에 동일하게 적용될 수 있다.
반면, 도 7의 (b)를 참조하면, 레벨 가이드 정보는 데이터 영역 또는 프레임 데이터에 포함되어 있다. 이 경우, 데이터 영역에서 추출된 레벨 가이드 정보는 상기 프레임 데이터에 대응하는 현재 프레임에 적용되어 오브젝트들의 패닝과 게인을 조정하는 데 제한을 둘 수 있다.
레벨 가이드 정보가 비트스트림의 구성정보 영역에 포함되어 있는 경우, 레벨 가이드 정보는 고정(static)이라고 지칭할 수 있다. 이 경우, 상기 레벨 가이드 정보는 모든 데이터 영역들에 공통적으로 동일하게 적용된다.
반면, 레벨 가이드 정보가 비트스트림의 데이터 영역에 포함되어 있는 경우, 레벨 가이드 정보는 변동(dynamic)이라고 지칭할 수 있다. 이 경우, 상기 레벨 가이드 정보는 해당 데이터 영역에만 적용되어 대응하는 데이터 영역의 다운믹스 신호에 포함되어 있는 오브젝트들의 패닝과 게인을 조절할 수 있다.
본 발명에 따른 오디오 신호 처리 방법에서 레벨 가이드 정보는 오브젝트들의 게인을 조절하기 위한 제한 범위(상한값 또는 하한값)를 정하는 정보일 수 있다. 즉, 레벨 가이드 정보가 3dB인 경우, 3dB까지 오브젝트의 게인을 조절할 수 있다. 레벨 가이드 정보가 12dB인 경우, 12dB까지 오브젝트의 게인을 조절할 수 있다.
그러나, 본 발명에 따른 레벨 가이드 정보는 오브젝트들의 게인을 조절하기 위한 제한 범위를 정하는 정보에 한정되는 것은 아니다. 예컨대, 본 발명에 따른 레벨 가이드 정보는 오브젝트들의 게인을 조절하기 위한 유저 입력(user input)에 대한 일정한 비율로 정해지는 정보일 수 있다.
즉, 유저가 10dB 만큼 오브젝트의 게인을 조절하는 경우, 10dB 모두에 제한을 주거나 이 중 50%에 해당하는 5dB만큼 제한을 주거나 아무런 제한을 주지 않는 경우가 있을 수 있다.
상술한 바와 같이, 본 발명에 따른 레벨 가이드 정보는 그 의미에 있어서는 다소 차이가 있을 수 있으나 오브젝트들의 게인을 조절하는데 있어 제한을 둔다는 점에 있어서는 동일한 목적을 가지고 있다. 따라서, 본 발명은 상술한 것에 한정되는 것은 아니다.
도 8은 본 발명의 일실시예에 따른 오디오 신호 처리 방법의 흐름도를 나타낸다.
도 8을 참조하면, 본 발명의 일실시예에 따른 오디오 신호 처리 방법은 먼저, 복수 개의 오브젝트를 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림을 수신한다(S810).
이후, 레벨 가이드 정보가 상기 비트스트림 내에 존재하는지를 가리키는 모든 프레임에 대한 레벨 가이드 플래그 정보를 획득한다(S815).
이후, 상기 모든 프레임에 대한 레벨 가이드 플래그가 1인 경우(S820), 비트스트림으로부터 레벨 가이드 정보를 획득하고(S825), 믹스 정보를 획득한다(S830).
이후, 획득한 레벨 가이드 정보 및 다운믹스 게인 정보에 기초하여 믹스 정보를 변형하고(S835), 변형된 믹스 정보 및 상기 오브젝트 정보에 기초하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성한다(S855).
한편, 레벨 가이드 플래그가 1이 아닌 경우(S820), 레벨 가이드 정보가 상기 비트스트림의 프레임 데이터 내에 존재하는지를 가리키는 각각의 프레임에 대한 레벨 가이드 플래그 정보를 획득하고, 상기 각각의 프레임에 대한 레벨 가이드 플래그 정보에 근거하여 상기 비트스트림의 프레임 데이터로부터 레벨 가이드 정보를 획득하고(S840), 믹스 정보를 획득한다(S845).
한편, 상기 레벨 가이드 정보는 프레임 데이터에 상응하는 현재 프레임에 적용된다.
이후, 획득한 레벨 가이드 정보 및 다운믹스 게인 정보에 기초하여 믹스 정보를 변형하고(S850), 변형된 믹스 정보 및 상기 오브젝트 정보에 기초하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성한다(S855).
도 9는 본 발명의 일실시예에 따른 레벨 가이드 정보에 대응하는 표시를 디스플레이하는 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 레벨 가이드 정보에 대응하는 표시를 디스플레이하는 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치(900)는 도 4를 참조하여 설명된 오디오 신호 처리 장치와 그 구성이 동일하다.
따라서, 도 9의 수신부(910), 추출부(920), 오브젝트 디코더(940), 다운믹스 프로세싱 유닛(950), 정보 생성 유닛(960) 및 멀티채널 디코더(970)는 동일한 명칭을 갖는 도 4의 구성 요소와 구성이 동일하므로, 이에 관한 상세한 설명은 생략한다.
도 5를 참조하여 상술된 봐와 같이, 그래픽 유저 인터페이스(980)는 다운믹스 신호 내에 포함된 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 렌더링 제한을 가리키는 레벨 가이드 정보에 대응하는 표시를 디스플레이할 수 있다. 또한, 추출부(920)로부터 수신한 레벨 가이드 정보를 디스플레이할 수 있다.
그러나, 상기 오디어 신호 처리 장치(900)는 도 4에 도시된 오디오 신호 처리 장치(400) 내에 포함된 렌더링 제어 유닛(430)을 포함하지 않으므로, 상기 상기 그래픽 유저 인터페이스(980)는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 레벨을 제어하기 위한 유저 입력을 수신하고, 상기 유저 입력에 의해 추정된 믹스 정보를 정보 생성 유닛(960)에 출력할 뿐 렌더링 제어 유닛(430)을 통하여 상기 레벨 가이드 정보에 근거하여 상기 믹스 정보를 변형할 수는 없다.
도 10 은 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 10을 참조하면, 본 발명의 또다른 실시예에 따른 오디오 신호 처리 장치(1000)는 도 4를 참조하여 설명된 오디오 신호 처리 장치와 그 구성이 동일하다.
따라서, 도 10의 수신부(1010), 추출부(1020), 렌더링 제어 유닛(1030), 오브젝트 디코더(1040), 다운믹스 프로세싱 유닛(1050), 정보 생성 유닛(1060), 멀티채널 디코더(1070) 및 그래픽 유저 인터페이스(1080)는 동일한 명칭을 갖는 도 4의 구성 요소와 구성이 동일하므로, 이에 관한 상세한 설명은 생략한다.
도 10을 참조하면, 그래픽 유저 인터페이스(1080)는 적어도 하나의 오브젝트의 레벨을 조절하기 위한 유저 입력을 수신하고, 유저 입력에 의해 추정된 믹스 정보는 렌더링 제어 유닛(1030)에 입력된다.
한편, 렌더링 제어 유닛(1030)은 레벨 가이드 정보에 근거하여 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성할 수 있으며, 상기 그래픽 유저 인터페이스(1080)는 상기 변형된 믹스 정보에 대응하는 표시를 디스플레이할 수 있다.
도 11은 본 발명의 일실시예에 따른 변형된 믹스 정보에 대응하는 표시를 디스플레이하는 방법을 나타낸다.
도 5를 참조하여 설명된 바와 같이, 본 발명에 따른 그래픽 유저 인터페이스는 렌더링 제한을 표시하는 비추천된 렌더링 영역(1100)과 렌더링 제한을 제외한 렌더링 범위를 표시하는 추천된 렌더링 영역(1110)을 표시를 디스플레이할 수 있으며, 또한 다운믹스 신호에 포함된 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 레벨을 제어하기 위한 유저 입력을 수신하기 위한 레벨 페이더를 디스플레이할 수 있다.
도 11a에 도시된 바와 같이, 유저가 기타(guitar) 오브젝트에 대한 레벨을 추천된 렌더링 영역(1110)을 벗어나 비추천 렌더링 영역(1100)까지 레벨을 조절할 경우, 도 11b에 도시된 바와 같이, 상기 기타 오브젝트에 대한 유저 입력이 렌더링 제한에 대응하므로, 즉 렌더링 제한 범위를 벗어나므로 상기 유저 입력이 렌더링 범위 내로 변환될 수 있다.
즉, 유저 입력에 근거하여 생성된 믹스 정보가 +50dB이며, 레벨 가이드 정보(예컨대, 추천된 렌더링 영역과 비추천된 렌더링 영역을 나타내는 정보)에 근거하여 상기 믹스 정보를 변형한 결과, 추천된 렌더링 영역(30dB)까지 레벨 페이더의 반발 움직임(rebound movement)이 발생될 수 있다.한편, 2개의 오브젝트(오브젝트 A, B)를 포함하는 다운믹스 신호에 있어 예컨대, 오브젝트 A를 +20dB 수행하는 믹스 정보를 입력하고, 레벨 가이드 정보 및 내부 연산에 근거하여 오브젝트 A에 대한 출력이 +20dB인 경우에는, 변형된 믹스 정보와 입력된 믹스 정보는 동일하다.
그래픽 유저 인터페이스 측면에서는 예컨대, 도 5를 참조하면, 오브젝트 A(예컨대, 기타)에 해당하는 레벨 페이더(level fader)를 +20dB까지 올린 결과가 그대로 나타난다.
유저가 오브젝트 B(예컨대, vocal)을 -10dB 수행하는 믹스 정보를 추가로 입력하면, 오브젝트 A와 오브젝트 B는 원래 상태보다 30dB 차이가 나도록 설정될 것이다. 만약, 이것이 레벨 가이드 정보에서 정해진 제한 범위를 초과한다면, 내부적으로는 상기 믹스 정보가 변형된 믹스 정보(modified mix information)가 생성되어 적용될 것이다(예를 들어, 변형된 믹스 정보는 오브젝트 A를 +15dB, 오브젝트 B를 -5dB로 변경할 수 있음).
상술한 바와 같이, 유저 입력(user input)을 이용하여 추정된 믹스 정보(오브젝트 A: +20dB, 오브젝트 B: -10dB) 및 이에 근거하여 GUI로 표현된 값과 실제로 적용된 변형된 믹스 정보(오브젝트 A: +15dB, 오브젝트 B: -5dB)는 불일치하게 된다.
따라서 변형된 믹스 정보를 유저에게 표시하여 실제로 적용된 믹스 정보와 유저 입력에 의해 추정된 믹스 정보를 일치시켜줄 필요가 있다.
도 12는 본 발명의 또다른 실시예에 따른 변형된 믹스 정보에 대응하는 표시를 디스플레이하는 방법을 나타낸다.
도 12를 참조하면, 유저는 오브젝트 A(예컨대, 기타)에 해당하는 레벨 페이더를 +20dB까지 올리고, 오브젝트 B(예컨대, 보컬)을 -10dB 수행하는 믹스 정보를 입력하였다.
이 경우, 오브젝트 A와 오브젝트 B는 원래 상태보다 30dB 차이가 나도록 설정될 것이다. 만약, 이것이 레벨 가이드 정보에서 정해진 제한 범위를 초과한다면, 내부적으로는 상기 믹스 정보가 변형된 믹스 정보가 생성되어 적용될 것이다(예를 들어, 변형된 믹스 정보는 오브젝트 A를 +15dB, 오브젝트 B를 -5dB로 변경할 수 있음)
이때, 상기 변형된 믹스 정보에 대응하는 표시를 디스플레이할 수 있다.
본 발명의 일실시예에 따른 변형된 믹스 정보를 GUI 상에 표시하는 방법은 레벨 페이더의 형태로 표시하는 방법을 이용할 수 있으나, 이에 한정되는 것은 아니다.
이때, 상기 변형된 믹스 정보에 대응하는 표시를 GUI 상에 메시지, 경고음 및 경고등의 온(on) 및 오프(off)를 이용하여 표시할 수 있다.
본 발명은 오브젝트의 레벨과 관련하여 믹스 정보를 변형하는 경우를 설명하고 있으나, 본 발명은 오브젝트의 패닝과 관련해서도 동일하게 적용될 수 있다.
도 13은 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 나타낸 블록도이다.
도 13을 참조하면, 본 발명의 또다른 실시예에 따른 오디오 신호 처리 장치(1300)는 도 10을 참조하여 설명된 오디오 신호 처리 장치와 그 구성이 동일하다.
따라서, 도 13의 수신부(1310), 추출부(1320), 렌더링 제어 유닛(1330), 오브젝트 디코더(1340), 다운믹스 프로세싱 유닛(1350), 정보 생성 유닛(1360), 멀티채널 디코더(1370) 및 그래픽 유저 인터페이스(1380)는 동일한 명칭을 갖는 도 10의 구성 요소와 구성이 동일하므로, 이에 관한 상세한 설명은 생략한다.
도 13을 참조하면, 그래픽 유저 인터페이스(1380)는 적어도 하나의 오브젝트의 레벨을 조절하기 위한 유저 입력을 수신하고, 유저 입력에 의해 추정된 믹스 정보는 렌더링 제어 유닛(1330)에 입력된다.
본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치(1300)는 변형된 믹스 정보가 실제로 출력 오디오 신호의 레벨 및 패닝을 조절하는데 이용되지는 않고 화면 표시를 위해 GUI로만 표시되는 것으로 설명될 수 있다.
예컨대, 도 12를 참조하여 설명된 예로써 동일하게 설명하면 다음과 같다.
유저는 오브젝트 A(예컨대, 기타)에 해당하는 레벨 페이더를 +20dB까지 올리고, 오브젝트 B(예컨대, 보컬)을 -10dB 수행하는 믹스 정보를 입력하였다.
이 경우, 오브젝트 A와 오브젝트 B는 원래 상태보다 30dB 차이가 나도록 설정될 것이다. 만약, 이것이 레벨 가이드 정보에서 정해진 제한 범위를 초과하는 경우라도, 내부적으로는 상기 믹스 정보가 그대로 적용될 것이다. 다만, 변형된 믹스 정보(예컨대, 오브젝트 A를 +15dB, 오브젝트 B를 -5dB로 변경)를 GUI 상에 레벨 페이더의 형태 또는 텍스트 형태(문자나 숫자)로 표시함으로써, 유저가 이를 확인할 수 있도록 할 수 있다.
도 14는 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치의 구성을 상세히 나타낸 블록도이다.
도 14를 참조하면, 본 발명의 또다른 실시예에 따른 그래픽 유저 인터페이스를 포함하는 오디오 신호 처리 장치(1400)는 도 13을 참조하여 설명된 오디오 신호 처리 장치(1300)와 그 구성이 거의 동일하다.
따라서, 도 14의 수신부(1410), 추출부(1420), 오브젝트 디코더(1440), 다운믹스 프로세싱 유닛(1450), 정보 생성 유닛(1460) 및 멀티채널 디코더(1470)는 동일한 명칭을 갖는 도 13의 구성 요소와 구성이 동일하므로, 이에 관한 상세한 설명은 생략한다.
렌더링 제어 유닛(1430)은 믹스 정보를 수신하고, 상기 믹스 정보 및 리미팅 모드(limiting mode) 또는 넌리미팅 모드(non-limiting mode)를 선택하기 위한 모드 선택 정보에 따라 상기 레벨 가이드 정보에 근거하여 믹스 정보를 변형함으로써 생성된 상기 변형된 믹스 정보 중 하나를 출력할 수 있다.
따라서, 유저는 그래픽 유저 인터페이스(1480)에 모드 선택 정보(Mode selection information)를 입력할 수 있고, 이를 통해, 렌더링 제어 유닛(1480)은 믹스 정보 또는 상기 변형된 믹스 정보 중 하나를 정보 생성 유닛(1460)에 출력하고, 상기 정보 생성 유닛(1460)은 상기 믹스 정보 및 상기 변형된 믹스 정보 중 하나와 오브젝트 정보에 근거하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성할 수 있다.
한편, 상술한 바와 같이, 본 발명에 따른 오디오 처리 장치(1400)에 포함된 그래픽 유저 인터페이스(1480)는 변형된 믹스 정보에 대응하는 표시를 디스플레이할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명은 오디오 신호를 인코딩하고 디코딩하는 데 적용될 수 있다.
Claims (16)
- 복수개의 오브젝트들을 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림을 수신하는 단계;
레벨 가이드 정보가 상기 비트스트림에 존재하는지를 가리키는 레벨 가이드 플래그 정보를 획득하는 단계;
상기 레벨 가이드 플래그 정보에 기초하여, 상기 비트스트림으로부터 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 적용되는 오브젝트 레벨의 제한을 표시하는 레벨 가이드 정보를 획득하는 단계;
믹스 정보를 수신하는 단계;
상기 레벨 가이드 정보 및 상기 다운믹스 게인 정보에 근거하여, 상기 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성하는 단계; 및
상기 변형된 믹스 정보 및 상기 오브젝트 정보에 근거하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성하는 단계를 포함하되,
상기 믹스 정보는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 오브젝트 레벨의 제어를 위해 이용되는 것이고, 상기 오브젝트 정보 및 상기 다운믹스 게인 정보는 상기 다운믹스 신호가 생성될 때 결정되는 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
상기 레벨 가이드 플래그 정보는 상기 비트스트림의 헤더로부터 획득되는 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
레벨 가이드 정보가 상기 비트스트림의 프레임 데이터 내에 존재하는지를 가리키는 각각의 프레임에 대한 레벨 가이드 정보를 획득하는 단계를 더 포함하되,
상기 레벨 가이드 정보는 상기 비트스트림의 프레임 데이터로부터 획득되고, 상기 프레임 데이터에 상응하는 현재 프레임에 적용되는 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
상기 레벨 가이드 정보는 고정 비트 길이(fixed bit length)에 대응하고, 상기 레벨 가이드 정보는 양자화 테이블을 이용하여 레벨 가이드 파라미터로 역양자화되고, 상기 변형된 믹스 정보는 상기 레벨 가이드 파라미터 및 상기 다운믹스 게인 정보에 근거하여 상기 믹스 정보를 변형시킴으로써 생성되는 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보를 포함하고,
상기 다운믹스 프로세싱 정보는 채널들의 수의 변화없이 상기 다운믹스 신호를 처리하고, 상기 멀티채널 정보는 채널 레벨 차이, 채널간 채널 상관 및 채널 예측 계수 중 적어도 하나를 포함하고, 상기 믹스 정보는 상기 적어도 하나의 오브젝트의 전부 또는 일부에 대한 오브젝트 패닝을 더 제어하는 데 이용되는 것이며,
상기 다운믹스 게인 정보는, 상기 다운믹스 신호가 생성되는 경우, 적어도 하나의 오브젝트 적용되는 게인값인 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
상기 다운믹스 신호 및 상기 다운믹스 프로세싱 정보를 이용하여 프로세싱된 다운믹스 신호를 생성하는 단계; 및
상기 프로세싱된 다운믹스 신호 및 상기 멀티채널 정보에 근거하여 멀티채널 신호를 생성하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 모두에 적용된 공통된 제한을 포함하는 것을 특징으로 하는 오디오 신호 처리 방법. - 제1항에 있어서,
상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 각각에 적용된 개별적인 제한을 포함하는 것을 특징으로 하는 오디오 신호 처리방법. - 복수개의 오브젝트들을 포함하는 다운믹스 신호와, 오브젝트 정보 및 다운믹스 게인 정보를 포함하는 비트스트림을 수신하는 수신 유닛;
레벨 가이드 정보가 상기 비트스트림에 존재하는지를 가리키는 레벨 가이드 플래그 정보를 획득하고, 상기 레벨 가이드 플래그 정보에 기초하여, 상기 비트스트림으로부터 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 적용되는 오브젝트 레벨의 제한을 표시하는 레벨 가이드 정보를 획득하는 추출 유닛;
믹스 정보를 수신하고, 상기 레벨 가이드 정보 및 상기 다운믹스 게인 정보에 근거하여, 상기 믹스 정보를 변형함으로써 변형된 믹스 정보를 생성하는 렌더링 제어 유닛; 및
상기 변형된 믹스 정보 및 상기 오브젝트 정보에 근거하여 다운믹스 프로세싱 정보 및 멀티채널 정보 중 적어도 하나를 생성하는 정보 생성 유닛을 포함하되,
상기 믹스 정보는 상기 복수개의 오브젝트들 중 적어도 하나의 오브젝트에 대한 오브젝트 레벨의 제어를 위해 이용되는 것이고, 상기 오브젝트 정보 및 상기 다운믹스 게인 정보는 상기 다운믹스 신호가 생성될 때 결정되는 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 레벨 가이드 플래그 정보는 상기 비트스트림의 헤더로부터 획득되는 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 추출 유닛은, 레벨 가이드 정보가 상기 비트스트림의 프레임 데이터 내에 존재하는지를 가리키는 각각의 프레임에 대한 레벨 가이드 정보를 더 획득하고, 상기 레벨 가이드 정보는 상기 비트스트림의 프레임 데이터로부터 획득되고, 상기 프레임 데이터에 상응하는 현재 프레임에 적용되는 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 레벨 가이드 정보는 고정 비트 길이에 대응하고, 상기 추출 유닛은 양자화 테이블을 이용하여 상기 레벨 가이드 정보를 레벨 가이드 파라미터로 역양자화하고, 상기 변형된 믹스 정보는 상기 레벨 가이드 파라미터 및 상기 다운믹스 게인 정보에 근거하여 상기 믹스 정보를 변형시킴으로써 생성되는 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 오브젝트 정보는 오브젝트 레벨 정보 및 오브젝트 상관 정보를 포함하고,
상기 다운믹스 프로세싱 정보는 채널들의 수의 변화없이 상기 다운믹스 신호를 처리하고, 상기 멀티채널 정보는 채널 레벨 차이, 채널간 채널 상관 및 채널 예측 계수 중 적어도 하나를 포함하고, 상기 믹스 정보는 상기 적어도 하나의 오브젝트의 전부 또는 일부에 대한 오브젝트 패닝을 더 제어하는 데 이용되는 것이며,
상기 다운믹스 게인 정보는, 상기 다운믹스 신호가 생성되는 경우, 적어도 하나의 오브젝트 적용되는 게인값인 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 다운믹스 신호 및 상기 다운믹스 프로세싱 정보를 이용하여 프로세싱된 다운믹스 신호를 생성하는 다운믹스 프로세싱 유닛; 및,
상기 프로세싱된 다운믹스 신호 및 상기 멀티채널 정보에 근거하여 멀티채널 신호를 생성하는 멀티채널 디코더를 도 포함하는 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 모두에 적용된 공통된 제한을 포함하는 것을 특징으로 하는 오디오 신호 처리 장치. - 제9항에 있어서,
상기 레벨 가이드 정보는 상기 복수개의 오브젝트들 각각에 적용된 개별적인 제한을 포함하는 것을 특징으로 하는 오디오 신호 처리장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201080011640.2A CN102349108B (zh) | 2009-01-28 | 2010-01-28 | 解码音频信号的方法和装置 |
| US12/695,728 US8254600B2 (en) | 2009-01-28 | 2010-01-28 | Method and an apparatus for decoding an audio signal |
| EP10736021.6A EP2392007A4 (en) | 2009-01-28 | 2010-01-28 | METHOD AND APPARATUS FOR DECODING AUDIO SIGNAL |
| PCT/KR2010/000526 WO2010087630A2 (en) | 2009-01-28 | 2010-01-28 | A method and an apparatus for decoding an audio signal |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14804909P | 2009-01-28 | 2009-01-28 | |
| US61/148,049 | 2009-01-28 | ||
| US26466009P | 2009-11-26 | 2009-11-26 | |
| US61/264,660 | 2009-11-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100087682A KR20100087682A (ko) | 2010-08-05 |
| KR101137361B1 true KR101137361B1 (ko) | 2012-04-26 |
Family
ID=42754138
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100007635A KR101137361B1 (ko) | 2009-01-28 | 2010-01-27 | 오디오 신호 처리 방법 및 장치 |
| KR1020100007634A KR101137360B1 (ko) | 2009-01-28 | 2010-01-27 | 오디오 신호 처리 방법 및 장치 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100007634A KR101137360B1 (ko) | 2009-01-28 | 2010-01-27 | 오디오 신호 처리 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8254600B2 (ko) |
| EP (1) | EP2392007A4 (ko) |
| KR (2) | KR101137361B1 (ko) |
| CN (1) | CN102349108B (ko) |
| WO (1) | WO2010087630A2 (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2011011399A (es) * | 2008-10-17 | 2012-06-27 | Univ Friedrich Alexander Er | Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto. |
| US20100324915A1 (en) * | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
| US10049683B2 (en) * | 2013-10-21 | 2018-08-14 | Dolby International Ab | Audio encoder and decoder |
| JP6319653B2 (ja) * | 2014-03-24 | 2018-05-09 | ヤマハ株式会社 | 信号処理装置およびプログラム |
| US10373711B2 (en) | 2014-06-04 | 2019-08-06 | Nuance Communications, Inc. | Medical coding system with CDI clarification request notification |
| US10754925B2 (en) | 2014-06-04 | 2020-08-25 | Nuance Communications, Inc. | NLU training with user corrections to engine annotations |
| EP3067885A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding a multi-channel signal |
| CN106303897A (zh) | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
| CA3149389A1 (en) * | 2015-06-17 | 2016-12-22 | Sony Corporation | Transmitting device, transmitting method, receiving device, and receiving method |
| US10366687B2 (en) * | 2015-12-10 | 2019-07-30 | Nuance Communications, Inc. | System and methods for adapting neural network acoustic models |
| US10949602B2 (en) | 2016-09-20 | 2021-03-16 | Nuance Communications, Inc. | Sequencing medical codes methods and apparatus |
| CN108665902B (zh) | 2017-03-31 | 2020-12-01 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
| US11133091B2 (en) | 2017-07-21 | 2021-09-28 | Nuance Communications, Inc. | Automated analysis system and method |
| US11024424B2 (en) | 2017-10-27 | 2021-06-01 | Nuance Communications, Inc. | Computer assisted coding systems and methods |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080205657A1 (en) | 2006-12-07 | 2008-08-28 | Lg Electronics, Inc. | Method and an Apparatus for Decoding an Audio Signal |
| US20080269929A1 (en) | 2006-11-15 | 2008-10-30 | Lg Electronics Inc. | Method and an Apparatus for Decoding an Audio Signal |
| US20090006106A1 (en) | 2006-01-19 | 2009-01-01 | Lg Electronics Inc. | Method and Apparatus for Decoding a Signal |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7272782B2 (en) * | 2003-12-19 | 2007-09-18 | Backweb Technologies, Inc. | System and method for providing offline web application, page, and form access in a networked environment |
| EP1691348A1 (en) * | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| WO2007083958A1 (en) * | 2006-01-19 | 2007-07-26 | Lg Electronics Inc. | Method and apparatus for decoding a signal |
| WO2008039041A1 (en) * | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| CN101652810B (zh) * | 2006-09-29 | 2012-04-11 | Lg电子株式会社 | 用于处理混合信号的装置及其方法 |
| KR100891667B1 (ko) * | 2006-10-13 | 2009-04-02 | 엘지전자 주식회사 | 믹스 신호의 처리 방법 및 장치 |
| CN101627425A (zh) * | 2007-02-13 | 2010-01-13 | Lg电子株式会社 | 用于处理音频信号的装置和方法 |
-
2010
- 2010-01-27 KR KR1020100007635A patent/KR101137361B1/ko active IP Right Grant
- 2010-01-27 KR KR1020100007634A patent/KR101137360B1/ko active IP Right Grant
- 2010-01-28 WO PCT/KR2010/000526 patent/WO2010087630A2/en active Application Filing
- 2010-01-28 US US12/695,728 patent/US8254600B2/en active Active
- 2010-01-28 CN CN201080011640.2A patent/CN102349108B/zh active Active
- 2010-01-28 EP EP10736021.6A patent/EP2392007A4/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090006106A1 (en) | 2006-01-19 | 2009-01-01 | Lg Electronics Inc. | Method and Apparatus for Decoding a Signal |
| US20080269929A1 (en) | 2006-11-15 | 2008-10-30 | Lg Electronics Inc. | Method and an Apparatus for Decoding an Audio Signal |
| US20080205657A1 (en) | 2006-12-07 | 2008-08-28 | Lg Electronics, Inc. | Method and an Apparatus for Decoding an Audio Signal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101137360B1 (ko) | 2012-04-19 |
| WO2010087630A2 (en) | 2010-08-05 |
| US8254600B2 (en) | 2012-08-28 |
| KR20100087682A (ko) | 2010-08-05 |
| KR20100087681A (ko) | 2010-08-05 |
| EP2392007A4 (en) | 2016-05-11 |
| CN102349108A (zh) | 2012-02-08 |
| WO2010087630A3 (en) | 2010-10-21 |
| EP2392007A2 (en) | 2011-12-07 |
| CN102349108B (zh) | 2014-08-20 |
| US20100198602A1 (en) | 2010-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101137361B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
| US9373333B2 (en) | Method and apparatus for processing an audio signal | |
| JP5249354B2 (ja) | オーディオ信号の処理方法及び装置 | |
| US9042559B2 (en) | Apparatus for processing an audio signal and method thereof | |
| US8175295B2 (en) | Method and an apparatus for processing an audio signal | |
| US8255821B2 (en) | Method and an apparatus for decoding an audio signal | |
| WO2008100068A1 (en) | A method and an apparatus for processing an audio signal | |
| JP2011519223A (ja) | オーディオ信号の処理方法及び装置 | |
| US8340798B2 (en) | Method and an apparatus for processing an audio signal | |
| WO2024076810A1 (en) | Methods, apparatus and systems for performing perceptually motivated gain control | |
| EP2111062B1 (en) | A method and an apparatus for processing an audio signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160324 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170314 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180314 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190314 Year of fee payment: 8 |