KR101783962B1 - 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 - Google Patents
3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 Download PDFInfo
- Publication number
- KR101783962B1 KR101783962B1 KR1020120060523A KR20120060523A KR101783962B1 KR 101783962 B1 KR101783962 B1 KR 101783962B1 KR 1020120060523 A KR1020120060523 A KR 1020120060523A KR 20120060523 A KR20120060523 A KR 20120060523A KR 101783962 B1 KR101783962 B1 KR 101783962B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- delete delete
- signal
- object signal
- parameter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Abstract
멀티 채널의 3차원 오브젝트 신호가 믹싱된 멀티 채널의 3차원 오디오 신호를 부호화하는 방법에 있어서, 3차원 오브젝트 신호의 채널별 게인값(gain value)을 기초로, 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 획득하는 단계; 및 3차원 오디오 신호 및 위치 파라미터를 부호화하는 단계를 포함하는 것을 특징으로 하는 본 발명의 일 실시예에 따른 부호화 방법이 개시된다.
Description
본 발명은 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 3차원 오디오 신호에 적용된 입체감을 유지하면서 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치에 관한 것이다.
최근, 3D 영상의 시장이 성장하면서 3D 오디오에 대한 수요도 증가하고 있다. 3D 오디오는 청취자에게 청취자가 해당 오디오가 생성된 장소에 위치하고 있는 것과 같은 현실감을 준다.
3D 오디오는 엔지니어에 의해 인위적으로 생성될 수 있다. 구체적으로, 엔지니어는 복수의 오브젝트 중 입체감을 적용하고자 하는 오브젝트를 선택하여 3차원 효과가 적용되도록 멀티 채널에 패닝(panning)하고, 멀티 채널에 패닝된 오브젝트를 다른 오브젝트들과 믹싱(mixing)하여 3차원 오디오 신호를 생성할 수 있다.
오디오 신호가 부호화되거나 복호화되더라도 오디오 신호에 적용된 입체감이 유지되도록 하는 다양한 기술이 제시되고 있다. 이러한 종래 기술은 5.1채널로 생성된 3차원 오디오 신호가 부호화 및 복호화 단계를 거쳐 5.1채널과 상이한 채널의 스피커를 통해 재생되는 경우, 3차원 오디오 신호의 입체감을 정확하게 유지하지 못한다는 문제점이 있다.
본 발명의 일 실시예에 따른 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치는 3차원 오디오 신호에 적용된 입체감이 정확하게 유지되도록 하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 부호화 방법은,
멀티 채널의 3차원 오브젝트 신호가 믹싱된 멀티 채널의 3차원 오디오 신호를 부호화하는 방법에 있어서, 상기 3차원 오브젝트 신호의 채널별 게인값(gain value)을 기초로, 상기 멀티 채널의 스피커 레이아웃 상에서의 상기 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 획득하는 단계; 및 상기 3차원 오디오 신호 및 상기 위치 파라미터를 부호화하는 단계를 포함할 수 있다.
상기 부호화 방법은, 상기 3차원 오디오 신호와 상기 3차원 오브젝트 신호 사이의 상관 관계를 나타내는 공간 파라미터(spatial parameter)를 획득하는 단계를 더 포함하되, 상기 부호화하는 단계는, 상기 공간 파라미터를 부호화하는 단계를 포함할 수 있다.
상기 부호화하는 단계는, 상기 3차원 오디오 신호를 포함하는 제 1 비트스트림 및 상기 위치 파라미터를 포함하는 제 2 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 부호화하는 단계는, 상기 공간 파라미터를 포함하는 제 3 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 부호화 방법은, 상기 멀티 채널의 3차원 오디오 신호의 채널간 상관관계를 나타내는 채널 파라미터를 획득하는 단계를 더 포함하되, 상기 부호화하는 단계는, 상기 채널 파라미터를 포함하는 제 4 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 부호화 방법은, 사용자 입력에 기초하여, 복수의 오브젝트 신호 중 적어도 하나의 오브젝트 신호를 상기 3차원 오브젝트 신호로 선택하는 단계; 및 상기 복수의 오브젝트 신호에서 상기 3차원 오브젝트 신호를 제외한 오브젝트 신호가 패닝된 제 1 멀티 채널 레이어 신호와, 상기 3차원 오브젝트 신호가 패닝된 제 2 멀티 채널 레이어 신호를 믹싱하여 상기 3차원 오디오 신호를 생성하는 단계를 더 포함할 수 있다.
상기 위치 파라미터를 획득하는 단계는, 상기 3차원 오브젝트 신호의 각 채널별 게인값을 추출하는 단계를 포함할 수 있다.
상기 부호화 방법은, 복수의 오브젝트 신호 중 상기 멀티 채널의 프론트(front) 채널과 서라운드(surround) 채널에 동시에 패닝(panning)된 오브젝트 신호를 상기 3차원 오브젝트 신호로 결정하는 단계를 더 포함할 수 있다.
상기 위치 파라미터는, 상기 스피커 레이아웃 상의 중심점에 대한 상기 3차원 오브젝트 신호의 거리 및 방위각 중 적어도 하나를 포함할 수 있다.
상기 위치 파라미터는, 상기 멀티 채널이 높이(height) 스피커 채널을 포함하는 경우, 상기 스피커 레이아웃의 수평면과 상기 3차원 오브젝트 신호 사이의 앙각(elevation angle)을 더 포함할 수 있다.
상기 위치 파라미터는, 상기 멀티 채널이 수평면 스피커 채널을 포함하고, 상기 3차원 오브젝트 신호가 상기 멀티 채널의 스피커 레이아웃의 수평면으로부터 소정 높이에서 출력되도록 높이 값이 설정된 경우, 상기 높이 값을 포함할 수 있다.
상기 위치 파라미터는, 상기 스피커 레이아웃 상의 중심점에 대한 상기 3차원 오브젝트 신호의 거리를 나타내는 인덱스 값을 포함할 수 있다.
상기 위치 파라미터는, 거존 벡터(gerzon vector)로 표현될 수 있다.
상기 위치 파라미터는, 상기 스피커 레이아웃 상에서의 상기 3차원 오브젝트 신호의 가상 위치, 또는 가상 위치와 가상 위치 범위를 나타낼 수 있다.
상기 위치 파라미터를 획득하는 단계는, 상기 3차원 오브젝트 신호의 기준 가상 위치를 획득하는 단계; 및 상기 3차원 오브젝트 신호에 포함된 신호들 중 가상 위치가 상기 기준 가상 위치와 상이한 신호들에 대해 위치 파라미터를 획득하는 단계를 포함할 수 있다.
상기 위치 파라미터는, 상기 신호들의 가상 위치와 상기 기준 가상 위치 사이의 차이값을 포함할 수 있다.
본 발명의 일 실시예에 따른 복호화 방법은,
복호화 장치가 3차원 오디오 신호를 복호화하는 방법에 있어서, 제 1 멀티 채널의 3차원 오브젝트 신호가 믹싱된 3차원 오디오 신호를 포함하는 제 1 비트스트림 및 상기 제 1 멀티 채널의 스피커 레이아웃 상에서의 상기 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 포함하는 제 2 비트스트림을 수신하는 단계; 상기 제 1 비트스트림 및 제 2 비트스트림으로부터 상기 3차원 오디오 신호 및 상기 위치 파라미터를 복호화하는 단계; 및 상기 위치 파라미터를 기초로 상기 3차원 오디오 신호를 변형하여 출력하는 단계를 포함할 수 있다.
상기 복호화 방법은, 상기 3차원 오디오 신호와 상기 3차원 오브젝트 신호 사이의 상관 관계를 나타내는 공간 파라미터를 포함하는 제 3 비트스트림을 수신하여, 상기 제 3 비트스트림으로부터 상기 공간 파라미터를 복호화하는 단계를 더 포함하고, 상기 3차원 오디오 신호를 변형하여 출력하는 단계는, 상기 공간 파라미터를 이용하여 상기 3차원 오디오 신호로부터 상기 3차원 오브젝트 신호를 추출하는 단계; 및 상기 위치 파라미터를 기초로 상기 3차원 오브젝트 신호와 상기 3차원 오디오 신호를 믹싱하여 출력하는 단계를 포함할 수 있다.
상기 제 1 비트스트림은, 다운믹스된 3차원 오디오 신호를 포함하고, 상기 복호화 방법은, 멀티 채널의 3차원 오디오 신호의 채널간 상관 관계를 나타내는 채널 파라미터를 포함하는 제 4 비트스트림을 수신하여 상기 제 4 비트스트림으로부터 상기 채널 파라미터를 복호화하는 단계; 및 상기 채널 파라미터를 상기 다운믹스된 3차원 오디오 신호에 적용하여 멀티 채널의 3차원 오디오 신호를 획득하는 단계를 더 포함할 수 있다.
상기 3차원 오브젝트 신호와 상기 3차원 오디오 신호를 믹싱하여 출력하는 단계는, 상기 복호화 장치가 상기 제 1 멀티 채널과 상이한 제 2 멀티 채널의 스피커를 포함하는 경우, 상기 위치 파라미터를 기초로 상기 3차원 오브젝트 신호의 채널별 게인값을 상기 제 2 멀티 채널의 스피커에 따라 재설정하는 단계를 포함할 수 있다.
상기 3차원 오브젝트 신호와 상기 3차원 오디오 신호를 믹싱하여 출력하는 단계는, 사용자로부터 상기 3차원 오브젝트 신호의 가상 위치 또는 상기 3차원 오브젝트 신호의 각 채널별 게인값을 수신하는 단계; 및 사용자로부터 수신된 상기 3차원 오브젝트 신호의 가상 위치 또는 각 채널별 게인값에 따라 상기 제 2 멀티 채널에 대한 상기 3차원 오브젝트 신호의 각 채널별 게인값을 재설정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 부호화 장치는,
멀티 채널의 3차원 오브젝트 신호가 믹싱된 멀티 채널의 3차원 오디오 신호를 부호화하는 부호화 장치에 있어서, 상기 3차원 오브젝트 신호의 채널별 게인값(gain value)을 기초로, 상기 멀티 채널의 스피커 레이아웃 상에서의 상기 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 획득하는 제 1 파라미터 획득부; 및 상기 3차원 오디오 신호 및 상기 위치 파라미터를 부호화하는 부호화부를 포함할 수 있다.
상기 부호화 장치는, 상기 3차원 오디오 신호와 상기 3차원 오브젝트 신호 사이의 상관 관계를 나타내는 공간 파라미터를 획득하는 제 2 파라미터 획득부를 더 포함하되, 상기 부호화부는, 상기 공간 파라미터를 부호화할 수 있다.
상기 부호화부는, 상기 3차원 오디오 신호를 포함하는 제 1 비트스트림 및 상기 위치 파라미터를 포함하는 제 2 비트스트림을 생성할 수 있다.
상기 부호화부는, 상기 공간 파라미터를 포함하는 제 3 비트스트림을 생성할 수 있다.
상기 부호화 장치는, 상기 멀티 채널의 3차원 오디오 신호의 채널간 상관 관계를 나타내는 채널 파라미터를 획득하는 제 3 파라미터 획득부를 더 포함하되, 상기 부호화부는, 상기 채널 파라미터를 포함하는 제 4 비트스트림을 생성할 수 있다.
상기 부호화 장치는, 사용자 입력에 기초하여, 복수의 오브젝트 신호 중 적어도 하나의 오브젝트 신호를 3차원 오브젝트 신호로 선택하는 선택부; 및 상기 복수의 오브젝트 신호에서 상기 3차원 오브젝트 신호를 제외한 오브젝트 신호가 패닝된 제 1 멀티 채널 레이어 신호와, 상기 3차원 오브젝트 신호가 패닝된 제 2 멀티 채널 레이어 신호를 믹싱하여 상기 3차원 오디오 신호를 생성하는 생성부를 더 포함할 수 있다.
제 1 파라미터 획득부는, 상기 멀티 채널에 패닝된 3차원 오브젝트 신호의 각 채널별 게인값을 추출할 수 있다.
상기 부호화 장치는, 복수의 오브젝트 신호 중 상기 멀티 채널의 프론트(front) 채널과 서라운드(surround) 채널에 동시에 패닝(panning)된 오브젝트 신호를 상기 3차원 오브젝트 신호로 결정하는 결정부를 더 포함할 수 있다.
상기 위치 파라미터는, 상기 스피커 레이아웃 상의 중심점에 대한 상기 3차원 오브젝트 신호의 거리 및 방위각 중 적어도 하나를 포함할 수 있다.
상기 위치 파라미터는, 상기 멀티 채널이 높이(height) 스피커 채널을 포함하는 경우, 상기 스피커 레이아웃의 수평면과 상기 3차원 오브젝트 신호 사이의 앙각(elevation angle)을 더 포함할 수 있다.
상기 위치 파라미터는, 상기 멀티 채널이 수평면 스피커 채널을 포함하고, 상기 3차원 오브젝트 신호가 상기 멀티 채널의 스피커 레이아웃의 수평면으로부터 소정 높이에서 출력되도록 높이 값이 설정된 경우, 상기 높이 값을 포함할 수 있다.
상기 위치 파라미터는, 상기 스피커 레이아웃 상의 중심점에 대한 상기 3차원 오브젝트 신호의 거리를 나타내는 인덱스 값을 포함할 수 있다.
상기 제 1 파라미터 획득부는, 상기 위치 파라미터를 거존 벡터(gerzon vector)로 표현할 수 있다.
상기 위치 파라미터는, 상기 스피커 레이아웃 상에서의 상기 3차원 오브젝트 신호의 가상 위치, 또는 가상 위치와 가상 위치 범위를 나타낼 수 있다.
상기 제 1 파라미터 획득부는, 상기 3차원 오브젝트 신호의 기준 가상 위치를 획득하고, 상기 3차원 오브젝트 신호에 포함된 신호들 중 가상 위치가 상기 기준 가상 위치와 상이한 신호들에 대해 위치 파라미터를 획득할 수 있다.
상기 위치 파라미터는, 상기 신호들의 가상 위치와 상기 기준 가상 위치 사이의 차이값을 포함할 수 있다.
본 발명의 일 실시예에 따른 복호화 장치는,
제 1 멀티 채널의 3차원 오브젝트 신호가 믹싱된 3차원 오디오 신호를 포함하는 제 1 비트스트림 및 상기 제 1 멀티 채널의 스피커 레이아웃 상에서의 상기 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 포함하는 제 2 비트스트림을 수신하는 수신부; 상기 제 1 비트스트림 및 제 2 비트스트림으로부터 상기 3차원 오디오 신호 및 상기 위치 파라미터를 복호화하는 복호화부; 및 상기 위치 파라미터를 이용하여 상기 3차원 오디오 신호를 변형하여 출력하는 렌더링부를 포함할 수 있다.
상기 수신부는, 상기 3차원 오디오 신호와 상기 3차원 오브젝트 신호 사이의 상관 관계를 나타내는 공간 파라미터를 포함하는 제 3 비트스트림을 수신하고, 상기 복호화 장치는, 상기 제 3 비트스트림으로부터 복호화된 상기 공간 파라미터를 이용하여 상기 3차원 오디오 신호로부터 상기 3차원 오브젝트 신호를 추출하는 추출부를 더 포함하되, 상기 렌더링부는, 상기 위치 파라미터를 기초로 상기 3차원 오브젝트 신호와 상기 3차원 오디오 신호를 믹싱하여 출력할 수 있다.
상기 렌더링부는, 상기 복호화 장치가 상기 제 1 멀티 채널과 상이한 제 2 멀티 채널의 스피커를 포함하는 경우, 상기 위치 파라미터를 기초로 상기 3차원 오브젝트 신호의 채널별 게인값을 상기 제 2 멀티 채널의 스피커에 따라 재설정할 수 있다.
상기 렌더링부는, 사용자로부터 수신된 상기 3차원 오브젝트 신호의 가상 위치 또는 상기 3차원 오브젝트 신호의 각 채널별 게인값에 따라 상기 제 2 멀티 채널에 대한 상기 3차원 오브젝트 신호의 각 채널별 게인값을 재설정할 수 있다.
상기 제 1 비트스트림은, 다운믹스된 3차원 오디오 신호를 포함하고, 상기 수신부는, 멀티 채널의 3차원 오디오 신호의 채널간 상관 관계를 나타내는 채널 파라미터를 포함하는 제 4 비트스트림을 수신하되, 상기 복호화부는, 상기 제 4 비트스트림으로부터 복호화된 상기 채널 파라미터를 상기 다운믹스된 3차원 오디오 신호에 적용하여 멀티 채널의 3차원 오디오 신호를 획득할 수 있다.
상기 부호화 방법을 실행하기 위한 프로그램이 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
상기 복호화 방법을 실행하기 위한 프로그램이 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다.
도 2는 본 발명의 다른 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다.
도 3(a) 및 도 3(b)는 본 발명의 일 또는 다른 실시예에 따른 부호화 장치에서, 부호화부의 구성을 도시하는 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다.
도 5는 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호의 가상 위치를 도시하는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 부호화 장치의 구성을 도시하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 부호화 방법의 순서를 도시하는 순서도이다.
도 8은 3차원 오디오 신호를 생성하는 방법의 순서를 도시하는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 도시하는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 복호화 장치의 구성을 도시하는 도면이다.
도 11은 본 발명의 일 또는 다른 실시예에 따른 복호화 장치에서, 복호화부의 구성을 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 복호화 방법의 순서를 도시하는 순서도이다.
도 2는 본 발명의 다른 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다.
도 3(a) 및 도 3(b)는 본 발명의 일 또는 다른 실시예에 따른 부호화 장치에서, 부호화부의 구성을 도시하는 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다.
도 5는 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호의 가상 위치를 도시하는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 부호화 장치의 구성을 도시하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 부호화 방법의 순서를 도시하는 순서도이다.
도 8은 3차원 오디오 신호를 생성하는 방법의 순서를 도시하는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 도시하는 도면이다.
도 10은 본 발명의 다른 실시예에 따른 복호화 장치의 구성을 도시하는 도면이다.
도 11은 본 발명의 일 또는 다른 실시예에 따른 복호화 장치에서, 복호화부의 구성을 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 복호화 방법의 순서를 도시하는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 실시예에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
본 명세서에서 3차원 오디오 신호 및 3차원 오브젝트 신호는 3차원 오디오 신호 및 3차원 오브젝트 신호 자체를 의미할 뿐만 아니라, 다운믹스된 3차원 오디오 신호 및 다운믹스된 3차원 오브젝트 신호를 포함한다.
도 1은 본 발명의 일 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 부호화 장치는 제 1 파라미터 획득부(110) 및 부호화부(120)를 포함할 수 있다.
제 1 파라미터 획득부(110)는 멀티 채널의 3차원 오디오 신호와 멀티 채널의 3차원 오브젝트 신호를 수신할 수 있다. 3차원 오디오 신호와 3차원 오브젝트 신호는 부호화 장치의 메모리부(미도시)에 저장된 신호일 수 있다.
3차원 오브젝트 신호는 5.1채널, 7.1채널 등의 멀티 채널로 패닝된 신호일 수 있다. 3차원 오디오 신호는 3차원 오브젝트 신호와 동일한 채널로 패닝된 신호로서, 3차원 오브젝트 신호가 믹싱된 신호일 수 있다.
제 1 파라미터 획득부(110)는 멀티 채널의 3차원 오브젝트 신호의 각 채널별 게인값을 추출한다. 제 1 파라미터 획득부(110)는 이미 추출된 3차원 오브젝트 신호의 각 채널별 게인값을 외부 구성으로부터 수신할 수도 있다.
제 1 파라미터 획득부(110)는 3차원 오브젝트 신호의 각 채널별 게인값을 기초로, 멀티 채널의 스피커 레이아웃(layout) 상에서의 상기 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 획득한다. 예를 들어, 3차원 오브젝트 신호가 5.1채널 신호인 경우, 제 1 파라미터 획득부(110)는, FC(front center) 채널, FL(front left) 채널, FR(front right) 채널, SL(surround left) 채널 및 SR(surround right) 채널의 스피커 레이아웃에 대해 3차원 오브젝트 신호가 패닝된 가상 위치를 나타내는 위치 파라미터를 획득한다. 위치 파라미터에 대해서는 도 5를 참조하여 하기에서 다시 설명된다.
부호화부(120)는 3차원 오디오 신호 및 위치 파라미터를 부호화한다. 도 3(a)는 본 발명의 일 실시예에 따른 부호화 장치에서 부호화부(120)의 구성을 도시하는 도면으로서, 제 1 부호화부(122)는 3차원 오디오 신호를 부호화하여 제 1 비트스트림을 생성할 수 있고, 제 2 부호화부(124)는 위치 파라미터를 부호화하여 제 2 비트스트림을 생성할 수도 있다.
또한, 제 1 부호화부(122)는 다운믹스된 3차원 오디오 신호를 웨이브폼(waveform) 부호화 방법(AAC, AC-3, MP3 또는 OGG 등)으로 부호화할 수 있고, 파라메트릭(parametric) 부호화 방법(Sinusoidal conding)으로 부호화할 수도 있다.
하기에서 살펴볼 바와 같이, 복호화 장치는 위치 파라미터를 이용하여 3차원 오디오 신호에 적용된 입체감을 정확하게 유지할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다. 도 2에 도시된 부호화 장치는 도 1에 도시된 부호화 장치에 비해 제 2 파라미터 획득부(130)를 더 포함할 수 있다. 도 2에는 제 2 파라미터 획득부(130)와 제 1 파라미터 획득부(110)가 물리적으로 분리된 것으로 도시되어 있지만, 제 2 파라미터 획득부(130)와 제 1 파라미터 획득부(110)가 하나의 모듈로 구성될 수 있다는 것은 당업자에게 자명하다.
제 2 파라미터 획득부(130)는 3차원 오디오 신호와 3차원 오브젝트 신호 사이의 상관 관계를 나타내는 공간 파라미터(spatial parameter)를 획득한다. 공간 파라미터는 MPEG surround에서 채널 분리를 위해 사용되는 파라미터, SAOC(spatial audio object coding)에서 오브젝트 신호의 분리를 위해 사용되는 파라미터와 같이 3차원 오디오 신호에서 3차원 오브젝트 신호를 분리하기 위한 파라미터이다. 공간 파라미터는 OLD(object level difference), NRG(absolute object energy), IOC(inter-object cross-correlation), DMG(downmix gain) 및 DCLD(downmix channel level difference) 중 적어도 하나를 포함할 수 있다.
제 2 파라미터 획득부(130)는 다운믹스된 3차원 오디오 신호와 다운믹스된 3차원 오브젝트 신호로부터 공간 파라미터를 획득할 수도 있다.
한편, 본 발명에 따른 부호화 장치는 멀티 채널의 3차원 오디오 신호로부터 3차원 오디오 신호의 채널간 상관 관계를 나타내는 채널 파라미터를 획득하는 제 3 파라미터 획득부(미도시)를 더 포함할 수 있다. 채널 파라미터는 MPEG surround 기술 등에서 널리 사용되는 것이므로 자세한 설명은 생략한다.
부호화부(120)는 3차원 오디오 신호, 위치 파라미터 및 공간 파라미터를 부호화하여 비트스트림을 생성할 수 있다. 도 3(b)는 본 발명의 다른 실시예에 따른 부호화 장치의 부호화부의 구성을 도시하는 도면으로서, 부호화부(120)는 제 1 부호화부(122), 제 2 부호화부(124) 및 제 3 부호화부(126)를 포함할 수 있다.
제 1 부호화부(122)는 3차원 오디오 신호를 부호화하여 3차원 오디오 신호를 포함하는 제 1 비트스트림을 생성한다. 제 1 비트스트림은 다운믹스된 3차원 오디오 신호를 포함할 수도 있다. 제 2 부호화부(124)는 위치 파라미터를 부호화하여 위치 파라미터를 포함하는 제 2 비트스트림을 생성하고, 제 3 부호화부(126)는 공간 파라미터를 부호화하여 공간 파라미터를 포함하는 제 3 비트스트림을 생성한다.
본 발명의 다른 실시예에 따른 부호화 장치가 3차원 오디오 신호로부터 채널 파라미터를 획득한 경우, 부호화부(120)는 채널 파라미터를 포함하는 제 4 비트스트림을 생성하는 제 4 부호화부(미도시)를 더 포함할 수 있다.
도 3(a) 및 도 3(b)에 도시된 제 1 비트스트림, 제 2 비트스트림 및 제 3 비트스트림 각각이 서로 간에 합쳐질 수 있고, 더 많은 개수의 비트스트림으로 나눠질 수 있다는 것은 당업자에게 자명할 것이다.
도 4는 본 발명의 또 다른 실시예에 따른 부호화 장치의 구성을 도시하는 도면이다. 도 4의 부호화 장치는 결정부(140)를 더 포함할 수 있다. 도 4의 부호화 장치는 3차원 오브젝트 신호가 특정되지 않더라도, 복수의 오브젝트 신호로부터 3차원 오브젝트 신호를 결정할 수 있다.
결정부(140)는 3차원 오브젝트 신호에 믹싱된 복수의 오브젝트 신호를 수신한다. 결정부(140)는 복수의 오브젝트 신호 각각의 각 채널별 게인값을 획득하고, 각 채널별 게인값을 기초로 3차원 오브젝트 신호를 결정할 수 있다.
일반적으로, 멀티 채널 오디오 신호에서 3차원 오브젝트 신호는 프론트 채널과 서라운드 채널에 동시에 패닝되므로, 결정부(140)는 프론트 채널과 서라운드 채널에 동시에 패닝된 오브젝트 신호를 3차원 오브젝트 신호로 결정할 수 있다.
제 1 파라미터 획득부(110)는 결정부(140)로부터 3차원 오브젝트 신호를 수신받고, 3차원 오브젝트 신호의 각 채널별 게인값을 기초로 위치 파라미터를 획득할 수 있다. 또한, 3차원 오브젝트 신호의 각 채널별 게인값이 결정부(140)에서 이미 추출되었기 때문에 제 1 파라미터 획득부(110)는 결정부(140)로부터 3차원 오브젝트 신호의 각 채널별 게인값만을 수신하여 위치 파라미터를 획득할 수도 있다.
제 2 파라미터 획득부(130)는 결정부(140)로부터 3차원 오브젝트 신호를 수신받고, 3차원 오디오 신호와 3차원 오브젝트 신호를 이용하여 공간 파라미터를 획득한다.
도 5는 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호(54)의 가상 위치를 도시하는 도면이다. 도 5는 5.1채널 스피커 레이아웃에 대해 도시하고 있지만, 5.1채널 이외의 다양한 채널에도 적용될 수 있다는 것은 당업자에게 자명하다.
도 5를 참조하면, 5.1채널에 포함되는 FC 채널, FL 채널, FR 채널, SL 채널 및 SR 채널이 도시되어 있다.
오브젝트 신호의 게인을 달리하여 멀티 채널의 각 채널에 패닝을 하면, 청취자(청취자는 스피커 레이아웃의 중점에 위치하는 것으로 가정)는 스피커 레이아웃의 소정 위치에서 오브젝트 신호(54)가 출력되는 것과 같이 느낄 수 있다.
제 1 파라미터 획득부(110)는 3차원 오브젝트 신호의 각 채널별 게인값을 기초로 스피커 레이아웃 상에서의 오브젝트 신호(54)의 가상 위치를 획득할 수 있고, 획득된 가상 위치를 위치 파라미터로 획득한다.
제 1 파라미터 획득부(110)는 3차원 오브젝트 신호(54)의 가상 위치를 청취자의 위치, 즉, 스피커 레이아웃 상의 중심점(52)에 대한 3차원 오브젝트 신호(54)의 거리(r) 및 방위각(θ) 중 적어도 하나로 표현할 수 있다. 또한, 제 1 파라미터 획득부(110)는 3차원 오브젝트 신호(54)의 가상 위치와 가상 위치 범위(분산, 표준 편차, 음상의 범위 등)를 위치 파라미터로 표현할 수도 있다. 위치 파라미터를 3차원 오브젝트 신호의 가상 위치와 가상 위치 범위로 표현하는 이유는, 멀티 채널의 3차원 오디오 신호를 렌더링하는 복호화단이 상기 멀티 채널과 상이한 채널의 스피커로 구성된 경우, 복호화단이 상기 멀티 채널의 스피커 레이아웃에서의 3차원 오브젝트 신호의 가상 위치를 멀티 채널과 상이한 채널의 스피커 레이아웃에서 정확하게 구현할 수 없을 수 있기 때문이다.
제 1 파라미터 획득부(110)는 스피커 레이아웃 상의 중심점(52)에 대한 3차원 오브젝트 신호(54)의 거리를 소정 인덱스 값으로 표현할 수도 있다. 즉, 스피커 레이아웃 상의 중심점(52)에 대한 3차원 오브젝트 신호(54)의 거리를 미리 설정된 인덱스 값으로 표현함으로써, 위치 파라미터에 대한 비트 레이트를 감소시킬 수 있다.
제 1 파라미터 획득부(110)는, 3차원 오브젝트 신호가 패닝된 멀티 채널이 높이(height) 스피커 채널을 포함하는 경우, 스피커 레이아웃의 수평면과 3차원 오브젝트 신호 사이의 앙각(elevation angle)을 위치 파라미터로 표현할 수도 있다.
한편, 엔지니어는 3차원 오브젝트 신호를 수평면 스피커만을 포함하는 멀티 채널에 패닝하는 경우에도, 3차원 오브젝트 신호가 스피커 레이아웃의 수평면으로부터 소정 높이에서 출력되도록 높이 값을 설정할 수 있다. 이 경우, 제 1 파라미터 획득부(110)는 엔지니어에 의해 설정된 높이 값을 3차원 오브젝트 신호 또는 별도의 부가 데이터로부터 추출하여 위치 파라미터에 상기 높이 값을 더 포함시킬 수 있다.
제 1 파라미터 획득부(110)는 위치 파라미터를 거존 벡터(gerzon vector)로 표현할 수 있는데, 거존 벡터는 일반적으로 3차원 오디오 신호에서 합성된(synthesized) 가상 음원의 위치를 표현하기 위해 사용된다.
한편, 제 1 파라미터 획득부(110)는 3차원 오브젝트 신호에 포함된 소정 주파수 대역으로 구분된 신호들에 대한 기준 가상 위치를 획득하고, 3차원 오브젝트 신호에 포함된 신호들 중 기준 가상 위치와 상이한 가상 위치를 가지는 신호들에 대해서만 위치 파라미터를 획득할 수 있다.
구체적으로, 제 1 파라미터 획득부(110)는 3차원 오브젝트 신호에 포함된 신호들의 가상 위치들을 획득하고, 획득된 가상 위치들의 평균을 구하여 3차원 오브젝트 신호의 기준 가상 위치를 획득한다. 제 1 파라미터 획득부(110)는 3차원 오브젝트 신호에 포함된 신호들 중 기준 가상 위치와 상이한 가상 위치를 가지는 신호에 대해서만 위치 파라미터를 획득하되, 위치 파라미터는 신호들의 가상 위치와 기준 가상 위치의 차이값만을 포함할 수 있다. 본 발명의 일 실시예에 따른 부호화 장치는 3차원 오브젝트 신호의 기준 가상 위치와 차이값만을 포함하는 위치 파라미터를 복호화단으로 전송할 수 있으며, 이에 의해, 위치 파라미터의 비트레이트가 감소될 수 있다.
또한, 3차원 오브젝트 신호가 소정 시간 단위의 프레임들로 나눠진 경우, 제 1 파라미터 획득부(110)는 3차원 오브젝트 신호의 기준 가상 위치를 3차원 오브젝트 신호의 각 프레임마다 획득할 수 있다. 이 경우에는, 3차원 오브젝트 신호의 소정 프레임에 포함된 신호들 중 상기 소정 프레임의 기준 가상 위치와 상이한 가상 위치를 가지는 신호에 대해서만 위치 파라미터가 획득될 것이다.
도 6은 본 발명의 또 다른 실시예에 따른 부호화 장치의 구성을 도시하는 블록도이다. 도 6의 부호화 장치는 사용자에게 믹싱(mixing) 기능을 제공할 수 있다.
도 6을 참조하면, 도 6의 부호화 장치는 선택부(150) 및 생성부(160)를 더 포함할 수 있다.
선택부(150)는 사용자 입력에 기초하여, 복수의 오브젝트 신호 중 적어도 하나의 오브젝트 신호를 3차원 오브젝트 신호로 선택한다. 즉, 사용자는 오디오 신호에 믹싱될 복수의 오브젝트 신호 중 3차원 효과를 적용할 오브젝트 신호를 선택할 수 있다.
본 발명의 또 다른 실시예에 따른 부호화 장치에서는, 사용자에 의해 선택된 오브젝트 신호를 제외한 오브젝트 신호가 제 1 멀티 채널 레이어로 패닝될 수 있고, 사용자에 의해 선택된 오브젝트 신호가 제 2 멀티 채널 레이어로 패닝될 수 있다. 본 명세서에서, '멀티 채널 레이어'는 오디오 또는 오브젝트 신호가 패닝될 멀티 채널의 레이어를 의미한다.
사용자에 의해 하나의 오브젝트 신호가 선택되면, 상기 하나의 오브젝트 신호는 제 2 멀티 채널 레이어에 패닝될 수 있다. 또한, 사용자에 의해 두 개의 오브젝트 신호가 선택되면, 두 개의 오브젝트 신호가 하나의 제 2 멀티 채널 레이어에 패닝될 수 있고, 두 개의 제 2 멀티 채널 레이어에 각각 패닝될 수도 있다.
생성부(160)는 제 1 멀티 채널 레이어에 패닝된 신호인 제 1 멀티 채널 레이어 신호와 제 2 멀티 채널 레이어에 패닝된 신호인 제 2 멀티 채널 레이어 신호를 믹싱하여 3차원 오디오 신호를 생성한다. 또한, 생성부(160)는 제 2 멀티 채널 레이어에 3차원 오브젝트 신호가 패닝될 때, 각 채널별 게인값을 추출할 수도 있다.
생성부(160)는 3차원 오디오 신호와 3차원 오브젝트 신호를 제 2 파라미터 획득부(130)로 전송하고, 3차원 오브젝트 신호를 제 1 파라미터 획득부(110)로 전송할 수 있다. 생성부(160)에서 3차원 오브젝트 신호의 채널별 게인값이 추출된 경우, 생성부(160)는 3차원 오브젝트 신호의 채널별 게인값만을 제 1 파라미터 획득부(110)로 전송할 수도 있다.
제 1 파라미터 획득부(110), 부호화부(120) 및 제 2 파라미터 획득부(130)는 도 1 및 도 2를 참조하여 설명하였으므로, 자세한 설명은 생략한다.
도 7은 본 발명의 일 실시예에 따른 부호화 방법의 순서를 도시하는 순서도이다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 부호화 방법은 도 1에 도시된 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1에 도시된 부호화 장치에 관하여 이상에서 기술된 내용은 도 7의 부호화 방법에도 적용됨을 알 수 있다.
S710 단계에서, 부호화 장치는 멀티 채널의 3차원 오브젝트 신호의 채널별 게인값을 기초로, 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 획득한다.
S720 단계에서, 부호화 장치는 3차원 오디오 신호 및 위치 파라미터를 부호화한다.
도 8은 3차원 오디오 신호를 생성하는 방법의 순서를 도시하는 순서도이다.
S810 단계에서, 부호화 장치는 사용자 입력에 기초하여, 복수의 오브젝트 신호 중 적어도 하나의 오브젝트 신호를 3차원 오브젝트 신호로 선택한다.
제 1 멀티 채널 레이어에 복수의 오브젝트 신호들 중 3차원 오브젝트 신호를 제외한 오브젝트 신호가 패닝되고, 3차원 오브젝트 신호가 제 2 멀티 채널 레이어에 패닝되면, S820 단계에서, 부호화 장치는 제 1 멀티 채널 레이어에 패닝된 신호와 제 2 멀티 채널 레이어에 패닝된 신호를 믹싱하여 3차원 오디오 신호를 생성한다.
도 9는 본 발명의 일 실시예에 따른 복호화 장치의 구성을 도시하는 도면이다. 도 9를 참조하면, 본 발명의 일 실시예에 따른 복호화 장치는 수신부(210), 복호화부(220) 및 렌더링부(230)를 더 포함할 수 있다.
수신부(210)는 제 1 멀티 채널의 3차원 오브젝트 신호가 믹싱된 3차원 오디오 신호를 포함하는 제 1 비트스트림 및 제 1 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 포함하는 제 2 비트스트림을 수신한다. 제 1 비트스트림 및 제 2 비트스트림은 하나의 비트스트림으로 구성될 수도 있다는 것은 당업자에게 자명할 것이다.
복호화부(220)는 제 1 비트스트림 및 제 2 비트스트림으로부터 3차원 오디오 신호 및 위치 파라미터를 복호화한다. 도 11(a)는 본 발명의 일 실시예에 따른 복호화 장치의 복호화부(220)의 구성을 도시하는 도면으로서, 수신부(210)가 3차원 오디오 신호를 포함하는 제 1 비트스트림과 위치 파라미터를 포함하는 제 2 비트스트림을 수신한 경우, 제 1 복호화부(222)가 제 1 비트스트림을 복호화하여 3차원 오디오 신호를 출력하고, 제 2 복호화부(224)가 제 2 비트스트림을 복호화하여 위치 파라미터를 출력할 수 있다.
렌더링부(230)는 복호화부(220)로부터 수신되는 위치 파라미터를 기초로 3차원 오디오 신호를 변형하여 출력한다. 구체적으로, 렌더링부(230)는 위치 파라미터를 이용하여 3차원 오디오 신호에 믹싱된 3차원 오브젝트 신호를 예측하고, 예측된 3차원 오브젝트 신호의 채널별 게인값을 조절하여 3차원 오브젝트 신호를 출력할 수 있다.
한편, 본 발명의 일 실시예에 따른 복호화 장치는 위치 파라미터를 이용하지 않고, 3차원 오디오 신호만을 출력할 수 있으므로, 하향 호환성(backward compatible)이 존재한다.
도 10은 본 발명의 다른 실시예에 따른 복호화 장치의 구성을 도시하는 도면이다. 본 발명의 다른 실시예에 따른 복호화 장치는 추출부(240)를 더 포함할 수 있다. 도 10에 도시된 복호화 장치는 도 9에 도시된 복호화 장치에 비해 공간 파라미터를 더 수신하는데, 공간 파라미터를 이용하여 3차원 오디오 신호로부터 3차원 오브젝트 신호를 쉽게 분리할 수 있다.
수신부(210)는 제 1 멀티 채널의 3차원 오브젝트 신호와 3차원 오디오 신호 사이의 상관 관계를 나타내는 공간 파라미터를 포함하는 제 3 비트스트림을 더 수신한다. 또한, 수신부(210)는 멀티 채널의 3차원 오디오 신호의 채널간 상관 관계를 나타내는 채널 파라미터를 포함하는 제 4 비트스트림을 수신할 수도 있다.
복호화부(220)는 제 3 비트스트림으로부터 공간 파라미터를 복호화한다.
수신부(210)가 채널 파라미터를 포함하는 제 4 비트스트림을 수신한 경우, 복호화부(220)는 제 4 비트스트림으로부터 채널 파라미터를 복호화하고, 채널 파라미터를 다운믹스된 3차원 오디오 신호에 적용하여 멀티 채널의 3차원 오디오 신호를 획득할 수 있다.
도 11(b)는 본 발명의 다른 실시예에 따른 복호화 장치에서 복호화부의 구성을 도시하는 도면이다. 수신부(210)가 3차원 오디오 신호를 포함하는 제 1 비트스트림, 위치 파라미터를 포함하는 제 2 비트스트림 및 공간 파라미터를 포함하는 제 3 비트스트림을 수신한 경우, 복호화부(220)의 제 1 복호화부(222)는 제 1 비트스트림을 복호화하여 3차원 오디오 신호를 출력하고, 제 2 복호화부(224)는 제 2 비트스트림을 복호화하여 위치 파라미터를 출력한다. 또한, 제 3 복호화부(226)는 제 3 비트스트림을 복호화하여 공간 파라미터를 출력한다.
본 발명의 다른 실시예에 따른 복호화 장치의 수신부(210)가 채널 파라미터를 포함하는 제 4 비트스트림을 수신한 경우, 복호화부(220)는 제 4 비트스트림을 복호화하여 채널 파라미터를 출력하는 제 4 복호화부(미도시)를 더 포함할 수 있다.
추출부(240)는 복호화부(220)로부터 3차원 오디오 신호와 공간 파라미터를 수신하고, 공간 파라미터를 이용하여 3차원 오디오 신호로부터 3차원 오브젝트 신호를 추출한다. 공간 파라미터는 3차원 오브젝트 신호가 믹싱된 3차원 오디오 신호와 3차원 오브젝트 신호의 상관 관계를 나타내기 때문에, 이를 이용하여 3차원 오디오 신호로부터 3차원 오브젝트 신호를 추출할 수 있다.
렌더링부(230)는 복호화부(220)로부터 수신되는 위치 파라미터를 기초로 3차원 오브젝트 신호와 3차원 오디오 신호를 믹싱하여 출력한다.
복호화 장치가 제 1 멀티 채널과 상이한 제 2 멀티 채널의 스피커를 포함하는 경우, 렌더링부(230)는, 위치 파라미터를 기초로 3차원 오브젝트 신호의 채널별 게인값을 제 2 멀티 채널의 스피커에 따라 재설정할 수 있다.
예를 들어, 엔지니어에 의해 3차원 오브젝트 신호가 5.1채널로 패닝되고, 복호화 장치가 4.1채널, 4.2채널 등의 5.1채널과 상이한 채널의 스피커를 포함하는 경우, 3차원 오브젝트 신호의 5.1 채널의 스피커 레이아웃 상에서의 가상 위치를 4.1 또는 4.2 채널의 스피커 레이아웃 상에 매핑하여 각 채널별 게인값을 재설정하는 것이다. 이에 의해, 5.1 채널의 3차원 오브젝트 신호에 적용된 3차원 효과가 5.1채널과 상이한 채널에서도 정확하게 구현될 수 있다.
또한, 본 발명의 다른 실시예에 따른 복호화 장치는, 3차원 오디오 신호를 청취하는 청취자가 3차원 오브젝트 신호에 적용된 입체감을 조절할 수 있다. 구체적으로, 렌더링부(230)는, 사용자로부터 수신된 3차원 오브젝트 신호의 가상 위치 또는 3차원 오브젝트 신호의 각 채널별 게인값에 따라 제 2 멀티 채널에 대한 3차원 오브젝트 신호의 각 채널별 게인값을 재설정할 수 있다. 즉, 사용자가 3차원 오브젝트 신호가 제 2 멀티 채널의 스피커 레이아웃 상의 특정 지점에서 출력되도록 하는 경우, 렌더링부(230)는 해당 지점에서 3차원 오브젝트 신호가 출력되도록 3차원 오브젝트 신호의 각 채널별 게인값을 재설정하는 것이다.
도 12는 본 발명의 일 실시예에 따른 복호화 방법의 순서를 도시하는 순서도이다.
S1210 단계에서, 복호화 장치는 멀티 채널의 3차원 오디오 신호를 포함하는 제 1 비트스트림 및 제 1 멀티 채널의 스피커 레이아웃 상에서의 3차원 오브젝트 신호의 가상 위치를 나타내는 위치 파라미터를 포함하는 제 2 비트스트림을 수신할 수 있다.
S1220 단계에서, 복호화 장치는 제 1 비트스트림으로부터 3차원 오디오 신호를 복호화하고, 제 2 비트스트림으로부터 위치 파라미터를 복호화한다.
S1230 단계에서, 복호화 장치는 위치 파라미터를 기초로 3차원 오디오 신호를 변형하여 출력할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110: 제 1 파라미터 획득부
120: 부호화부
130: 제 2 파라미터 획득부
140: 결정부
150: 선택부
160: 생성부
210: 수신부
220: 복호화부
230: 렌더링부
240: 추출부
120: 부호화부
130: 제 2 파라미터 획득부
140: 결정부
150: 선택부
160: 생성부
210: 수신부
220: 복호화부
230: 렌더링부
240: 추출부
Claims (48)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 높이(height) 채널 신호를 포함하는 멀티채널 오디오 신호들 및 오디오 오브젝트 신호를 수신하는 단계;
상기 오디오 오브젝트 신호의 높이(height) 정보를 포함하는, 상기 오디오 오브젝트 신호의 위치 정보를 수신하는 단계;
상기 멀티채널 오디오 신호들의 제 1 레이아웃 및 출력 채널 신호들의 제 2 레이아웃에 기초하여, 상기 멀티채널 오디오 신호들에 대한 제 1 게인들을 획득하는 단계;
상기 오디오 오브젝트 신호의 위치 정보 및 상기 제 2 레이아웃에 기초하여, 상기 오디오 오브젝트 신호에 대한 제 2 게인들을 획득하는 단계;
상기 제 2 레이아웃에 기초하여 3차원 음상을 표현하는 오디오-채널 신호들을 제공하기 위하여, 상기 제 1 게인들에 기초하여 상기 멀티채널 오디오 신호들을 렌더링하는 단계;
상기 제 2 레이아웃에 기초하여 3차원 음상을 표현하는 오브젝트-채널 신호들을 제공하기 위하여, 상기 제 2 게인들에 기초하여 상기 오디오 오브젝트 신호를 렌더링하는 단계; 및
상기 오디오-채널 신호들과 상기 오브젝트 채널 신호들을 믹싱하여 상기 출력 채널 신호들을 생성하는 단계;를 포함하고,
상기 제 1 레이아웃 및 상기 제 2 레이아웃은 서로 독립적인,
3D 오디오 신호를 렌더링하는 방법. - 제 45 항에 있어서,
상기 제 1 레이아웃에 포함된 채널의 개수와 상기 제 2 레이아웃에 포함된 채널의 개수는 서로 독립적인,
3D 오디오 신호를 렌더링하는 방법. - 제 45 항에 있어서,
상기 오디오 오브젝트 신호의 위치 정보는 상기 오디오 오브젝트 신호의 거리 정보 및 방위각 정보 중 적어도 하나를 포함하는,
3D 오디오 신호를 렌더링하는 방법. - 제 45 항에 있어서,
상기 방법은 상기 멀티채널 오디오 신호들과 상기 오디오 오브젝트 신호 사이의 상관관계(correlation)를 나타내는 공간 파라미터를 획득하는 단계;를 더 포함하는,
3D 오디오 신호를 렌더링하는 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/493,406 US9754595B2 (en) | 2011-06-09 | 2012-06-11 | Method and apparatus for encoding and decoding 3-dimensional audio signal |
| US15/639,554 US9990927B2 (en) | 2011-06-09 | 2017-06-30 | Method and apparatus for encoding and decoding 3-dimensional audio signal |
| US15/996,939 US10453462B2 (en) | 2011-06-09 | 2018-06-04 | Method and apparatus for encoding and decoding 3-dimensional audio signal |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161495047P | 2011-06-09 | 2011-06-09 | |
| US61/495,047 | 2011-06-09 | ||
| US201161496757P | 2011-06-14 | 2011-06-14 | |
| US61/496,757 | 2011-06-14 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170124541A Division KR101881927B1 (ko) | 2011-06-09 | 2017-09-26 | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120137253A KR20120137253A (ko) | 2012-12-20 |
| KR101783962B1 true KR101783962B1 (ko) | 2017-10-10 |
Family
ID=47904448
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120060523A KR101783962B1 (ko) | 2011-06-09 | 2012-06-05 | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 |
| KR1020170124541A KR101881927B1 (ko) | 2011-06-09 | 2017-09-26 | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 |
| KR1020180084276A KR101951001B1 (ko) | 2011-06-09 | 2018-07-19 | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170124541A KR101881927B1 (ko) | 2011-06-09 | 2017-09-26 | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 |
| KR1020180084276A KR101951001B1 (ko) | 2011-06-09 | 2018-07-19 | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (3) | KR101783962B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102231755B1 (ko) | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
| KR102160254B1 (ko) | 2014-01-10 | 2020-09-25 | 삼성전자주식회사 | 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치 |
| US10271157B2 (en) | 2016-05-31 | 2019-04-23 | Gaudio Lab, Inc. | Method and apparatus for processing audio signal |
| WO2020009350A1 (ko) * | 2018-07-02 | 2020-01-09 | 엘지전자 주식회사 | 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010525378A (ja) | 2007-03-30 | 2010-07-22 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008039043A1 (en) * | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| CA2645915C (en) * | 2007-02-14 | 2012-10-23 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
-
2012
- 2012-06-05 KR KR1020120060523A patent/KR101783962B1/ko active IP Right Grant
-
2017
- 2017-09-26 KR KR1020170124541A patent/KR101881927B1/ko active IP Right Grant
-
2018
- 2018-07-19 KR KR1020180084276A patent/KR101951001B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010525378A (ja) | 2007-03-30 | 2010-07-22 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180086397A (ko) | 2018-07-31 |
| KR20120137253A (ko) | 2012-12-20 |
| KR101881927B1 (ko) | 2018-08-24 |
| KR20170117911A (ko) | 2017-10-24 |
| KR101951001B1 (ko) | 2019-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10453462B2 (en) | Method and apparatus for encoding and decoding 3-dimensional audio signal | |
| TWI744341B (zh) | 使用近場/遠場渲染之距離聲相偏移 | |
| KR101951001B1 (ko) | 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치 | |
| EP2863657B1 (en) | Method and device for processing audio signal | |
| CN108924729B (zh) | 采用几何距离定义的音频呈现装置和方法 | |
| CN101889307B (zh) | 相位-幅度3d立体声编码器和解码器 | |
| CN105637582B (zh) | 音频编码装置及音频解码装置 | |
| US9119011B2 (en) | Upmixing object based audio | |
| KR20140128564A (ko) | 음상 정위를 위한 오디오 시스템 및 방법 | |
| CN104054126A (zh) | 空间音频渲染和编码 | |
| US10593343B2 (en) | Apparatus and method for surround audio signal processing | |
| EP3668125B1 (en) | Method and apparatus for rendering acoustic signal | |
| KR20140028094A (ko) | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 | |
| CN110610712A (zh) | 用于渲染声音信号的方法和设备以及计算机可读记录介质 | |
| KR102148217B1 (ko) | 위치기반 오디오 신호처리 방법 | |
| JP7102024B2 (ja) | メタデータを利用するオーディオ信号処理装置 | |
| KR101949756B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR102059846B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR20070081735A (ko) | 오디오 신호의 인코딩/디코딩 방법 및 장치 | |
| KR20190060464A (ko) | 오디오 신호 처리 방법 및 장치 | |
| WO2020075286A1 (ja) | オーディオ装置およびオーディオ信号出力方法 | |
| KR101950455B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR101949755B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR20140128565A (ko) | 오디오 신호 처리 방법 및 장치 | |
| KR20140070244A (ko) | 다채널 오디오 신호의 인코딩 및 디코딩 방법, 및 다채널 오디오 신호의 인코딩 및 디코딩 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |