KR102231755B1 - 입체 음향 재생 방법 및 장치 - Google Patents

입체 음향 재생 방법 및 장치 Download PDF

Info

Publication number
KR102231755B1
KR102231755B1 KR1020130128038A KR20130128038A KR102231755B1 KR 102231755 B1 KR102231755 B1 KR 102231755B1 KR 1020130128038 A KR1020130128038 A KR 1020130128038A KR 20130128038 A KR20130128038 A KR 20130128038A KR 102231755 B1 KR102231755 B1 KR 102231755B1
Authority
KR
South Korea
Prior art keywords
channel
rendering
signal
channel signals
downmix matrix
Prior art date
Application number
KR1020130128038A
Other languages
English (en)
Other versions
KR20150047943A (ko
Inventor
전상배
김선민
조현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130128038A priority Critical patent/KR102231755B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2016523302A priority patent/JP6382965B2/ja
Priority to US15/029,143 priority patent/US10091600B2/en
Priority to MX2016004750A priority patent/MX355499B/es
Priority to SI201432035T priority patent/SI3833054T1/sl
Priority to EP20150554.2A priority patent/EP3664475B1/en
Priority to CN201480058551.1A priority patent/CN105684466B/zh
Priority to ES21154301T priority patent/ES2952212T3/es
Priority to EP23166702.3A priority patent/EP4221261A1/en
Priority to PL21154301.2T priority patent/PL3833054T3/pl
Priority to EP14855641.8A priority patent/EP3035711B1/en
Priority to CN201711070035.2A priority patent/CN107734445B/zh
Priority to PCT/KR2014/010134 priority patent/WO2015060696A1/ko
Priority to PL20150554T priority patent/PL3664475T3/pl
Priority to EP21154301.2A priority patent/EP3833054B1/en
Publication of KR20150047943A publication Critical patent/KR20150047943A/ko
Priority to JP2018146254A priority patent/JP6660982B2/ja
Priority to US16/114,843 priority patent/US10645513B2/en
Priority to US16/861,354 priority patent/US11051119B2/en
Priority to KR1020210035366A priority patent/KR102380232B1/ko
Application granted granted Critical
Publication of KR102231755B1 publication Critical patent/KR102231755B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Abstract

다채널 오디오 신호를 획득하고, 다채널 오디오 신호의 채널 정보 및 주파수에 따라 재생될 채널로 렌더링하고, 렌더링된 신호들을 믹싱하는 것을 특징으로 하는 입체 음향 재생 방법이 개시된다.

Description

입체 음향 재생 방법 및 장치{Method and apparatus for 3D sound reproducing}
본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 특히 다채널 오디오 신호를 재생하는 방법 및 장치에 관한 것이다.
영상 및 음향 처리 기술의 발달에 힘입어 고화질 고음질의 컨텐츠가 다량 생산되고 있다. 고화질 고음질의 컨텐츠를 요구하던 사용자는 현실감 있는 영상 및 음향을 원하고 있으며, 이에 따라 입체 영상 및 입체 음향에 대한 연구가 활발히 진행되고 있다.
입체 음향은 복수 개의 스피커를 수평면상의 다른 위치에 배치하고, 각각의 스피커에서 동일한 또는 상이한 음향 신호를 출력함으로써 사용자가 공간감을 느끼도록 하는 기술이다. 그러나, 실제 음향은 수평면상의 다양한 위치에서 발생할 뿐만 아니라 상이한 고도에서도 발생할 수 있다. 따라서, 상이한 고도에서 발생하는 음향 신호를 수평면상에 배치된 스피커를 통해 재생하는 기술이 필요하다.
본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 고도 음향 신호를 포함하는 다채널 오디오 신호를 수평면 레이아웃 환경에서 재생하기 위한 방법에 관한 것입니다.
본 발명의 일 실시 예에 의한, 입체 음향 재생 방법은 다채널 오디오 신호를 획득하는 단계; 상기 다채널 오디오 신호의 채널 정보 및 주파수에 따라 재생될 채널로 렌더링하는 단계; 및 상기 렌더링된 신호들을 믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기 입체 음향 재생 방법은 상기 다채널 오디오 신호에서 어플라우즈 신호를 분리하는 단계를 더 포함하고, 상기 렌더링하는 단계는 상기 어플라우즈 신호는 2D 렌더링 방법에 따라 렌더링되거나 상기 어플라우즈 신호의 각 채널 별로 수평면상 배치된 출력 채널 중 가장 가까운 채널로 렌더링되는 단계를 포함하는 것을 특징으로 한다.
상기 믹싱하는 단계는 상기 렌더링된 어플라우즈 신호를 에너지 부스트 방식에 따라 믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기 어플라우즈 신호를 분리하는 단계는 상기 다채널 입력 신호에 토널하지 않은 광대역 신호가 존재하고, 상기 광대역 신호의 레벨이 채널 별로 유사한지 여부, 짧은 구간의 임펄스 형태가 반복되는지 여부 및 채널간 연관성이 낮은지 여부 중 적어도 하나에 기초하여 상기 다채널 입력 신호가 상기 어플라우즈 신호를 포함하는지 여부를 판단하는 단계; 상기 판단 결과에 따라 상기 어플라우즈 신호를 분리하는 단계를 포함하는 것을 특징으로 한다.
상기 렌더링하는 단계는 상기 다채널 오디오 신호를 상기 채널 정보에 기초하여 수평면 채널 신호 및 오버헤드 채널 신호로 분리하는 단계; 상기 오버헤드 채널 신호를 저주파 신호와 고주파 신호로 분리하는 단계; 상기 저주파 신호는 상기 저주파 신호의 각 채널 별로 수평면상 배치된 출력 채널 중 가장 가까운 채널로 렌더링하는 단계; 상기 고주파 신호는 3D 렌더링 방법에 따라 렌더링하는 단계; 상기 수평면 채널 신호는 2D 렌더링 방법에 따라 렌더링하는 단계를 포함하는 것을 특징으로 한다.
상기 믹싱하는 단계는 상기 채널 정보 및 주파수에 따라 상기 렌더링된 신호들에 적용할 게인을 결정하는 단계; 및 상기 결정된 게인을 상기 렌더링된 신호들에 적용하고 믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기 믹싱하는 단계는 상기 렌더링된 신호들의 파워 값에 기초하여, 상기 파워 값이 보존되도록 상기 렌더링된 신호들을 믹싱하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 입체 음향 재생 방법은 다채널 오디오 신호를 획득하는 단계; 상기 다채널 오디오 신호를 재생될 채널로 렌더링하는 단계; 및 상기 렌더링된 신호들의 파워 값에 기초하여, 상기 파워 값이 보존되도록 상기 렌더링된 신호들을 믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기 믹싱하는 단계는 상기 렌더링된 신호들의 파워 값에 기초하여, 소정 구간 단위로 믹싱하는 단계; 상기 렌더링된 신호들 중 저주파 신호를 분리하는 단계; 상기 저주파 신호는 이전 구간에서의 상기 렌더링된 신호들의 파워 값에 기초하여 상기 렌더링된 신호들을 믹싱하는 단계를 포함하는 것을 특징으로 한다.
상기 렌더링하는 단계는 상기 다채널 오디오 신호의 채널 정보 및 주파수에 따라 재생될 채널로 렌더링하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 입체 음향 재생 장치는 다채널 오디오 신호를 획득하고, 상기 다채널 오디오 신호의 채널 정보 및 주파수에 따라 재생될 채널로 렌더링하는 렌더러; 상기 렌더링된 신호들을 믹싱하는 믹서를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 입체 음향 재생 장치는 다채널 오디오 신호를 획득하고, 상기 다채널 오디오 신호를 재생될 채널로 렌더링하는 렌더러; 및 상기 렌더링된 신호들의 파워 값에 기초하여, 상기 파워 값이 보존되도록 상기 렌더링된 신호들을 믹싱하는 믹서를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한, 입체 음향 재생 장치는 음성 신호 중 고도 성분을 수평면 상에 배치된 스피커에서 고도감 있게 재생할 수 있다.
본 발명의 일 실시 예에 의한, 입체 음향 재생 장치는 다채널 오디오 신호를 채널 수가 적은 환경에서 재생할 때, 음색이 변하거나 소리가 사라지는 현상을 최소화할 수 있다.
도 1 및 도 2는 본 발명의 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 의한 입체 음향 재생 방법을 도시한 순서도이다.
도 4는 본 발명의 일 실시 예에 있어서, 어플라우즈 신호를 포함하는 오디오 신호에 대한 입체 음향 재생 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시 예에 있어서, 3D 렌더러의 내부 구조를 나타낸 블록도이다.
도 6은 본 발명의 일 실시 예에 의한 렌더링된 오디오 신호를 믹싱하는 방법을 도시한 순서도이다.
도 7은 본 발명의 일 실시 예에 의한 렌더링된 오디오 신호를 주파수에 따라 믹싱하는 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시 예에 의한 렌더링된 오디오 신호를 주파수에 따라 믹싱하는 일 예를 도시한 예시도이다.
도 9 및 도 10은 본 발명의 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타낸 블록도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명 한다.
도 1 및 도 2는 본 발명의 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타낸 블록도이다.
본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 재생될 채널로 다운 믹싱된 다채널 오디오 신호를 출력할 수 있다.
입체 음향이란, 음의 고저, 음색뿐만 아니라 방향이나 거리감까지 재생하여 임장감을 가지게 하고, 음원이 발생한 공간에 위치하지 않은 청취자에게 방향감, 거리감 및 공간감을 지각할 수 있게 하는 공간 정보를 부가한 음향을 의미한다.
이하 설명에서 오디오 신호의 채널은 음향이 출력되는 스피커의 개수를 의미할 수 있다. 채널 수가 많을수록, 음향이 출력되는 스피커의 개수가 많아질 수 있다. 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 채널 수가 많은 다채널 오디오 신호가 채널 수가 적은 환경에서 출력되고 재생될 수 있도록 다채널 오디오 신호를 재생될 채널로 렌더링하고 믹싱할 수 있다. 이때 다채널 오디오 신호는 고도 음향을 출력할 수 있는 채널을 포함할 수 있다.
고도 음향을 출력할 수 있는 채널은 고도감을 느낄 수 있도록 청취자의 머리 위에 위치한 스피커를 통해 음향 신호를 출력할 수 있는 채널을 의미할 수 있다. 수평면 채널은 청취자와 수평한 면에 위치한 스피커를 통해 음향 신호를 출력할 수 있는 채널을 의미할 수 있다.
상술된 채널 수가 적은 환경은 고도 음향을 출력할 수 있는 채널을 포함하지 않고, 수평면 채널에 따라 수평면 상에 배치된 스피커를 통해 음향을 출력할 수 있는 환경을 의미할 수 있다.
또한, 이하 설명에서 수평면 채널(horizontal channel)은 수평면 상에 배치된 스피커를 통해 출력될 수 있는 오디오 신호를 포함하는 채널을 의미할 수 있다. 오버헤드 채널(Overhead channel)은 수평면이 아닌 고도 상에 배치되어 고도음을 출력할 수 있는 스피커를 통해 출력될 수 있는 오디오 신호를 포함하는 채널을 의미할 수 있다.
도 1을 참조하면, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 렌더러(110) 및 믹서(120)를 포함할 수 있다.
본 발명의 일 실시 예에 의한, 입체 음향 재생 장치(100)는 다채널 오디오 신호를 렌더링하고, 믹싱하여 재생될 채널로 출력할 수 있다. 예를 들면, 다채널 오디오 신호는 22.2 채널 신호이고, 재생될 채널은 5.1 또는 7.1 채널일 수 있다. 입체 음향 재생 장치(100)는 다채널 오디오 신호의 각 채널들을 대응시킬 채널을 정함으로써 렌더링을 수행하고 재생될 채널과 대응된 각 채널들의 신호를 합쳐 최종 신호로 출력함으로써 렌더링된 오디오 신호들을 믹싱할 수 있다.
렌더러(110)는 다채널 오디오 신호를 채널 및 주파수에 따라 렌더링할 수 있다. 렌더러(110)는 다채널 오디오 신호를 오버헤드 채널과 수평면 채널에 따른 신호를 각각 3D(dimensional) 렌더링 및 2D(dimensional) 렌더링할 수 있다.
렌더러(110)는 오버헤드 채널을 3D 렌더링하기 위해 HRTF(Head Related Transfer filter) 필터를 통과한 오버헤드 채널을 주파수에 따라 각각 다른 방법으로 렌더링할 수 있다. HRTF 필터는 두 귀간의 레벨 차이 및 두 귀 간에서 음향 시간이 도달하는 시간 차이 등의 단순한 경로 차이뿐만 아니라, 머리 표면에서의 회절, 귓바퀴에 의한 반사 등 복잡한 경로상의 특성이 음의 도래 방향에 따라 변화하는 현상에 의하여 입체 음향을 인식할 수 있도록 한다. HRTF 필터는 오디오 신호의 음질을 변화시킴으로써 입체 음향이 인식될 수 있도록 오버헤드 채널에 포함된 오디오 신호들을 처리할 수 있다.
렌더러(110)는 오버해드 채널 신호 중 저주파 신호에 대하여는 애드-투-클로지스트-채널(Add to the closest channel) 방법에 따라 렌더링하고, 고주파 신호에 대하여는 멀티채널 패닝(Multichannel panning) 방법에 따라 렌더링할 수 있다. 멀티 채널 패닝 방법에 의하면, 다채널 오디오 신호의 각 채널의 신호가 각 채널 신호에 렌더링될 채널마다 서로 다르게 설정된 게인 값이 적용되어 적어도 하나의 수평면 채널에 각각 렌더링될 수 있다. 게인 값이 적용된 각 채널의 신호들은 믹싱을 통해 합쳐짐으로써 최종 신호로 출력될 수 있다.
저주파 신호는 회절성이 강하므로, 멀티 채널 패닝 방법에 따라 다채널 오디오 신호의 각 채널을 여러 채널에 각각 나누어 렌더링하지 않고, 하나의 채널에만 렌더링하여도 청취자가 듣기에 비슷한 음질을 가질 수 있다. 따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 저주파 신호를 애드-투-클로지스트-채널 방법에 따라 랜더링함으로써 하나의 출력 채널에 여러 채널이 믹싱됨에 따라 발생될 수 있는 음질 열화를 방지할 수 있다. 즉, 하나의 출력 채널에 여러 채널이 믹싱되면 각 채널 신호 간의 간섭에 따라 음질이 증폭되거나 감소되어 열화될 수 있으므로, 하나의 출력 채널에 하나의 채널을 믹싱함으로써 음질 열화를 방지할 수 있다.
애드 투 클로지스트 채널 방법에 의하면, 다채널 오디오 신호의 각 채널은 여러 채널에 나누어 렌더링하는 대신 재생될 채널들 중 가장 가까운 채널에 렌더링될 수 있다.
또한, 입체 음향 재생 장치(100)는 주파수에 따라 다른 방법으로 렌더링을 수행함으로써 스위트 스팟(sweet spot)을 음질 열화 없이 넓힐 수 있다. 즉, 회절 특성이 강한 저주파 신호에 대하여는 애드 투 클로지스트 채널 방법에 따라 렌더링함으로써, 하나의 출력 채널에 여러 채널이 믹싱됨에 따라 발생될 수 있는 음질 열화를 방지할 수 있다. 스위트 스팟이란, 청취자가 왜곡되지 않은 입체 음향을 최적으로 청취할 수 있는 소정 범위를 의미한다. 스위트 스팟이 넓을수록 청취자는 넓은 범위에서 왜곡되지 않은 입체 음향을 최적으로 청취할 수 있고, 청취자가 스위트 스팟에 위치하지 않는 경우, 음질 또는 음상 등이 왜곡된 음향을 청취할 수 있다.
주파수에 따라 다른 패닝(Panning) 방법으로 렌더링하는 방법에 관하여는 이하 도 4 또는 도 5에서 더 자세히 설명하기로 한다.
믹서(120)는 렌더러(110)에 의해 수평 채널과 대응된 각 채널들의 신호를 합쳐 최종 신호로 출력할 수 있다. 믹서(120)는 소정 구간별로 각 채널들의 신호를 믹싱할 수 있다. 예를 들면, 믹서(120)는 1 프레임 별로 각 채널들의 신호를 믹싱할 수 있다.
본 발명의 일 실시 예에 의한 믹서(120)는 재생될 각 채널들에 렌더링된 신호들의 파워 값에 기초하여 믹싱할 수 있다. 다시 말하면, 믹서(120)는 재생될 각 채널들에 렌더링된 신호들의 파워 값에 기초하여 최종 신호의 진폭 또는 최종 신호에 적용될 게인(gain)을 결정할 수 있다.
도 2를 참조하면, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(200)는 음향 분석부(210), 렌더러(220), 믹서(230) 및 출력부(240)를 포함할 수 있다. 도 2의 입체 음향 재생 장치(200), 렌더러(220) 및 믹서(230)는 도 1의 입체 음향 재생 장치(100), 렌더러(210) 및 믹서(220)와 대응되고, 중복되는 설명은 생략하기로 한다.
음향 분석부(210)는 다채널 오디오 신호를 분석하여 렌더링 모드를 선택하고, 다채널 오디오 신호에 포함된 일부 신호를 분리하여 출력할 수 있다. 음향 분석부(210)는 렌더링 모드 선택부(211)와 렌더링 신호 분리부(212)를 포함할 수 있다.
렌더링 모드 선택부(211)는 다채널 오디오 신호에 박수 소리나 빗(rain) 소리와 같이 트랜지언트(transient)한 신호가 많은지 여부를 소정 구간별로 판단할 수 있다. 이하 설명에서 박수(applause) 소리나 빗소리와 같이 트랜지언트(transient)한, 즉 순간적이고 일시적인 신호가 많은 오디오 신호를 어플라우즈(applause) 신호로 지칭하기로 한다.
본 발명의 일 실시 예에 의한 입체 음향 재생 장치(200)는 어플라우즈 신호를 분리하여, 어플라우즈 신호의 특징에 따라 채널 렌더링 및 믹싱을 처리할 수 있다.
렌더링 모드 선택부(211)는 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있는지 여부에 따라 렌더링 모드를 일반(general) 모드 또는 어플라우즈 모드 중 하나로 선택할 수 있다. 렌더러(220)는 렌더링 모드 선택부(211)에 의해 선택된 모드에 따라 렌더링할 수 있다. 즉, 렌더러(220)는 선택된 모드에 따라 어플라우즈 신호에 대한 렌더링을 수행할 수 있다.
렌더링 모드 선택부(211)는 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있지 않은 경우, 일반 모드를 선택할 수 있다. 일반 모드에 의하면, 오버헤드 채널 신호는 3D 렌더러(221)에 의해 렌더링될 수 있고, 수평 채널 신호는 2D 렌더러(222)에 의해 렌더링될 수 있다. 즉, 어플라우즈 신호의 고려 없이 렌더링이 수행될 수 있다.
렌더링 모드 선택부(211)는 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있는 경우, 어플라우즈 모드를 선택할 수 있다. 어플라우즈 모드에 의하면, 어플라우즈 신호가 분리되고, 분리된 어플라우즈 신호에 대해 렌더링이 수행될 수 있다.
렌더링 모드 선택부(211)는 다채널 오디오 신호에 포함되어 있거나 다른 장치로부터 별도로 수신된 어플라우즈 비트 정보를 이용하여 어플라우즈 신호가 다채널 오디오 신호에 포함되어 있는지 여부를 소정 구간별로 판단할 수 있다. 어플라우즈 비트 정보는 MPEG 계열의 코덱에 의하면 bsTsEnable 또는 bsTempShapeEnableChannel 플래그 정보를 포함하여, 상술된 플래그 정보에 의해 렌더링 모드가 렌더링 모드 선택부(211)에 의해 선택될 수 있다.
또한, 렌더링 모드 선택부(211)는 판단하고자 하는 소정 구간의 다채널 오디오 신호의 특성에 기초하여 렌더링 모드를 선택할 수 있다. 즉, 렌더링 모드 선택부(211)는 소정 구간의 다채널 오디오 신호의 특성이 어플라우즈 신호를 포함하는 오디오 신호의 특성을 가지는지 여부에 따라 렌더링 모드를 선택할 수 있다.
렌더링 모드 선택부(211)는 소정 구간의 다채널 오디오 신호에 다수의 입력 채널에 토널(Tonal) 하지 않은 광대역(wideband) 신호가 존재하고, 그 신호의 레벨이 채널 별로 유사한지 여부, 짧은 구간의 임펄스(impulse) 형태가 반복되는지 여부 및 채널 간 연관성(correlation)이 낮은지 여부 중 적어도 하나의 조건에 기초하여 어플라우즈(applause) 신호가 다채널 오디오 신호에 포함되어 있는지 여부를 판단할 수 있다.
렌더링 모드 선택부(211)는 어플라우즈(applause) 신호가 현재 구간에서 다채널 오디오 신호에 포함되어 있는 것으로 판단한 경우, 렌더링 모드를 어플라우즈 모드로 선택할 수 있다.
렌더링 신호 분리부(212)는 렌더링 신호 선택부(211)에 의해 어플라우즈 모드가 선택된 경우, 다채널 오디오 신호에 포함된 어플라우즈 신호를 일반 음향 신호와 분리할 수 있다.
MPEG USAC 계열에서의 bsTsdEnable 플래그가 사용되는 경우, 해당 채널의 고도(elevation)에 관련 없이 플래그 정보에 따라 수평 채널 신호와 같이 2D 렌더링될 수 있다. 또한, 오버헤드 신호도 플래그 정보에 따라 수평 채널 신호로 가정되어 믹싱될 수 있다. 즉, 렌더링 신호 분리부(212)는 플래그 정보에 따라 소정 구간의 다채널 오디오 신호에 포함된 어플라우즈 신호를 분리할 수 있고, 분리된 어플라우즈 신호는 수평 채널 신호와 같이 2D 랜더링될 수 있다.
플래그가 사용되지 않는 경우, 렌더링 신호 분리부(212)는 채널들간의 신호를 분석하여 어플라우즈 신호 성분을 분리할 수 있다. 오버헤드 신호 중에서 분리된 어플라우즈 신호는 2D 렌더링되고, 어플라우즈 신호가 아닌 나머지 신호는 3D 렌더링될 수 있다.
렌더러(220)는 오버 헤드 신호를 3D 랜더링 방법에 따라 렌더링하는 3D 렌더러(221)와 수평면 채널 신호 또는 어플라우즈 신호를 2D 랜더링 방법에 따라 렌더링하는 2D 렌더러(222)를 포함할 수 있다.
3D 렌더러(221)는 오버 헤드 신호를 주파수에 따라 각각 다른 방법으로 렌더링할 수 있다. 3D 랜더러(221)는 저주파 신호는 애드 투 클로지스트 채널 방법으로 랜더링하고, 고주파 신호는 3D 랜더링 방법에 따라 랜더링할 수 있다. 이하에서, 3D 랜더링 방법은 오버헤드 신호를 랜더링하는 방법을 의미하는 것으로, 3D 랜더링 방법은 멀티 채널 패닝 방법을 포함할 수 있다.
2D 렌더러(222)는 수평면 채널 신호 또는 어플라우즈 신호를 2D 랜더링 방법, 애드 투 클로지스트 채널 방법 및 에너지 부스트(energy boost) 방법 중 적어도 하나의 방법에 따라 렌더링할 수 있다. 이하에서 2D 랜더링 방법은 수평면 채널 신호를 랜더링하는 방법을 의미하는 것으로, 2D 랜더링 방법은 다운믹스 수식(Downmix Equation) 또는 VBAP 방법을 포함할 수 있다.
3D 렌더러(221)와 2D 렌더러(222)는 각각 매트릭스화하여 간략화될 수 있다. 3D 렌더러(221)는 입력 채널, 출력 채널, 주파수의 함수로 정해질 수 있는 3D 다운믹스 매트릭스를 통해 다운 믹싱할 수 있다. 2D 렌더러(222)는 입력 채널, 출력 채널의 함수로 정해질 수 있는 2D 다운믹스 매트릭스를 통해 다운믹싱될 수 있다. 즉, 3D 또는 2D 다운믹스 매트릭스는 입력 채널, 출력 채널 또는 주파수에 따라 결정될 수 있는 계수들을 포함함으로써, 입력된 다채널 오디오 신호를 다운믹싱할 수 있다.
이는 렌더링 시 음향 신호의 위상(phase) 부분보다는 주파수 별 진폭 부분이 중요하므로 3D 렌더러(221)와 2D 렌더러(222)는 각각 주파수 값에 따라 결정될 수 있는 계수들을 포함하는 다운믹스 매트릭스를 이용하여 렌더링함으로써 렌더링의 연산량을 간략화할 수 있다. 다운믹스 매트릭스를 통해 렌더링된 신호는 믹서(230)의 파워 보존 모듈에 따라 믹싱되고, 최종 신호로 출력될 수 있다.
믹서(230)는 렌더링된 신호들을 각 채널별로 연산하여 최종 신호를 출력할 수 있다. 본 발명의 일 실시 예에 의한 믹서(230)는 각 채널에 포함된 신호들의 파워 값들에 기초하여 렌더링된 신호들을 믹싱할 수 있다. 따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(200)는 렌더링된 신호의 파워값에 기초하여 믹싱함으로써 주파수 보강 또는 상쇄에 따라 발생될 수 있는 음색 왜곡을 감소시킬 수 있다.
출력부(240)는 믹서(230)에 의해 믹싱된 신호를 스피커를 통해 최종 출력시킬 수 있다. 이때 출력부(240)는 믹싱된 신호의 채널에 따라 각각 다른 스피커를 통해 음향 신호를 출력시킬 수 있다.
도 3은 본 발명의 일 실시 예에 의한 입체 음향 재생 방법을 도시한 순서도이다.
도 3을 참조하면, 단계 S301에서 입체 음향 재생 장치(100)는 채널 정보 및 주파수에 따라 다채널 오디오 신호를 렌더링할 수 있다. 입체 음향 재생 장치(100)는 채널 정보에 따라 3D 렌더링 또는 2D 렌더링을 수행하되, 저주파 신호에 대하여는 저주파 신호의 특성을 고려하여 렌더링할 수 있다.
단계 S303에서, 입체 음향 재생 장치(100)는 단계 S301에서 렌더링된 신호들을 믹싱하여 최종 신호를 생성할 수 있다. 입체 음향 재생 장치(100)는 다채널 오디오 신호의 각 채널의 신호들을 출력할 채널을 정함으로써 렌더링하고, 렌더링된 신호들을 합하거나 연산함으로써 믹싱하고, 최종 신호를 생성할 수 있다.
도 4는 본 발명의 일 실시 예에 있어서, 어플라우즈 신호를 포함하는 오디오 신호에 대한 입체 음향 재생 방법을 도시한 순서도이다.
도 4를 참조하면, 단계 S401에서 입체 음향 재생 장치(200)는 다채널 오디오 신호에 어플라우즈 신호가 포함되어 있는지 판단하기 위해 다채널 오디오 신호를 소정 구간 별로 분석할 수 있다.
단계 S403에서, 입체 음향 재생 장치(200)는 입력된 다채널 오디오 신호에 어플라우즈 신호가 포함되어 있는지 여부를 소정 구간 별로 판단할 수 있다. 예를 들면, 1 프레임 별로 판단될 수 있다. 입체 음향 재생 장치(200)는 플래그 정보 또는 판단하고자 하는 소정 구간의 다채널 오디오 신호를 분석함으로써 어플라우즈 신호의 포함 여부를 소정 구간 별로 판단할 수 있다. 입체 음향 재생 장치(200)는 어플라우즈 신호를 오버 헤드 신호 또는 수평면 채널 신호와는 분리하여 처리함으로써 어플라우즈 신호를 믹싱할 때 발생될 수 있는 음질 왜곡을 최소화할 수 있다.
단계 S405에서, 어플라우즈 신호가 포함되어 있는 것으로 판단된 경우, 입체 음향 재생 장치(200)는 어플라우즈 신호를 분리하여, 단계 S407에서 어플라우즈 신호와 수평면 채널의 신호를 2D 렌더링할 수 있다.
수평면 채널의 신호는 다운 믹스 수식(Downmix Equation) 또는 VBAP(vector base amplitude panning) 방법에 따라 2D 렌더링될 수 있다.
어플라우즈 신호는 애드 투 클로지스트 채널 방법에 따라 고도 음향을 포함하는 채널을 수평면에 투영하였을 경우 가장 가까운 채널에 렌더링되거나 2D 렌더링 방법에 따라 렌더링된 후, 에너지 부스트 방식에 따라 믹싱될 수 있다.
어플라우즈 신호는 2D 또는 3D 렌더링 방법에 따라 렌더링하여 믹싱하는 경우, 믹싱된 신호에 트랜지언트한 성분의 개수가 많아져 화이트닝(whitening) 현상이 발생하거나 채널간 크로스-연관성(correlation)이 높아져 음상이 좁아질 수 있다. 따라서, 화이트닝 현상이나 음상이 좁아지는 현상을 방지하기 위해 입체 음향 재생 장치(200)는 저주파 신호를 3D 렌더링할 때 사용되는 애드 투 클로지스트 채널 방법 또는 에너지 부스트 방식에 따라 어플라우즈 신호를 렌더링하고 믹싱할 수 있다.
에너지 부스트 방식은, 여러 채널의 오디오 신호들이 하나의 채널로 믹싱되는 경우에, 트랜지언트한 주기가 바뀌어 음색이 화이트닝되는 현상을 막기 위해서 수평면 채널 신호의 에너지를 키워주는 방법으로 믹싱하는 방법을 의미한다. 에너지 부스트 방식은 렌더링된 어플라우즈 신호를 믹싱하는 방법에 관한 것이다.
에너지 부스트 방식에 따른 어플라우즈 신호를 믹싱하는 방법은 아래 수학식 1에 따라 수행될 수 있다.
[수학식 1]
Figure 112013096995006-pat00001
(주파수 도메인에서의 처리)
ωin , out은 다운 믹싱 게인(downmixing gain)을 의미하는 것으로, 어플라우즈 신호는 다채널 오디오 신호의 각 채널들이 재생될 채널로 렌더링되고, 믹싱될 때 각 채널별로 다운 믹싱 게인이 적용될 수 있다. 다운 믹싱 게인은 각 채널들이 렌더링되는 채널에 따라 소정 값으로 미리 결정될 수 있다. xin = out[l,k]은 출력 레이아웃에 대응되도록 렌더링된 어플라우즈 신호를 나타내는 것으로 어느 하나의 어플라우즈 신호를 의미한다. l은 음향 신호의 소정 구간을 식별하기 위한 값이고, k는 주파수를 나타낸다. xin = out[l,k]/|xin = out[l,k]| 는 입력된 어플라우즈 신호의 위상 값을 나타내고, 수학식 1의 루트 안의 값들은 동일한 출력 채널에 대응된 어플라우즈 신호들의 파워, 즉 에너지 값들의 합을 의미할 수 있다.
수학식 1을 참조하면, 출력 레이아웃의 한 채널에 렌더링된 다수의 어플라우즈 신호에 다운 믹싱 게인이 적용된 값들의 파워 값만큼 재생될 각 채널의 게인이 수정될 수 있다. 따라서, 어플라우즈 신호는 에너지 값들의 합만큼 진폭이 커질 수 있고, 위상차로 인해 발생될 수 있는 화이트닝 현상이 방지될 수 있다.
단계 S409에서, 입체 음향 재생 장치(200)는 어플라우즈 신호가 포함되어 있지 않은 것으로 판단된 경우, 수평 채널의 신호를 2D 렌더링할 수 있다.
단계 S411에서, 입체 음향 재생 장치(200)는 오버헤드 채널 신호를 입체 음향 신호가 제공될 수 있도록 HRTF 필터로 필터링할 수 있다. 오버헤드 채널 신호가 주파수 도메인의 신호이거나 필터 뱅크 샘플인 경우, 스펙트럼의 상대적인 웨이팅(weighting)만 제공하기 위한 필터이므로 단순한 곱셈으로 HRTF 필터링이 수행될 수 있다.
단계 S413에서, 입체 음향 재생 장치(200)는 오버헤드 채널 신호를 고주파와 저주파로 분리할 수 있다. 예를 들면, 입체 음향 재생 장치(200)는 1kHz를 기준으로 그 이하의 주파수를 갖는 음향 신호를 저주파로 분리할 수 있다. 저주파 성분은 회절이 강한 음향적인 특징에 따라 애드 투 클로지스트 채널 방법에 따라 렌더링될 수 있다.
단계 S415에서, 입체 음향 재생 장치(200)는 고주파 신호로 분리된 신호는 3D 렌더링 방법에 따라 렌더링할 수 있다. 3D 렌더링 방법은 멀티 채널 패닝 방법을 포함할 수 있다. 멀티 채널 패닝(panning)이란 다채널 오디오 신호의 각 채널 신호들이 재생될 채널들에 배분되는 것을 의미할 수 있다. 이때, 패닝 계수가 적용된 각 채널 신호들이 재생될 채널들에 배분될 수 있다. 고주파 신호의 경우, 고도감이 올라갈수록 두 귀간의 레벨 차이(Interaural level difference, ILD)가 줄어드는 특성을 제공하기 위해 서라운드 채널에 신호가 배분될 수 있다. 또한, 프론트 채널과 패닝되는 다수의 채널의 개수에 의해 음향 신호의 방향이 정위될 수 있다.
단계 S417에서, 입체 음향 재생 장치(100)는 저주파 신호는 상술된 애드 투 클로지스트 채널 방법에 따라 렌더링할 수 있다. 하나의 채널에 많은 신호, 즉 다채널 오디오 신호의 여러 개의 채널 신호가 섞이게 되면 각기 다른 위상으로 인해 음질이 상쇄되거나 증폭됨에 따라 음질 열화가 발생될 수 있다. 애드 투 클로지스트 채널 방법에 의하면, 입체 음향 재생 장치(100)는 상술된 음질 열화의 발생을 방지하기 위해 각 채널 수평면에 투영하였을 경우 가장 가까운 채널로 이하 표 1과 같이 매핑할 수 있다.
입력 채널(22.2) 출력 채널(5.1)
Top Front Left(TFL) Front Left(FL)
Top Front Right(TFR) Front Right(FR)
Top Surr Left (TSL) Surround Left (SL)
Top Surr Right (TSR) Surround Right (SR)
Top Back Left (TBL) Surround Left (SL)
Top Back Right (TBR) Surround Right (SR)
Top Front Center (TFC) Front Center (FC)
Top Back Center (TBC) Surrounds (SL & SR)
Voice of God (VOG) Front & Surr (FL, FR, SL, SR)
표 1을 참조하면, 오버헤드 채널들 중 가까운 채널이 복수 개 존재하는 TBC와 VOG 같은 채널은 음상 정위를 위해 패닝 계수(panning coeffiecient)에 의해 5.1 채널에 배분될 수 있다.
표 1에 도시된 매핑 관계는 예시에 불과하며, 이에 한하지 않고 각 채널들은 다르게 매핑될 수 있다.
다채널 오디오 신호가 주파수 신호 또는 필터 뱅크 신호인 경우, 저주파에 해당하는 빈(bin) 또는 밴드(band)는 애드 투 클로지스트 채널 방법, 고주파에 해당하는 빈(bin) 또는 밴드(band)는 멀티 채널 패닝 방법에 따라 렌더링될 수 있다. 빈(bin) 또는 밴드(band)는 주파수 도메인에서의 소정 단위만큼의 신호 구간을 의미할 수 있다.
단계 S419에서, 입체 음향 재생 장치(100)는 각 채널에 렌더링된 신호들을 파워 값에 기초하여 믹싱할 수 있다. 이때 입체 음향 재생 장치(100)는 주파수 도메인에서 믹싱할 수 있다. 각 채널에 렌더링된 신호들을 파워 값에 기초하여 믹싱하는 방법에 관하여는 이하 도 6 내지 도 7에서 더 자세히 설명하기로 한다.
단계 S421에서, 입체 음향 재생 장치(100)는 믹싱된 최종 신호를 출력할 수 있다.
도 5는 본 발명의 일 실시 예에 있어서, 3D 렌더러의 내부 구조를 나타낸 블록도이다. 도 5의 3D 렌더러(500)는 도 2의 3D 렌더러(221)와 대응되며 중복되는 설명은 생략하기로 한다.
도 5를 참조하면, 3D 렌더러(500)는 HRTF 필터(510), LPF(520), HPF(530), 애드-투-클로지스트 채널(540) 및 멀티채널 패닝(550)을 포함할 수 있다.
HRTF 필터(510)는 다채널 오디오 신호 중 오버헤드 채널 신호를 HRTF 필터링할 수 있다.
LPF(520)는 HRTF 필터링된 오버헤드 채널 신호 중 저주파 성분을 분리하여 출력할 수 있다.
HPF(320)는 HRTF 필터링된 오버헤드 채널 신호 중 고주파 성분을 분리하여 출력할 수 있다.
애드 투 클로지스트 채널(540)는 오버헤드 채널 신호 중 저주파 성분을 각 채널 수평면에 투영하였을 경우 가장 가까운 채널로 렌더링할 수 있다.
멀티 채널 패닝(550)는 오버헤드 채널 신호 중 고주파 성분을 멀티 채널 패닝 방법에 따라 렌더링할 수 있다.
도 6은 본 발명의 일 실시 예에 의한 렌더링된 오디오 신호를 믹싱하는 방법을 도시한 순서도이다. 도 6의 단계 S601 내지 S605는 도 4의 단계 S419와 대응되며, 중복되는 설명은 생략하기로 한다.
도 6을 참조하면, 단계 S601에서 입체 음향 재생 장치(100)는 렌더링된 오디오 신호를 획득할 수 있다.
단계 S603에서, 입체 음향 재생 장치(100)는 각 채널별로 렌더링된 신호들의 파워값들을 획득하여, 단계 S605에서 각 채널별로 획득된 파워 값에 기초하여 믹싱함으로써 최종 신호를 생성할 수 있다.
도 7은 본 발명의 일 실시 예에 의한 렌더링된 오디오 신호를 주파수에 따라 믹싱하는 방법을 도시한 순서도이다. 도 7의 단계 S701 및 단계 S703은 도 6의 단계 S601 및 단계 S603과 대응되며 중복되는 설명은 생략하기로 한다.
도 7을 참조하면, 단계 S701에서 입체 음향 재생 장치(100)는 렌더링된 오디오 신호를 획득할 수 있다.
단계 S703에서, 입체 음향 재생 장치(100)는 파워 보존 모듈(power preserving module)에 따라 각 채널별로 렌더링된 신호들의 파워값들을 획득하고, 단계 S705에서, 획득된 파워값에 기초하여 믹싱할 수 있다. 각 채널별로 렌더링된 신호들의 파워값들은 각 채널별로 렌더링된 신호들의 제곱의 합을 구함으로써 획득될 수 있다.
[수학식 2]
Figure 112013096995006-pat00002
(주파수 도메인에서의 처리)
xin , out은 어느 하나의 채널에 렌더링된 오디오 신호들이고, xout은 어느 하나의 채널에 렌더링된 신호들의 총 합을 나타내고, l은 다채널 오디오 신호의 현재 구간을 나타낸다. k는 주파수를 나타내고, yout은 파워 보존 모듈에 따라 믹싱된 신호를 나타낸다.
파워 보존 모듈에 의하면, 상술된 각 채널별로 렌더링된 신호들의 파워값들에 기초하여 최종 믹싱된 신호의 파워가 믹싱되기 전의 파워로 유지될 수 있도록 믹싱될 수 있다. 따라서, 파워 보존 모듈에 따르면, 믹싱된 신호가 렌더링된 신호들이 더해질 때 보강 또는 상쇄 간섭으로 인해 음향 신호가 왜곡되는 것을 방지할 수 있다.
수학식 2를 참조하면, 입체 음향 재생 장치(100)는 파워 보존 모듈에 따라 각 채널별로 렌더링된 신호들의 총 합에 대한 위상(phase)에 각 채널 별로 렌더링된 신호들의 파워값을 적용함으로써 렌더링된 신호를 믹싱할 수 있다.
단계 S701에서 획득된 신호가 시간 도메인인 경우, 주파수 도메인으로 변환된 후, 수학식 2에 따라 믹싱될 수 있다. 이때 시간 도메인의 음향 신호는 주파수 또는 필터 뱅크 스키마에 따라 주파수 도메인으로 변환될 수 있다.
그러나, 입체 음향 재생 장치(100)가 소정 구간별로 파워 보존 모듈을 적용하는 경우, 소정 구간 별로, 각 신호들의 파워값을 추정하게 되는데, 저주파의 경우, 파워값을 추정할 수 있는 구간이 파장에 비해 충분하지 않다. 따라서, 각 구간마다 추정된 파워값이 달라질 수 있어 파워 보존 모듈이 적용된 구간의 경계에서 불연속적인 부분이 생길 수 있다. 반면, 고주파의 경우, 파워값을 추정할 수 있는 구간이 파장에 비해 충분하므로, 구간의 경계에서 불연속적인 부분이 발생될 가능성이 낮을 수 있다. 즉, 이하에서 설명될 원폴 스무딩 방법(one-pole smoothing)은 파워값을 추정할 수 있는 구간이 파장에 비해 충분한지 여부에 따라 적용될 수 있다.
본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 단계 S707에서, 단계 S705에서 믹싱된 신호에 저주파 신호에 해당하는 부분이 존재하는지 여부를 판단할 수 있다. 믹싱된 신호에 저주파 신호에 해당하는 부분이 존재하는 경우, 입체 음향 재생 장치(100)는 단계 S709 내지 단계 S711에서 아래 수학식 3의 원폴 스무딩 방법을 이용하여 파워 보존 모듈이 적용된 구간의 경계에서 발생된 불연속적인 부분을 제거할 수 있다.
[수학식 3]
Figure 112013096995006-pat00003
(주파수 도메인에서의 처리)
Figure 112013096995006-pat00004
Pout은 이전 구간의 Pout과 현재 구간의 믹싱된 신호의 총 합의 파워값에 기초하여 획득될 수 있다.
Pin은 이전 구간의 Pin과 현재 구간의 렌더링된 각 신호들의 파워값들의 총 합에 기초하여 획득될 수 있다.
이전 구간의 Pout 또는 Pin에 적용될 수 있는 γ에 따라 이전 구간의 파워값이 수식에 적용될 수 있는데, γ은 저주파의 파장이 길수록 또는 주파수 값이 작을 수록 작은 값을 가지도록 결정될 수 있다.
본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 불연속적인 부분을 제거하기 위해, 이전 구간에서 렌더링된 신호들 또는 렌더링된 신호들을 더한 신호의 파워값에 기초하여 믹싱된 신호의 게인을 조절할 수 있다.
더하여, 수학식 3과 비슷하게 출력 신호의 게인을 이전 구간의 출력 신호의 게인 값에 기초하여 획득될 수 있도록 함으로써 불연속적인 부분을 제거하기 위해 수학식 4와 같이 처리될 수도 있다.
[수학식 4]
Figure 112013096995006-pat00005
(주파수 도메인에서의 처리)
Figure 112013096995006-pat00006
본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 불연속적인 부분을 제거하기 위해, 이전 구간에서 렌더링된 신호들 또는 렌더링된 신호들을 더한 신호에 적용된 게인값에 기초하여 믹싱된 신호의 게인을 조절할 수 있다.
도 8은 본 발명의 일 실시 예에 의한 렌더링된 오디오 신호를 주파수에 따라 믹싱하는 일 예를 도시한 예시도이다.
도 8을 참조하면, 렌더링된 오디오 신호(801, 802)를 더한 믹싱 과정 중의 신호(803)를 참조하면, 렌더링된 오디오 신호들(801, 802)은 위상 차이로 인해, 더한 값의 진폭이 증폭됨에 따라 소리가 크게 들리게 될 수 있다.
따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 파워 보존 모듈을 적용함으로써, 믹싱 과정 중의 신호(803)의 게인을 렌더링된 오디오 신호들(801, 802)의 파워값에 기초하여 결정할 수 있다.
파워 보존 모듈에 따라 믹싱된 신호(804)는 렌더링된 오디오 신호들(801, 802)과 비슷한 크기의 진폭을 가지도록 조절되었으나, 소정 구간별로 파워 보존 모듈이 적용됨에 따라 구간마다 불연속적인 부분을 포함할 수 있다.
따라서, 본 발명의 일 실시 예에 의한 입체 음향 재생 장치(100)는 원폴 스무딩 기법에 따라서, 이전 구간의 파워 값을 참조하여, 믹싱된 신호를 스무딩 처리함으로써 최종 신호(805)를 구할 수 있다.
도 9 및 도 10은 본 발명의 일 실시 예에 의한 입체 음향 재생 장치의 내부 구조를 나타낸 블록도이다.
도 9를 참조하면, 입체 음향 재생 장치(900)는 3D 렌더러(910), 2D 렌더러(920), 웨이팅 적용부(930), 믹서(940)를 포함할 수 있다. 도 9의 3D 렌더러(910), 2D 렌더러(920) 및 믹서(940)는 도 2의 3D 렌더러(221), 2D 렌더러(222) 및 믹서(230)와 대응되고, 중복되는 설명은 생략할 수 있다.
3D 렌더러(910)는 다채널 오디오 신호 중 오버헤드 채널 신호에 대하여 렌더링할 수 있다.
2D 렌더러(920)는 다채널 오디오 신호 중 수평면 채널 신호에 대하여 렌더링할 수 있다.
웨이팅 적용부(930)는 3D 렌더러(910)에 의해 렌더링될 수 있는 레이아웃 중 재생될 신호의 채널 레이아웃과 일치하지 않는 경우, 다채널 오디오 신호를 재생될 채널 레이아웃에 따라 출력하기 위한 구성요소이다. 재생될 채널의 레이아웃이란 재생될 채널 신호가 출력될 스피커들의 배치 정보를 의미할 수 있다.
2D 렌더러(920)가 VBAP 방법으로 렌더링하는 경우, 임의의 레이아웃 채널 환경에서도 수평면 채널 신호에 대한 렌더링이 가능하다. VBAP 방법에 의하면 입체 음향 재생 장치(900)는 벡터 기반의 간단한 계산 만으로 임의의 스피커 환경에서의 패닝 게인을 구하여 다채널 오디오 신호를 렌더링할 수 있다. 따라서, 임의의 재생 채널 레이아웃이 3D 렌더러(910)에 의해 렌더링되는 레이아웃과 유사한 정도에 따라 웨이팅이 결정될 수 있다. 예를 들면, 3D 렌더러(910)가 다채널 오디오 신호를 5.1 채널의 재생 환경으로 렌더링하는 경우, 렌더링하고자 하는 임의의 레이아웃 채널 환경이 5.1 채널의 재생 환경과 레이아웃이 얼마나 다른지에 따라서 웨이팅이 결정될 수 있다.
그리고, 3D 웨이팅 적용부(930)는 3D 렌더러(910) 및 2D 렌더러(920)에 의해 렌더링된 신호에 각각 결정된 웨이팅을 적용하여 출력할 수 있다.
도 10을 참조하면, 입체 음향 재생 장치(1000)는 3D 렌더러(1010), 2D 렌더러(1020) 및 믹서(1030)를 포함할 수 있다. 도 9의 3D 렌더러(1010), 2D 렌더러(1020) 및 믹서(1030)는 도 2의 3D 렌더러(221), 2D 렌더러(222) 및 믹서(230)와 대응되고, 중복되는 설명은 생략할 수 있다.
3D 렌더러(1010)는 렌더링할 수 있는 레이아웃 중 출력될 채널의 레이아웃과 가장 유사한 레이아웃으로 렌더링할 수 있다. 그리고, 2D 렌더러(1020)는 3D 렌더러(1010)에 의해 렌더링된 신호를 각 채널별로 출력될 신호의 채널 레이아웃으로 다시 패닝시켜(repanning) 렌더링할 수 있다.
예를 들면, 3D 렌더러(1010)가 다채널 오디오 신호를 5.1 채널의 재생 환경으로 렌더링하는 경우, 2D 렌더러(1020)는 VBAP 방법에 따라 렌더링하고자 하는 임의의 레이아웃 채널 환경에 따라서 3D 렌더링된 신호를 다시 패닝시켜 렌더링할 수 있다.
본 발명의 일 실시 예에 의한, 입체 음향 재생 장치는 음성 신호 중 고도 성분을 수평면 상에 배치된 스피커에서 고도감 있게 재생할 수 있다.
본 발명의 일 실시 예에 의한, 입체 음향 재생 장치는 다채널 오디오 신호를 채널 수가 적은 환경에서 재생할 때, 음색이 변하거나 소리가 사라지는 현상을 최소화할 수 있다.
본 발명의 일 실시 예에 의한 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (21)

  1. 적어도 하나의 높이 입력 채널 신호를 포함하는 멀티채널 신호들을 수신하는 단계;
    출력 레이아웃에 대해 3차원(3D) 렌더링을 위한 제 1 다운믹스 매트릭스를 획득하는 단계;
    출력 레이아웃에 대해 2차원(2D) 렌더링을 위한 제 2 다운믹스 매트릭스를 획득하는 단계; 및
    상기 제 1 다운믹스 매트릭스 및 상기 제 2 다운믹스 매트릭스 중 적어도 하나에 기초하여 상기 멀티채널 신호들을 렌더링하는 단계를 포함하고,
    상기 출력 레이아웃은 5.1 채널 포멧이고,
    상기 적어도 하나의 높이 입력 채널 신호에 대해 상기 제1 다운믹스 매트릭스와 상기 제2 다운믹스 매트릭스는 서로 다른 고도 렌더링을 수행하고,
    상기 렌더링하는 단계는
    렌더링 타입 정보가, 상기 멀티채널 신호들이 고도의 비상관 광대역 신호를 포함한다고 가리키면 상기 제2 다운믹스 매트릭스를 이용하여 상기 멀티 채널 신호들을 렌더링하고,
    상기 렌더링 타입 정보가, 상기 멀티채널 신호들이 일반 신호를 포함한다고 가리키면 상기 제1 다운믹스 매트릭스를 이용하여 상기 멀티채널 신호들을 렌더링하는 오디오 신호 렌더링 방법.
  2. 제1항에 있어서,
    상기 렌더링 타입 정보는 비트스트림에 포함된 파라미터에 의해 식별되는, 오디오 신호 렌더링 방법.
  3. 제2항에 있어서,
    상기 파라미터는 상기 멀티 채널 신호들의 특성에 기초하여 결정되는, 오디오 신호 렌더링 방법.
  4. 제1항에 있어서, 상기 렌더링 타입 정보는 프레임마다 식별되는 것을 특징으로 하는 오디오 신호 렌더링 방법.
  5. 제1항에 있어서, 상기 제1 다운믹스 매트릭스와 상기 제2 다운믹스 매트릭스 중 하나를 선택하기 위해 조건에 따라 상기 렌더링 타입을 식별하는 단계를 더 포함하고,
    상기 조건은 상기 멀티채널 신호들에 광대역 신호가 존재하고,
    상기 멀티채널 신호들의 구간의 임펄스가 반복되고,
    채널간 연관성이 낮은 경우인, 오디오 신호 렌더링 방법.
  6. 제1항에 있어서, 상기 렌더링하는 단계는 주파수 범위에 따라 다른 패닝 방법에 의하여 상기 멀티채널 신호들을 패닝하는 단계를 포함하는, 오디오 신호 렌더링 방법.
  7. 제6항에 있어서, 상기 패닝 방법은 애드 투 클로지스트 채널 방법을 포함하는 오디오 신호 렌더링 방법.
  8. 제1항에 있어서,
    상기 렌더링하는 단계는,
    상기 멀티채널 신호들의 파워 값에 기초하여, 상기 파워 값이 보존되도록 상기 멀티채널 신호들을 렌더링하는 단계를 포함하는 오디오 신호 렌더링 방법.
  9. 제1항에 있어서, 상기 렌더링하는 단계는 a head related transfer function (HRTF)에 따라 음의 톤 컬러(tone color)를 이퀄라이징하는 단계를 포함하는, 오디오 신호 렌더링 방법.
  10. 적어도 하나의 높이 입력 채널 신호를 포함하는 멀티채널 신호들을 수신하는 수신부; 및
    출력 레이아웃에 대해 3차원(3D) 렌더링을 위한 제 1 다운믹스 매트릭스를 획득하고, 출력 레이아웃에 대해 2차원(2D) 렌더링을 위한 제 2 다운믹스 매트릭스를 획득하고, 상기 제 1 다운믹스 매트릭스 및 상기 제 2 다운믹스 매트릭스 중 적어도 하나에 기초하여 상기 멀티채널 신호들을 렌더링하는 렌더링부;를 포함하고,
    상기 출력 레이아웃은 5.1 채널 포맷이고,
    상기 적어도 하나의 높이 입력 채널 신호에 대해 상기 제1 다운믹스 매트릭스와 상기 제2 다운믹스 매트릭스는 서로 다른 렌더링을 수행하고,
    상기 렌더링부는
    렌더링 타입 정보가, 상기 멀티채널 신호들이 고도의 비상관 광대역 신호를 포함한다고 가리키면 상기 제2 다운믹스 매트릭스를 이용하여 상기 멀티 채널 신호들을 렌더링하고, 상기 렌더링 타입 정보가, 상기 멀티채널 신호들이 일반 사운드를 포함한다고 가리키면 상기 제1 다운믹스 매트릭스를 이용하여 상기 멀티채널 신호들을 렌더링하는 오디오 신호 렌더링 장치.
  11. 제10항에 있어서,
    상기 렌더링 타입 정보는 비트스트림에 포함된 파라미터에 의해 식별되는, 오디오 신호 렌더링 장치.
  12. 제11항에 있어서, 상기 파라미터는 상기 멀티 채널 신호들의 특성에 기초하여 결정되는, 오디오 신호 렌더링 장치.
  13. 제10항에 있어서,
    상기 렌더링부는 상기 멀티채널 신호들이 어플라우즈 신호(applause signal)을 포함하는 경우, 상기 제 2 다운믹스 매트릭스를 사용하여 상기 멀티채널 신호들을 렌더링하는 오디오 신호 렌더링 장치.
  14. 제10항에 있어서, 상기 렌더링부는 상기 제1 다운믹스 매트릭스와 상기 제2 다운믹스 매트릭스 중 하나를 선택하기 위해 조건에 따라 상기 렌더링 타입을 식별하고,
    상기 조건은 상기 멀티채널 신호들에 광대역 신호가 존재하고,
    상기 멀티채널 신호들의 구간의 임펄스가 반복되고, 및
    채널간 연관성이 낮은 경우인, 오디오 신호 렌더링 장치.
  15. 제10항에 있어서,
    상기 렌더링 타입 정보는 프레임마다 식별되는 것을 특징으로 하는 오디오 신호 렌더링 장치.
  16. 제1항에 기재된 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020130128038A 2013-10-25 2013-10-25 입체 음향 재생 방법 및 장치 KR102231755B1 (ko)

Priority Applications (19)

Application Number Priority Date Filing Date Title
KR1020130128038A KR102231755B1 (ko) 2013-10-25 2013-10-25 입체 음향 재생 방법 및 장치
PCT/KR2014/010134 WO2015060696A1 (ko) 2013-10-25 2014-10-27 입체 음향 재생 방법 및 장치
MX2016004750A MX355499B (es) 2013-10-25 2014-10-27 Metodo y aparato para la reproduccion de sonido estereofonico.
SI201432035T SI3833054T1 (sl) 2013-10-25 2014-10-27 Postopek in naprava za stereofonično reprodukcijo zvoka
EP20150554.2A EP3664475B1 (en) 2013-10-25 2014-10-27 Stereophonic sound reproduction method and apparatus
CN201480058551.1A CN105684466B (zh) 2013-10-25 2014-10-27 立体声再现方法和设备
ES21154301T ES2952212T3 (es) 2013-10-25 2014-10-27 Procedimiento y aparato de reproducción de sonido estereofónico
EP23166702.3A EP4221261A1 (en) 2013-10-25 2014-10-27 Stereophonic sound reproduction method and apparatus
JP2016523302A JP6382965B2 (ja) 2013-10-25 2014-10-27 オーディオ信号レンダリング方法及び装置
EP14855641.8A EP3035711B1 (en) 2013-10-25 2014-10-27 Stereophonic sound reproduction method and apparatus
CN201711070035.2A CN107734445B (zh) 2013-10-25 2014-10-27 立体声再现方法和设备
US15/029,143 US10091600B2 (en) 2013-10-25 2014-10-27 Stereophonic sound reproduction method and apparatus
PL20150554T PL3664475T3 (pl) 2013-10-25 2014-10-27 Sposób i urządzenie do odtwarzania dźwięku stereofonicznego
EP21154301.2A EP3833054B1 (en) 2013-10-25 2014-10-27 Stereophonic sound reproduction method and apparatus
PL21154301.2T PL3833054T3 (pl) 2013-10-25 2014-10-27 Sposób i urządzenie do odtwarzania dźwięku stereofonicznego
JP2018146254A JP6660982B2 (ja) 2013-10-25 2018-08-02 オーディオ信号レンダリング方法及び装置
US16/114,843 US10645513B2 (en) 2013-10-25 2018-08-28 Stereophonic sound reproduction method and apparatus
US16/861,354 US11051119B2 (en) 2013-10-25 2020-04-29 Stereophonic sound reproduction method and apparatus
KR1020210035366A KR102380232B1 (ko) 2013-10-25 2021-03-18 입체 음향 재생 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130128038A KR102231755B1 (ko) 2013-10-25 2013-10-25 입체 음향 재생 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210035366A Division KR102380232B1 (ko) 2013-10-25 2021-03-18 입체 음향 재생 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150047943A KR20150047943A (ko) 2015-05-06
KR102231755B1 true KR102231755B1 (ko) 2021-03-24

Family

ID=52993205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130128038A KR102231755B1 (ko) 2013-10-25 2013-10-25 입체 음향 재생 방법 및 장치

Country Status (10)

Country Link
US (3) US10091600B2 (ko)
EP (4) EP3664475B1 (ko)
JP (2) JP6382965B2 (ko)
KR (1) KR102231755B1 (ko)
CN (2) CN107734445B (ko)
ES (1) ES2952212T3 (ko)
MX (1) MX355499B (ko)
PL (2) PL3664475T3 (ko)
SI (1) SI3833054T1 (ko)
WO (1) WO2015060696A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6866679B2 (ja) * 2017-02-20 2021-04-28 株式会社Ｊｖｃケンウッド 頭外定位処理装置、頭外定位処理方法、及び頭外定位処理プログラム
WO2018173413A1 (ja) * 2017-03-24 2018-09-27 シャープ株式会社 音声信号処理装置及び音声信号処理システム
EP3649640A1 (en) 2017-07-03 2020-05-13 Dolby International AB Low complexity dense transient events detection and coding
EP3726859A4 (en) 2017-12-12 2021-04-14 Sony Corporation SIGNAL PROCESSING DEVICE AND METHOD, AND PROGRAM

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329746A (ja) * 2006-06-08 2007-12-20 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置
JP2011066868A (ja) * 2009-08-18 2011-03-31 Victor Co Of Japan Ltd オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4306029B2 (ja) 1999-06-28 2009-07-29 ソニー株式会社 音場再生システム
US7558393B2 (en) * 2003-03-18 2009-07-07 Miller Iii Robert E System and method for compatible 2D/3D (full sphere with height) surround sound reproduction
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
DE102004057500B3 (de) * 2004-11-29 2006-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Ansteuerung einer Beschallungsanlage und Beschallungsanlage
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
US7974713B2 (en) 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
US8249283B2 (en) 2006-01-19 2012-08-21 Nippon Hoso Kyokai Three-dimensional acoustic panning device
JP2009526467A (ja) * 2006-02-09 2009-07-16 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置
WO2007136166A1 (en) 2006-05-23 2007-11-29 Lg Electronics Inc. Digital broadcasting system and method of processing data
KR101297300B1 (ko) 2007-01-31 2013-08-16 삼성전자주식회사 스피커 어레이를 이용한 프론트 서라운드 재생 시스템 및그 신호 재생 방법
KR100943215B1 (ko) 2007-11-27 2010-02-18 한국전자통신연구원 음장 합성을 이용한 입체 음장 재생 장치 및 그 방법
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
CA2746507C (en) 2008-12-11 2015-07-14 Andreas Walther Apparatus for generating a multi-channel audio signal
KR101387808B1 (ko) 2009-04-15 2014-04-21 한국전자통신연구원 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치
JP6013918B2 (ja) 2010-02-02 2016-10-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 空間音声再生
EP2375410B1 (en) 2010-03-29 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A spatial audio processor and a method for providing spatial parameters based on an acoustic input signal
JP5604933B2 (ja) 2010-03-30 2014-10-15 富士通株式会社 ダウンミクス装置およびダウンミクス方法
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5992409B2 (ja) * 2010-07-22 2016-09-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 音再生のためのシステム及び方法
CN103180898B (zh) * 2010-08-25 2015-04-08 弗兰霍菲尔运输应用研究公司 用于利用合成单元和混频器解码包括瞬时的信号的设备
EP2700250B1 (en) * 2011-04-18 2015-03-04 Dolby Laboratories Licensing Corporation Method and system for upmixing audio to generate 3d audio
KR101783962B1 (ko) 2011-06-09 2017-10-10 삼성전자주식회사 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치
US9754595B2 (en) * 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
TW202339510A (zh) * 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
EP2645749B1 (en) * 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
CN102664017B (zh) * 2012-04-25 2013-05-08 武汉大学 一种3d音频质量客观评价方法
EP2862370B1 (en) * 2012-06-19 2017-08-30 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9913064B2 (en) * 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
US9549276B2 (en) 2013-03-29 2017-01-17 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
CN105376691B (zh) * 2014-08-29 2019-10-08 杜比实验室特许公司 感知方向的环绕声播放

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329746A (ja) * 2006-06-08 2007-12-20 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置
JP2011066868A (ja) * 2009-08-18 2011-03-31 Victor Co Of Japan Ltd オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置

Also Published As

Publication number Publication date
EP3035711B1 (en) 2020-06-03
EP4221261A1 (en) 2023-08-02
US11051119B2 (en) 2021-06-29
CN105684466B (zh) 2017-11-28
US20160269845A1 (en) 2016-09-15
EP3833054B1 (en) 2023-06-28
PL3664475T3 (pl) 2021-07-05
PL3833054T3 (pl) 2023-08-21
CN107734445B (zh) 2019-10-15
JP6660982B2 (ja) 2020-03-11
KR20150047943A (ko) 2015-05-06
JP6382965B2 (ja) 2018-08-29
MX2016004750A (es) 2016-07-22
JP2018201224A (ja) 2018-12-20
EP3035711A4 (en) 2017-04-12
WO2015060696A1 (ko) 2015-04-30
CN107734445A (zh) 2018-02-23
US10091600B2 (en) 2018-10-02
SI3833054T1 (sl) 2023-08-31
EP3833054A1 (en) 2021-06-09
US10645513B2 (en) 2020-05-05
US20200260204A1 (en) 2020-08-13
MX355499B (es) 2018-04-20
EP3035711A1 (en) 2016-06-22
EP3664475A1 (en) 2020-06-10
EP3664475B1 (en) 2021-03-31
JP2016537864A (ja) 2016-12-01
ES2952212T3 (es) 2023-10-30
CN105684466A (zh) 2016-06-15
US20180367933A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
KR102160254B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
KR101567461B1 (ko) 다채널 사운드 신호 생성 장치
JP2019033506A (ja) 音響信号のレンダリング方法、該装置、及びコンピュータ可読記録媒体
KR102574478B1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN113170271B (zh) 用于处理立体声信号的方法和装置
JP6660982B2 (ja) オーディオ信号レンダリング方法及び装置
KR102380232B1 (ko) 입체 음향 재생 방법 및 장치
KR102443055B1 (ko) 입체 음향 재생 방법 및 장치
KR102217832B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
KR102290417B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
US11373662B2 (en) Audio system height channel up-mixing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant