KR20170016520A - 오디오 장치 및 이의 오디오 제공 방법 - Google Patents

오디오 장치 및 이의 오디오 제공 방법 Download PDF

Info

Publication number
KR20170016520A
KR20170016520A KR1020177002771A KR20177002771A KR20170016520A KR 20170016520 A KR20170016520 A KR 20170016520A KR 1020177002771 A KR1020177002771 A KR 1020177002771A KR 20177002771 A KR20177002771 A KR 20177002771A KR 20170016520 A KR20170016520 A KR 20170016520A
Authority
KR
South Korea
Prior art keywords
rendering
audio signal
audio
channel
signal
Prior art date
Application number
KR1020177002771A
Other languages
English (en)
Other versions
KR101815195B1 (ko
Inventor
전상배
김선민
조현
김정수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170016520A publication Critical patent/KR20170016520A/ko
Application granted granted Critical
Publication of KR101815195B1 publication Critical patent/KR101815195B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

오디오 장치 및 이의 오디오 제공 방법이 제공된다. 상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 신호를 렌더링하는 방법은, 적어도 하나의 고도 입력 채널 신호를 포함하는 멀티 채널 신호들을 수신하는 단계; 적어도 하나의 고도 입력 채널 신호에 대하여, HRTF(Head-Related Transfer Function)에 기초하는 필터 계수들을 획득하는 단계; 적어도 하나의 고도 입력 채널 신호에 대하여, 적어도 하나의 고도 입력 채널 신호의 주파수 범위 및 위치 정보에 따른 패닝 게인들을 획득하는 단계; 및 수평면 레이아웃을 구성하는 복수개의 출력 채널 신호들에 의해 상승된 음상을 제공하기 위하여, 필터 계수들 및 패닝 게인들에 기초하여 멀티 채널 신호들에 대한 고도 렌더링을 수행하는 단계;를 포함한다.

Description

오디오 장치 및 이의 오디오 제공 방법{AUDIO PROVIDING APPARATUS AND METHOD THEREOF}
본 발명은 오디오 장치 및 이의 오디오 제공 방법에 관한 것으로, 동일 평면에 위치하는 복수 개의 스피커를 이용하여 고도감을 가지는 가상 오디오를 생성하여 제공하는 오디오 장치 및 이의 오디오 제공 방법에 관한 것이다.
영상 및 음향 처리 기술의 발달에 힘입어 고화질 고음질의 컨텐츠가 다량 생산되고 있다. 고화질 고음질의 컨텐츠를 요구하던 사용자는 현실감 있는 영상 및 오디오를 원하고 있으며, 이에 따라 입체 영상 및 입체 오디오에 대한 연구가 활발히 진행되고 있다.
입체 오디오는 복수 개의 스피커를 수평면상의 다른 위치에 배치하고, 각각의 스피커에서 동일한 또는 상이한 오디오 신호를 출력함으로써 사용자가 공간감을 느끼도록 하는 기술이다. 그러나, 실제 오디오는 수평면상의 다양한 위치에서 발생할 뿐만 아니라 상이한 고도에서도 발생할 수 있다. 따라서, 상이한 고도에서 발생하는 오디오 신호를 효과적으로 재생하는 기술이 필요하다.
종래에는 도 1a에 도시된 바와 같이, 오디오 신호를 제 1 고도에 대응하는 음색변환 필터(예를 들어, HRTF 보정 필터)에 통과시키고, 필터링된 오디오 신호를 복제하여 복수 개의 오디오 신호들을 생성하며, 복수의 게인 적용부에 의해 복제된 오디오 신호들이 출력될 스피커들 각각에 해당하는 게인값에 기초하여 복제된 오디오 신호들 각각을 증폭 또는 감쇄하고, 증폭 또는 감쇄된 음향 신호들을 대응하는 스피커를 통하여 출력하였다. 이에 의해, 동일 평면에 위치하는 복수 개의 스피커를 이용하여 고도감을 가지는 가상 오디오를 생성할 수 있었다.
그러나, 종래의 가상 오디오 신호 생성 방법은 스위트 스팟(sweet spot)이 좁아 현실적으로 시스템으로 재현할 경우, 성능의 한계가 존재하였다. 즉, 종래의 가상 오디오 신호는 도 1b에 도시된 바와 같이, 하나의 지점(예를 들어, 중앙에 위치한 0 영역)에만 최적화되어 렌더링되었기 때문에 하나의 지점 이외의 영역(예를 들어, 중앙에서 왼쪽에 위치한 X 영역)에서는 고도감을 가지는 가상 오디오 신호를 제대로 청취할 수 없는 문제점이 발생하였다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 복수의 가상 오디오 신호가 평면파를 가지는 음장을 형성하도록 딜레이값을 적용하여 다양한 영역에서도 가상 오디오 신호를 청취할 수 있게 하는 오디오 장치 및 이의 오디오 제공 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 주파수에 따라 서로 상이한 게인값을 적용하여 다양한 영역에서도 가상 오디오 신호를 청취할 수 있게 하는 오디오 장치 및 이의 오디오 제공 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 신호를 렌더링하는 방법은, 적어도 하나의 고도 입력 채널 신호를 포함하는 멀티 채널 신호들을 수신하는 단계; 적어도 하나의 고도 입력 채널 신호에 대하여, HRTF(Head-Related Transfer Function)에 기초하는 필터 계수들을 획득하는 단계; 적어도 하나의 고도 입력 채널 신호에 대하여, 적어도 하나의 고도 입력 채널 신호의 주파수 범위 및 위치 정보에 따른 패닝 게인들을 획득하는 단계; 및 수평면 레이아웃을 구성하는 복수개의 출력 채널 신호들에 의해 상승된 음상을 제공하기 위하여, 필터 계수들 및 패닝 게인들에 기초하여 멀티 채널 신호들에 대한 고도 렌더링을 수행하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 패닝 게인들을 획득하는 단계는, 복수 개의 출력 채널 신호들 각각이 동측(ipsilaterat) 채널 신호인지 대측(contralateral)채널 신호인지 여부에 기초하여 복수 개의 출력 채널 신호들 각각에 대한 패닝 게인들을 수정하는 단계;를 더 포함한다.
본 발명의 또 다른 실시예에 따르면, 고도 렌더링을 위한 렌더링 타입을 결정하는 단계;를 더 포함하고, 고도 렌더링은, 결정된 렌더링 타입에 기초하여 수행된다.
본 발명의 또 다른 실시예에 따르면, 렌더링 타입은 음색(timbral) 고도 렌더링 및 공간(spatial) 고도 렌더링 중 적어도 하나를 포함한다.
본 발명의 또 다른 실시예에 따르면, 렌더링 타입은 오디오 신호의 오디오 비트스트림에 포함된 정보에 기초하여 결정된다.
본 발명의 또 다른 실시예에 따르면, 적어도 하나의 높이 입력 채널 신호 각각은 복수개의 출력 채널 신호들 중 적어도 하나로 분배된다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 신호를 렌더링하는 장치는, 적어도 하나의 고도 입력 채널 신호를 포함하는 멀티 채널 신호들을 수신하는 수신부; 적어도 하나의 고도 입력 채널 신호에 대하여, HRTF(Head-Related Transfer Function)에 기초하는 필터 계수들을 획득하고, 적어도 하나의 고도 입력 채널 신호에 대하여, 적어도 하나의 고도 입력 채널 신호의 주파수 범위 및 위치 정보에 따른 패닝 게인들을 획득하고, 수평면 레이아웃을 구성하는 복수개의 출력 채널 신호들에 의해 상승된 음상을 제공하기 위하여, 필터 계수들 및 패닝 게인들에 기초하여 멀티 채널 신호에 대한 고도 렌더링을 수행하는 렌더링부;를 포함한다.
한편, 본 발명의 일 실시예에 따르면, 전술한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 다양한 위치에서 오디오 장치가 제공하는 고도감을 가지는 가상 오디오 신호를 청취할 수 있게 된다.
도 1a 및 도 1b는 종래의 가상 오디오 제공 방법을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른, 오디오 장치의 구성을 나타내는 블럭도,
도 3은 본 발명의 일 실시예에 따른, 평면파 형태의 음장을 가지는 가상 오디오를 설명하기 위한 도면,
도 4 내지 도 7은 본 발명의 다양한 실시예에 따른, 11.1 채널의 오디오 신호를 렌더링하여 7.1 채널의 스피커를 통해 출력하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 오디오 장치의 오디오 제공 방법을 설명하기 위한 도면,
도 9는 본 발명의 다른 실시예에 따른, 오디오 장치의 구성을 나타내는 블럭도,
도 10 및 도 11은 본 발명의 다양한 실시예에 따른, 11.1 채널의 오디오 신호를 렌더링하여 7.1 채널의 스피커를 통해 출력하는 방법을 설명하기 위한 도면,
도 12는 본 발명의 다른 실시예에 따른, 오디오 장치의 오디오 제공 방법을 설명하기 위한 도면,
도 13은 종래의 11.1 채널의 오디오 신호를 7.1 채널의 스피커를 통해 출력하는 방법을 설명하는 도면,
도 14 내지 도 20은 본 발명의 다양한 실시예에 따른, 복수의 렌더링 방법을 이용하여 11.1 채널의 오디오 신호를 7.1 채널의 스피커를 통해 출력하는 방법을 설명하는 도면,
도 21은 본 발명의 일 실시예에 따른, MPEG SURROUND와 같은 구조의 채널 확장 코덱을 사용하는 경우, 복수의 렌더링 방법으로 렌더링을 수행하는 실시예를 설명하기 위한 도면, 그리고,
도 22 내지 도 25는 본 발명의 일 실시예에 따른, 멀티 채널 오디오 제공 시스템을 설명하는 도면이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하, 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 오디오 장치(100)의 구성을 도시한 블럭도이다. 도 2에 도시된 바와 같이, 오디오 장치(100)는 입력부(110), 가상 오디오 생성부(120), 가상 오디오 처리부(130) 및 출력부(140)를 포함한다. 한편, 본 발명의 일 실시예에 따른, 오디오 장치(100)는 복수의 스피커를 포함하며,복수의 스피커는 동일한 수평면상에 배치될 수 있다.
입력부(110)는 복수의 채널을 포함하는 오디오 신호를 입력받는다. 이때, 입력부(110)는 상이한 고도감을 가지는 복수의 채널을 포함하는 오디오 신호를 입력받을 수 있다. 예를 들어, 입력부(110)는 11.1 채널의 오디오 신호를 입력받을 수 있다.
가상 오디오 생성부(120)는 복수의 채널 중 고도감을 가지는 채널에 대한 오디오 신호를 고도감을 가지도록 처리하는 음색 변환 필터에 적용하여 복수의 스피커에 출력될 복수의 가상 오디오 신호를 생성한다. 특히, 가상 오디오 생성부(120)는 수평면상에 배치된 스피커들을 이용하여 실제 스피커들보다 높은 고도에서 발생하는 소리를 모델링하기 위해서 HRTF 보정 필터를 사용할 수 있다. 이때, HRTF 보정 필터는 음원의 공간적인 위치로부터 사용자의 양 귀까지의 경로 정보, 즉 주파수 전달 특성을 포함한다. HRTF 보정 필터는 두 귀간의 레벨 차이(ILD,Inter-aural Level Difference) 및 두 귀 간에서 음향 시간이 도달하는 시간 차이(ITD, Inter-aural Time Difference)등의 단순한 경로 차이뿐만 아니라, 머리 표면에서의 회절, 귓바퀴에 의한 반사등 복잡한 경로상의 특성이음의 도래 방향에 따라 변화하는 현상에 의하여 입체 음향을 인식할 수 있도록 한다. 공간상의 각 방향에서 HRTF 보정 필터는 유일한 특성을 갖기 때문에 이를 이용하면 입체 음향을 생성할 수 있다.
예를 들어, 11.1 채널의 오디오 신호가 입력된 경우, 가상 오디오 생성부(120)는 11.1 채널의 오디오 신호 중 탑 프론트 레프트(Top Front Left) 채널의 오디오 신호를 HRTF 보정 필터에 적용하여 7.1 채널의 레이아웃을 가지는 복수의 스피커에 출력될 7 개의 가상 오디오 신호를 생성할 수 있다.
본 발명의 일 실시예에서, 가상 오디오 생성부(120)는 음색 변환 필터에 의해 필터링된 오디오 신호를 복수의 스피커의 개수에 대응되도록 복제하고, 필터링된 오디오 신호가 가상의 고도감을 가지도록 복제된 오디오 신호 각각에 복수의 스피커 각각에 대응되는 패닝 게인값을 적용하여 복수의 가상 오디오 신호를 생성할 수 있다. 본 발명의 또 다른 실시예에서는, 가상 오디오 생성부(120)는 음색 변환 필터에 의해 필터링된 오디오 신호를 복수의 스피커의 개수에 대응되도록 복제하여 복수의 가상 오디오 신호를 생성할 수 있다. 이 경우, 패닝 게인값은 가상 오디오 처리부(130)에 의해 적용될 수 있다.
가상 오디오 처리부(130)는 복수의 스피커를 통해 출력되는 복수의 가상 오디오 신호가 평면파를 가지는 음장을 형성하기 위하여, 복수의 가상 오디오 신호에 합성 게인값 및 딜레이값을 적용한다. 구체적으로, 가상 오디오 처리부(130)는 도 3에 도시된 바와 같이, 한 지점에 스위트 스팟이 생성되는 것이 아닌 평면파를 가지는 음장을 형성하도록 가상 오디오 신호를 생성하여 다양한 지점에서 가상 오디오 신호를 청취할 수 있게 된다.
본 발명의 일 실시예에서, 가상 오디오 처리부(130)는 복수의 스피커 중 평면파를 가지는 음장을 구현하기 위한 적어도 두 개의 스피커에 대응되는 가상 오디오 신호에 합성 게인값을 곱하고, 적어도 두 개의 스피커에 대응되는 가상 오디오 신호에 딜레이값을 적용할 수 있다. 가상 오디오 처리부(130)는 복수의 스피커 중 적어도 두 개의 스피커를 제외한 스피커에 대응되는 오디오 신호에 게인값을 0으로 적용할 수 있다. 예를 들어, 11.1 채널의 탑 프론트 레프트 채널에 대응되는 오디오 신호를 가상 오디오 신호로 생성하기 위하여, 가상 오디오 생성부(120)가 7개의 가상 오디오를 생성하면, 생성된 7개의 가상 오디오 중 프론트 레프트로 재생되어야할 신호 FL_TFL은 가상 오디오 처리부(130)에서 7.1채널의 스피커 중 프론트 센터 채널, 프론트 레프트 채널 및 서라운드 레프트 채널에 대응되는 가상 오디오 신호들에 합성 게인값을 곱하고, 각각의 오디오 신호들에 딜레이값을 적용하여 프론트 센터 채널, 프론트 레프트 채널 및 서라운드 레프트 채널에 대응되는 스피커로 출력될 가상 오디오 신호를 처리할 수 있다. 그리고, 가상 오디오 처리부(130)는 FL_TFL을 구현하는 데에 있어서 7.1 채널의 스피커 중 타측(contralateral) 채널인 프론트 라이트 채널, 서라운드 라이트 채널, 백 레프트 채널, 백 라이트 채널에 대응되는 가상 오디오 신호들에 합성 게인값을 0을 곱할 수 있다.
본 발명의 또 다른 실시예에서는, 가상 오디오 처리부(130)는 복수의 스피커에 대응되는 복수의 가상 오디오 신호에 딜레이값을 적용하고, 딜레이값이 적용된 복수의 가상 오디오 신호에 패닝 게인값 및 합성 게인값을 곱한 최종 게인값을 적용하여 평면파를 가지는 음장을 형성할 수 있다.
출력부(140)는 처리된 복수의 가상 오디오 신호를 대응되는 스피커를 통해 출력한다. 이때, 출력부(140)는 특정 채널에 대응되는 가상 오디오 신호 및 특정 채널의 오디오 신호를 믹싱하여 특정 채널에 대응되는 스피커를 통해 출력할 수 있다. 예를 들어, 출력부(140)는 프론트 레프트 채널에 대응되는 오디오 신호와 탑 프론트 레프트 채널이 처리되어 생성된 가상 오디오 신호를 믹싱하여 프론트 레프트 채널에 대응되는 스피커를 통해 출력할 수 있다.
상술한 바와 같은 오디오 장치(100)에 의해, 사용자는 다양한 위치에서 오디오 장치가 제공하는 고도감을 가지는 가상 오디오 신호를 청취할 수 있게 된다.
이하에서는 도 4 내지 7을 참조하여 본 발명의 일 실시예에 따른, 11.1채널의 오디오 신호 중 상이한 고도감을 가지는 채널들에 대응되는 오디오 신호를 7.1 채널의 스피커로 출력하기 위하여 가상 오디오 신호로 렌더링하는 방법에 더욱 상세히 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른, 11.1 채널의 탑 프론트 레프트 채널의 오디오 신호를 7.1 채널의 스피커로 출력하기 위하여 가상 오디오 신호로 렌더링하는 방법을 설명하기 위한 도면이다.
우선, 11.1채널의 탑 프론트 레프트 채널의 오디오 신호가 입력된 경우, 가상 오디오 생성부(120)는 입력된 탑 프론트 레프트 채널의 오디오 신호를 음색 변환 필터(H)에 적용한다. 그리고, 가상 오디오 생성부(120)는 음색 변환 필터(H)가 적용된 탑 프론트 레프트 채널에 대응되는 오디오 신호를 7개의 오디오 신호로 복제한 후, 복제된 7개의 오디오 신호를 7채널의 스피커에 각각 대응되는 게인 적용부에 입력할 수 있다. 가상 오디오 생성부(120)는 7개의 게인 적용부에 의해 7채널 각각의 패닝 게인(G_TFL,FL , G_TFL,FR , G_TFL,FC , G_TFL,SL , G_TFL,SR , G_TFL,BL , G_TFL,BR)을 음색 변환된 오디오 신호에 곱하여 7채널의 가상 오디오 신호를 생성할 수 있다.
그리고, 가상 오디오 처리부(130)는 입력된 7채널의 가상 오디오 신호 중 복수의 스피커 중 평면파를 가지는 음장을 구현하기 위한 적어도 두 개의 스피커에 대응되는 가상 오디오 신호에 합성 게인값을 곱하고, 적어도 두 개의 스피커에 대응되는 가상 오디오 신호에 딜레이값을 적용할 수 있다. 구체적으로,도 3과 같이, 프론트 레프트 채널의 오디오 신호를 특정 각도(예를 들어, 30도)의 위치에서 들어오는 평면파로 만들고자 할 경우, 가상 오디오 처리부(130)는 입사 방향과 동일한 반면(예를 들어, 왼쪽 신호의 경우 좌반면과 센터, 오른쪽 신호일 경우, 우반면과 센터) 안에 있는 스피커인 프론트 레프트 채널, 프론트 센터 채널, 서라운드 레프트 채널의 스피커들을 이용하여 평면파 합성에 필요한 합성게인값인 A_FL,FL , A_FL,FC , A_FL,SL을 곱하고 딜레이 값인 d_TFL,FL , d_TFL,FC , d_TFL,SL를 적용하여 평면파 형태의 가상 오디오 신호를 생성할 수 있다. 이를 수식으로 표현하면 아래의 수학식과 같다.
Figure pat00001
Figure pat00002
Figure pat00003
또한, 가상 오디오 처리부(130)는 입사 방향과 동일한 반면에 존재하지 않는 스피커인 프론트 라이트 채널, 서라운드 라이트 채널, 백 라이트 채널, 백 레프트 채널의 스피커들로 출력되는 가상 오디오 신호의 합성 게인값들(A_FL,FR , A_FL,SR , A_FL,BL , A_FL,BR)은 0으로 설정할 수 있다.
따라서, 가상 오디오 처리부(130)는 도 4에 된 바와 같이, 평면파를 구현하기 위한 7개의 가상 오디오 신호로 FL_TFL^W, FR_TFL^W, FC_TFL^W, SL_TFL^W, SR_TFL^W, BL_TFL^W, BR_TFL^W 를 생성할 수 있다.
한편, 도 4에서는 가상 오디오 생성부(120)에서 패닝 게인값을 곱하고, 가상 오디오 처리부(130)에서 합성 게인값을 곱하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 가상 오디오 처리부(130)가 패닝 게인값 및 합성 게인값을 곱한 최종 게인값을 곱할 수 있다.
구체적으로, 가상 오디오 처리부(130)는 도 6에 개시된 바와 같이, 음색 변환 필터(H)를 통해 음색이 변환된 복수의 가상 오디오 신호에 딜레이값을 먼저 적용한 후, 최종 게인값을 적용하여 평면파 형태의 음장을 갖는 복수의 가상 오디오 신호를 생성할 수 있다. 이때, 가상 오디오 처리부(130)는 도 4의 가상 오디오 생성부(120)의 게인 적용부의 패닝 게인값(G)과, 도 4의 가상 오디오 처리부(130)의 게인 적용부의 합성 게인값(A)을 통합하여 최종 게인값(P_TFL,FL)을 산출할 수 있다. 이를 수학식으로 표현하면, 아래의 수학식와 같다.
Figure pat00004
Figure pat00005
Figure pat00006
이때, s는 S={FL, FR, FC, SL, SR, BL, BR}의 원소이다.
한편, 도 4 내지 도 6은 11.1채널의 오디오 신호 중 탑 프론트 레프트 채널에 대응되는 오디오 신호를 가상 오디오 신호로 렌더링하는 실시예를 설명하였으나, 11.1 채널의 오디오 신호 중 상이한 고도감을 가지는 탑 프론트 라이트 채널, 탑 서라운드 레프트 채널 및 탑 서라운드 라이트 채널 역시 상술한 방법과 같이 렌더링을 수행할 수 있다.
구체적으로, 도 7에 도시된 바와 같이, 탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 탑 서라운드 레프트 채널 및 탑 서라운드 라이트 채널에 대응되는 오디오 신호들은 가상 오디오 생성부(120) 및 가상 오디오 처리부(130)가 포함된 복수의 가상 채널 합성부를 통해 가상 오디오 신호로 렌더링될 수 있으며, 렌더링된 복수의 가상 오디오 신호들은 7.1 채널의 스피커 각각에 대응되는 오디오 신호들과 믹싱되어 출력될 수 있다.
도 8은 본 발명의 일 실시예에 따른, 오디오 장치(100)의 오디오 제공 방법을 설명하기 위한 흐름도이다.
우선, 오디오 장치(100)는 오디오 신호를 입력받는다(S810). 이때, 입력된 오디오 신호는 복수의 고도감을 갖는 멀티채널 오디오 신호(예를 들어, 11.1 채널)일 수 있다.
오디오 장치(100)는 복수의 채널 중 고도감을 가지는 채널에 대한 오디오 신호를 고도감을 가지도록 처리하는 음색 변환 필터에 적용하여 복수의 스피커에 출력될 복수의 가상 오디오 신호를 생성한다(S820).
오디오 장치(100)는 생성된 복수의 가상 오디오에 합성 게인값 및 딜레이값을 적용한다(S830). 이때, 오디오 장치(100)는 복수의 가상 오디오가 평면파 형태의 음장을 가지도록 합성 게인값 및 딜레이값을 적용할 수 있다.
오디오 장치(100)는 생성된 복수의 가상 오디오를 복수의 스피커를 통해 출력한다(S840).
상술한 바와 같이, 가상 오디오 신호 각각에 딜레이값 및 합성 게인값을 적용하여 평면파 형태의 음장을 가지는 가상 오디오 신호를 렌더링함으로써,사용자는 다양한 위치에서 오디오 장치가 제공하는 고도감을 가지는 가상 오디오 신호를 청취할 수 있게 된다.
한편, 상술한 실시예에서는 사용자가 한 지점이 아닌 다양한 위치에서 고도감을 가지는 가상 오디오 신호를 청취하기 위하여, 가상 오디오 신호를 평면파 형태의 음장을 가지도록 처리하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자가 다양한 위치에서 고도감을 가지는 가상 오디오 신호를 청취할 수 있도록 가상 오디오 신호를 처리할 수 있다. 구체적으로, 오디오 장치는 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 주파수에 따라 서로 상이한 게인값을 적용하여 다양한 영역에서도 가상 오디오 신호를 청취할 수 있게 할 수 있다.
이하에서는 도 9 내지 도 12를 참조하여 본 발명의 다른 실시예에 따른 가상 오디오 신호 제공 방법에 대해 설명하기로 한다. 도 9는 본 발명의 다른 실시예에 따른, 오디오 장치의 구성을 나타내는 블럭도이다. 우선, 오디오 장치(900)는 입력부(910), 가상 오디오 생성부(920) 및 출력부(930)를 포함한다.
입력부(910)는 복수의 채널을 포함하는 오디오 신호를 입력받는다. 이때, 입력부(910)는 상이한 고도감을 가지는 복수의 채널을 포함하는 오디오 신호를 입력받을 수 있다. 예를 들어, 입력부(110)는 11.1 채널의 오디오 신호를 입력받을 수 있다.
가상 오디오 생성부(920)는 복수의 채널 중 고도감을 가지는 채널에 대한 오디오 신호를 고도감을 가지도록 처리하는 필터에 적용하고, 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 주파수에 따라 서로 상이한 게인값을 적용하여 복수의 가상 오디오 신호를 생성한다.
구체적으로, 가상 오디오 생성부(920)는 필터링된 오디오 신호를 복수의 스피커의 개수에 대응되도록 복제하고, 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 동측(Ipsilaterall) 스피커와 타측(contralateral) 스피커를 판단한다. 구체적으로, 가상 오디오 생성부(290)는 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 동일한 방향에 위치하는 스피커를 동측 스피커로 판단하며, 반대 방향에 위치하는 스피커를 타측 스피커로 판단할 수 있다. 예를 들어, 가상 오디오 신호로 생성하고자 하는 오디오 신호가 탑 프론트 레프트 채널의 오디오 신호인 경우, 가상 오디오 생성부(920)는 탑 프론트 레프트 채널과 동일한 방향 또는 가장 가까운 방향에 위치하는 프론트 레프트 채널, 서라운드 레프트 채널, 백레프트 채널에 대응되는 스피커들을 동측 스피커로 판단할 수 있으며, 탑 프론트 레프트 채널과 반대 방향에 위치하는 프론트 라이트 채널, 서라운드 라이트 채널, 백 라이트 채널에 대응되는 스피커들을 타측 스피커로 판단할 수 있다.
그리고, 가상 오디오 생성부(920)는 동측 스피커에 대응되는 가상 오디오 신호에 저주파 부스터 필터를 적용하고, 타측 스피커에 대응되는 가상 오디오 신호에 고주파 통과 필터를 적용한다. 구체적으로, 가상 오디오 생성부(920)는 동측 스피커에 대응되는 가상 오디오 신호에 전체적인 톤 밸런스(Tone Balance)를 맞추기 위하여 저주파 부스터 필터를 적용하고, 타측 스피커에 대응되는 가상 오디오 신호에는 음상 정위에 영향을 주는 고주파 영역을 통과시키기 위하여 고주파 통과 필터를 적용한다.
일반적으로, 오디오 신호의 저주파 성분은 ITD(Interaural Time Delay)에 따른 음상 정위에 많은 영향을 주며, 오디오 신호의 고주파 성분은 ILD(Interaural Level Difference)에 따른 음상 정위에 많은 영향을 준다. 특히, 청취자가 한쪽 방향으로 이동한 경우, ILD(Interaural Level Difference)는 패닝 게인을 효과적으로 설정하여 좌측 음원이 우측으로 오거나 우측의 음원이 좌측으로 이동하는 정도를 조절함으로써, 청취자가 계속해서 원활한 오디오 신호를 청취할 수 있다.
그러나, ITD(Interaural Time Delay)의 경우, 가까운 쪽의 스피커 소리가 먼저 귀에 들어오기 때문에 청취자가 이동하는 경우 좌우 정위 역전 현상이 발생하게 된다.
이러한 좌우 정위 역전 현상은 음상 정위에서 반드시 해결되어야할 문제로, 이러한 문제를 해결하기 위하여, 가상 오디오 처리부(920)는 음원의 반대 방향에 위치하는 타측 스피커들에 대응되는 가상 오디오 신호 중 ITD에 영향을 주는 저주파 성분을 제거하고, ILD에 지배적인 영향을 주는 고주파 성분만을 통과시킬 수 있다. 이에 의해, 저주파 성분에 의한 좌우 정위 역전 현상이 방지되고, 고주파 성분에 대한 ILD로 인하여 음상의 위치가 유지될 수 있게 된다.
그리고, 가상 오디오 생성부(920)는 동측 스피커에 대응되는 오디오 신호 및 타측 스피커에 대응되는 오디오 신호 각각에 패닝 게인값을 곱하여 복수의 가상 오디오 신호를 생성할 수 있다. 구체적으로, 가상 오디오 생성부(920)는 저주파 부스터 필터를 통과한 동측 스피커에 대응되는 오디오 신호 및 고주파 통과 필터를 통과한 타측 스피커에 대응되는 오디오 신호 각각에 음상 정위를 위한 패닝 게인값을 곱하여 복수의 가상 오디오 신호를 생성할 수 있다. 즉, 가상 오디오 생성부(920)는 음상의 위치를 바탕으로 복수의 가상 오디오 신호의 주파수에 따라 상이한 게인값을 적용하여 최종적으로 복수의 가상 오디오 신호를 생성할 수 있게 된다.
출력부(930)는 복수의 가상 오디오 신호를 복수의 스피커를 통해 출력한다.
이때, 출력부(930)는 특정 채널에 대응되는 가상 오디오 신호 및 특정 채널의 오디오 신호를 믹싱하여 특정 채널에 대응되는 스피커를 통해 출력할 수 있다.
예를 들어, 출력부(930)는 프론트 레프트 채널에 대응되는 오디오 신호와 탑프론트 레프트 채널이 처리되어 생성된 가상 오디오 신호를 믹싱하여 프론트 레프트 채널에 대응되는 스피커를 통해 출력할 수 있다.
이하에서는 도 10을 참조하여 본 발명의 일 실시예에 따른, 11.1채널의 오디오 신호 중 상이한 고도감을 가지는 채널들에 대응되는 오디오 신호를 7.1 채널의 스피커로 출력하기 위하여 가상 오디오 신호로 렌더링하는 방법에 더욱 상세히 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른, 11.1 채널의 탑 프론트 레프트 채널의 오디오 신호를 7.1 채널의 스피커로 출력하기 위하여 가상 오디오 신호로 렌더링하는 방법을 설명하기 위한 도면이다.
우선, 11.1채널의 탑 프론트 레프트 채널의 오디오 신호가 입력된 경우, 가상 오디오 생성부(920)는 입력된 탑 프론트 레프트 채널의 오디오 신호를 음색 변환 필터(H)에 적용할 수 있다. 그리고, 가상 오디오 생성부(920)는 음색 변환 필터(H)가 적용된 탑 프론트 레프트 채널에 대응되는 오디오 신호를 7개의 오디오 신호로 복제한 후, 탑 프론트 레프트 채널의 오디오 신호의 위치에 따라 동측 스피커 및 타측 스피커를 판단할 수 있다. 즉, 가상 오디오 생성부(920)는 탑 프론트 레프트 채널의 오디오 신호와 동일한 방향에 위치하는 프론트 레프트 채널, 서라운드 레프트 채널, 백 레프트 채널에 대응되는 스피커들을 동측 스피커로 판단할 수 있으며, 탑 프론트 레프트 채널의 오디오 신호와 반대 방향에 위치하는 프론트 라이트 채널, 서라운드 라이트 채널, 백 라이트 채널에 대응되는 스피커들을 타측 스피커로 판단할 수 있다.
그리고, 가상 오디오 생성부(920)는 복제된 복수의 가상 오디오 신호 중 동측 스피커에 대응되는 가상 오디오 신호를 저주파 부스터 필터에 통과시킨다.
그리고, 가상 오디오 생성부(920)는 저주파 부스터 필터를 통과한 가상 오디오 신호를 프론트 레프트 채널, 서라운드 레프트 채널, 백 레프트 채널에 대응되는 게인 적용부에 각각 입력시키고, 탑 프론트 레프트 채널의 위치에 오디오 신호를 정위시키기 위한 다채널 패닝 게인값(G_TFL,FL , G_TFL,SL , G_TFL,BL )을 곱하여 3채널의 가상 오디오 신호를 생성할 수 있다.
그리고, 가상 오디오 생성부(920)는 복제된 복수의 가상 오디오 신호 중 타측 스피커에 대응되는 가상 오디오 신호를 고주파 통과 필터에 통과시킨다. 그리고, 가상 오디오 생성부(920)는 고주파 통과 필터를 통과한 가상 오디오 신호를 프론트 라이트 채널, 서라운드 라이트 채널, 백 라이트 채널에 대응되는 게인 적용부에 각각 입력시키고, 탑 프론트 레프트 채널의 위치에 오디오 신호를 정위시키기 위한 다채널 패닝 게인값(G_TFL,FR , G_TFL,SR , G_TFL,BR)을 곱하여 3채널의가상 오디오 신호를 생성할 수 있다.
또한, 동측 스피커도 타측 스피커도 아닌 프론트 센터 채널에 대응되는 가상 오디오 신호의 경우, 가상 오디오 생성부(920)는 프론트 센터 채널에 대응되는 가상 오디오 신호를 동측 스피커와 동일한 방법을 이용하여 처리할 수 있으며, 타측 스피커와 동일한 방법을 이용하여 처리할 수 있다. 본 발명의 일 실시예에서는 도 10에 도시된 바와 같이, 프론트 센터 채널에 대응되는 가상 오디오 신호는 동측 스피커에 대응되는 가상 오디오 신호와 동일한 방법으로 처리되었다.
한편, 도 10에서는 11.1채널의 오디오 신호 중 탑 프론트 레프트 채널에 대응되는 오디오 신호를 가상 오디오 신호로 렌더링하는 실시예를
설명하였으나, 11.1 채널의 오디오 신호 중 상이한 고도감을 가지는 탑 프론트 라이트 채널, 탑 서라운드 레프트 채널 및 탑 서라운드 라이트 채널 역시 도 10에서 설명한 바와 같은 방법을 이용하여 렌더링을 수행할 수 있다.
한편, 본 발명의 다른 실시예에서는 도 6에서 설명한 바와 같은 가상 오디오 제공 방법과 도 10에서 설명한 바와 같은 가상 오디오 제공 방법을 통합하여 도 11에 도시된 바와 같은 오디오 장치(1100)로 구현될 수 있다. 구체적으로, 오디오 장치(1100)는 입력된 오디오 신호를 음색 변환 필터(H)를 이용하여 음색 변환을 처리한 후, 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 주파수에 따라 상이한 게인값이 적용되도록 동측 스피커에 대응되는 가상 오디오 신호들을 저주파 부스터 필터에 통과시키고, 타측 스피커에 대응되는 가상 오디오 신들을 고주파 통과 필터에 통과시킨다. 그리고, 오디오 장치(100)는 복수의 가상 오디오 신호가 평면파를 가지는 음장을 형성하도록 입력된 각각의 가상 오디오 신호에 딜레이값(d) 및 최종 게인값(P)을 적용하여
가상 오디오 신호를 생성할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 오디오 장치(900)의 오디오 제공 방법을 설명하기 위한 도면이다.
우선, 오디오 장치(900)는 오디오 신호를 입력받는다(S1210). 이때, 입력된 오디오 신호는 입력된 오디오 신호는 복수의 고도감을 갖는 멀티채널 오디오 신호(예를 들어, 11.1 채널)일 수 있다.
그리고, 오디오 장치(900)는 복수의 채널 중 고도감을 가지는 채널의 오디오 신호를 고도감을 가지도록 처리하는 필터에 적용한다(S1220). 이때, 복수의 채널 중 고도감을 가지는 채널의 오디오 신호는 탑 프론트 레프트 채널의 오디오 신호일 수 있으며, 고도감을 가지도록 처리하는 필터는 HRTF 보정 필터일 수 있다.
그리고, 오디오 장치(900)는 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 주파수에 따라 상이한 게인값을 적용하여 가상 오디오 신호를 생성한다(S1230). 구체적으로, 오디오 장치(900)는 필터링된 오디오 신호를 복수의 스피커의 개수에 대응되도록 복제하고, 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 동측(Ipsilaterall) 스피커와 타측(contralateral) 스피커를 판단하며, 동측 스피커에 대응되는 가상 오디오 신호에 저주파 부스터 필터를 적용하고, 타측 스피커에 대응되는 가상 오디오 신호에 고주파 통과 필터를 적용하고, 동측 스피커에 대응되는 오디오 신호 및 타측 스피커에 대응되는 오디오 신호 각각에 패닝 게인값을 곱하여 복수의 가상 오디오 신호를 생성할 수 있다.
그리고, 오디오 장치(900)는 복수의 가상 오디오 신호를 력한다(S1240).
상술한 바와 같이, 가상 오디오 신호로 생성하고자 하는 오디오 신호의 채널 종류를 바탕으로 주파수에 따라 상이한 게인값을 적용함으로써, 사용자는 다양한 위치에서 오디오 장치가 제공하는 고도감을 가지는 가상 오디오 신호를 청취할 수 있게 된다.
이하에서는 본 발명의 다른 실시예에 대해 설명하기로 한다. 구체적으로, 도 13은 종래의 11.1 채널의 오디오 신호를 7.1 채널의 스피커를 통해 출력하는 방법을 설명하는 도면이다. 우선, 인코더(1310)는 11.1채널의 채널 오디오 신호, 복수의 오브젝트 오디오 신호 및 복수의 오브젝트의 오디오 신호에 대한 복수의 궤적 정보를 인코딩하여 비트스트림을 생성한다. 그리고, 디코더(1320)는 수신된 비트 스트림을 디코딩하여 11.1 채널의 채널 오디오 신호는 믹싱부(1340)로 출력하고, 복수의 오브젝트 오디오 신호 및 대응되는 궤적 정보는 오브젝트 렌더링부(1330)로 출력한다. 오브젝트 렌더링부(1330)는 궤적 정보를 이용하여 오브젝트 오디오 신호를 11.1 채널로 렌더링한 후 믹싱부(1340)로 출력한다.
믹싱부(1340)는 11.1채널의 채널 오디오 신호와 11.1 채널로 렌더링된 오브젝트 오디오 신호를 11.1 채널의 오디오 신호로 믹싱하여 가상 오디오 렌더링부(1350)로 출력한다. 가상 오디오 렌더링부(1340)는 11.1 채널의 오디오 신호 중 상이한 고도감을 가지는 4채널(탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 탑 서라운드 레프트 채널, 탑 서라운드 라이트 채널)의 오디오 신호를 이용하여 도 2 내지 도 12에서 설명한 바와 같이, 복수의 가상 오디오 신호로 생성하고, 생성된 복수의 오디오 신호를 나머지 채널과 믹싱한 후, 믹싱된 7.1 채널의 오디오 신호를 출력할 수 있다.
그러나, 상술한 바와 같이, 11.1채널의 오디오 신호 중 상이한 고도감을 가지는 4개의 채널 오디오 신호를 획일적으로 처리하여 가상 오디오 신호로 생성하는 경우, 박수소리나 빗소리와 같이, 광대역(Wideband)이고 채널 간의 상관도가 없으며(low correlation) 임펄시브(impulsive)한 특성을 가지는 오디오 신호를 가상 오디오 신호로 렌더링하면, 오디오 음질의 열화가 발생하게 된다. 특히, 이러한 음질의 열화는 가상 오디오 신호를 생성할 경우, 더욱 악화되는 경향을 보이기
때문에 임펄시브한 특성을 가지는 오디오 신호는 가상 오디오를 생성하는
렌더링 작업을 수행하지 않고, 음색에 중점을 둔 다운믹스를 통해 렌더링 작업을 수행하는 것이 더욱 나은 음질을 제공할 수 있게 된다.
이하에서는 도 14 내지 도 16을 참조하여 본 발명의 일 실시예에 따른 오디오 신호의 렌더링 정보를 이용하여 오디오 신호의 렌더링 종류를 판단하는 실시예를 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른, 오디오 장치가 11.1 채널의 오디오 신호를 오디오 신호의 렌더링 정보에 따라 상이한 방법의 렌더링을 수행하여 7.1 채널의 오디오 신로 생성하는 방법을 설명하기 위한 도면이다.
인코더(1410)는 11.1 채널의 채널 오디오 신호, 복수의 오브젝트 오디오 신호, 복수의 오브젝트 오디오 신호에 대응되는 궤적 정보 및 오디오 신호의 렌더링 정보를 수신하여 인코딩할 수 있다. 이때, 오디오 신호의 렌더링 정보는 오디오 신호의 종류를 나타내는 것으로, 입력된 오디오 신호가 임펄시브한 특성을 가지는 오디오 신호인지 여부에 대한 정보, 입력된 오디오 신호가 광대역의 오디오 신호인지 여부에 대한 정보 및 입력된 오디오 신호가 채널간의 코럴레이션(correlation)이 낮은지 여부에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한, 오디오 신호의 렌더링 정보는 오디오 신호의 렌더링 방법에 대한 정보를 직접 포함할 수 있다. 즉, 오디오 신호의 렌더링 정보에는 오디오 신호가 음질 렌더링(Timbral rendering) 방법 및 공간 렌더링(Spatial rendering) 방법 중 어느 방법으로 렌더링을 수행할지 여부에 대한 정보가 포함될 수 있다.
디코더(1420)는 인코딩된 오디오 신호를 디코딩하여 11.1 채널의 채널 오디오 신호 및 오디오 신호의 렌더링 정보를 믹싱부(1440)로 출력하고, 복수의 오브젝트 오디오 신호 및 대응되는 궤적 정보, 그리고 오디오 신호의 렌더링 정보를 믹싱부(1440)로 출력할 수 있다.
오브젝트 렌더링부(1430)는 입력된 복수의 오브젝트 오디오 신호 및 대응되는 궤적 정보를 이용하여 11.1 채널의 오브젝트 오디오 신호를 생성하고, 생성된 11.1 채널의 오브젝트 오디오 신호를 믹싱부(1440)로 출력할 수 있다.
제1 믹싱부(1440)는 입력된 11.1 채널의 채널 오디오 신호 및 11.1 채널의 오브젝트 오디오 신호를 믹싱하여 믹싱된 11.1 채널의 오디오 신호를 생성할 수 있다. 그리고, 제1 믹싱부(1440)는 오디오 신호의 렌더링 정보를 이용하여 생성된 11.1채널의 오디오 신호를 렌더링할 렌더링부를 판단할 수 있다. 구체적으로, 제1 믹싱부(1440)는 오디오 신호의 렌더링 정보를 이용하여 오디오 신호가 임펄시브한 특성을 가지고 있는지 여부, 오디오 신호가 광대역의 오디오 신호인지 여부, 오디오 신호가 채널간의 코럴레이션이 낮은지 여부를 판단할 수 있다. 오디오 신호가 임펄시브한 특성을 가지거나, 광대역의 오디오 신호이거나, 오디오 신호의 채널 간의 코럴레이션이 낮은 경우, 제1 믹싱부(1440)는 11.1 채널의 오디오 신호를 제1 렌더링부(1450)로 출력할 수 있으며, 상술한 특성을 가지지 않는 경우, 제1 믹싱부(1440)는 11.1 채널의 오디오 신호를 제2렌더링부(1460)로 출력할 수 있다.
제1 렌더링부(1450)는 입력된 11.1 채널의 오디오 신호 중 상이한 고도감을 가지는 4개의 오디오 신호를 음색 렌더링 방법을 통해 렌더링을 수행할 수 있다.
구체적으로, 제1 렌더링부(1450)는 11.1채널의 오디오 신호 중 탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 탑 서라운드 레프트 채널, 탑 서라운드 라이트 채널에 대응되는 오디오 신호를 각각 프론트 레프트 채널, 프론트 라이트 채널, 서라운드 레프트 채널, 탑 서라운드 라이트 채널로 렌더링하는 1채널 다운믹싱 방법을 통해 렌더링한 후, 다운믹싱된 4개의 채널의 오디오 신호와 나머지 채널들의 오디오 신호와 믹싱한 후, 7.1 채널의 오디오 신호를 제2믹싱부(1470)로 출력할 수 있다.
제2 렌더링부(1460)는 입력된 11.1 채널의 오디오 신호 중 상이한 고도감을 가지는 4개의 오디오 신호를 도 2 내지 도 13에서 설명한 바와 같은 공간 렌더링 방법으로 고도감을 가지는 가상 오디오 신호로 렌더링할 수 있다.
제2 믹싱부(1470)는 제1 렌더링부(1450) 및 제2 렌더링부(1460) 중 적어도 하나를 통해 출력되는 7.1 채널의 오디오 신호를 출력할 수 있다.
한편, 상술한 실시예에서는 제1 렌더링부(1450) 및 제2 렌더링부(1460)가 음색 렌더링 방법 및 공간 렌더링 방법 중 하나로 오디오 신호를 렌더링하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 오브젝트 렌더링부(1430)가 오디오 신호의 렌더링 정보를 이용하여 음색 렌더링 방법 및 공간 렌더링 방법 중 하나로 오브젝트 오디오 신호를 렌더링할 수 있다.
또한, 상술한 실시예에서는 인코딩 전에 오디오 신호의 렌더링 정보가 신호의 분석을 통하여 결정되는 것으로 설명하였으나, 이는 컨텐츠 창작 의도를 반영하기 위하여 사운드 믹싱 엔지니어에 의해 생성되어 인코딩되는 것도 가능한 예이고, 이 밖에도 다양한 방법으로 획득될 수 있다.
구체적으로, 오디오 신호의 렌더링 정보는 인코더(1410)가 복수의 채널 오디오 신호, 복수의 오브젝트 오디오 신호 및 궤적 정보를 분석하여 생성될 수 있다.
더욱 구체적으로, 인코더(1410)는 오디오 신호 분류에 많이 이용되는
특징(feature)들을 추출하여 분류기에 학습시켜 입력된 채널 오디오 신호 또는 복수의 오브젝트 오디오 신호가 임펄시브한 특성을 가지는지 여부를 분석할 수 있다. 또한, 인코더(1410)는 오브젝트 오디오 신호의 궤도 정보를 분석하여 오브젝트 오디오 신호가 정적인 경우, 음색 렌더링 방법을 이용하여 렌더링을 수행하라는 렌더링 정보를 생성할 수 있으며, 오브젝트 오디오 신호가 모션이 존재하는 경우, 공간 렌더링 방법을 이용하여 렌더링을 수행하라는 렌더링 정보를 생성할 수 있다. 즉, 인코더(1410)는 임펄시브한 특징을 가지며 모션이 없는 정적인 특성을 가지는 오디오 신호의 경우, 음색 렌더링 방법을 이용하여 렌더링을 수행하라는 렌더링 정보를 생성할 수 있으며, 그렇지 않은 경우, 공간 렌더링 방법을 이용하여 렌더링을 수행하라는 렌더링 정보를 생성할 수 있다.
이때, 모션 검출 여부는 오브젝트 오디오 신호의 프레임당 이동 거리를 계산하여 추정될 수 있다.
한편, 음색 렌더링 방법에 의해 렌더링을 수행할지 공간 렌더링 방법에 의해 렌더링을 수행할지 여부를 분석하는 것이 하드 디시전(hard decision)이 아닌 소프트 디시전(soft decision)인 경우, 인코더(1410)는 오디오 신호의 특성에 따라 음색 렌더링 방법에 의한 렌더링 작업과 공간 렌더링 방법에 의한 렌더링 작업을 혼합하여 렌더링을 수행할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 제1 오브젝트 오디오 신호(OBJ1), 제1 궤도 정보(TRJ1) 및 인코더(1410)가 오디오 신호의 특성을 분석하여 생성한 렌더링 가중치(RC)가 입력된 경우, 오브젝트 렌더링부(1430)는 렌더링 가중치(RC)를 이용하여 음색 렌더링 방법에 대한 가중치(W_T) 및 공간 렌더링 방법에 대한 가중치(W_S) 값을 판단할 수 있다.
그리고, 오브젝트 렌더링부(1430)는 입력된 제1 오브젝트 오디오 신호(OBJ1)에 음색 렌더링 방법 대한 가중치(W_T) 및 공간 렌더링 방법에 대한 가중치(W_S) 값을 각각 곱하여 음색 렌더링 방법에 의한 렌더링 및 공간 렌더링에 의한 렌더링을 수행할 수 있다. 그리고, 오브젝트 렌더링부(1430)는 나머지 오브젝트 오디오 신호에 대해서도 상술한 바와 같이 렌더링을 수행할 수 있다.
또 다른 예로, 도 16에 도시된 바와 같이, 제1 채널 오디오 신호(CH1) 및 인코더(1410)가 오디오 신호의 특성을 분석하여 생성한 렌더링 가중치(RC)가 입력된 경우, 제1 믹싱부(1430)는 렌더링 가중치(RC)를 이용하여 음색 렌더링 방법에 대한 가중치(W_T) 및 공간 렌더링 방법에 대한 가중치(W_S) 값을 판단할 수 있다. 그리고, 제1 믹싱부(1440)는 입력된 제1 오브젝트 오디오 신호(OBJ1)에 음색 렌더링 방법 대한 가중치(WT)를 곱하여 제1 렌더링부(1450)로 출력하고, 입력된 제1 오브젝트 오디오 신호(OBJ1)에 공간 렌더링 방법에 대한 가중치(WS) 값을 곱하여 제2 렌더링부(1460)로 출력할 수 있다. 그리고, 제1 믹싱부(1440)는 나머지 채널 오디오 신호에 대해서도 상술한 바와 같이 가중치를 곱한 후 제1 렌더링부(1450) 및 제2 렌더링부(1460)로 출력할 수 있다.
한편, 상술한 실시예에서는 인코더(1410)가 오디오 신호의 렌더링 정보를 획득하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 디코더(1420)가 오디오 신호의 렌더링 정보를 획득할 수 있다. 이 경우, 렌더링 정보는 인코더(1410)에서 전송될 필요가 없으며, 디코더(1420)에 의해 바로 생성될 수 있다.
또한, 본 발명의 다른 실시예에서는 디코더(1420)는 채널 오디오 신호를 음색 렌더링 방법을 이용하여 렌더링을 수행하고, 오브젝트 오디오 신호를 공간 렌더링 방법을 이용하여 렌더링을 수행하라는 렌더링 정보를 생성할 수 있다.
상술한 바와 같이, 오디오 신호의 렌더링 정보에 따라 상이한 방법으로 렌더링 작업을 수행함으로써, 오디오 신호의 특성에 따른 음질 열화를 방지할 수 있게 된다.
이하에서는 오브젝트 오디오 신호가 별도로 분리되는 것이 아닌 모든 오디오 신호가 렌더링 및 믹싱되어 있는 채널 오디오 신호만 존재하는 경우, 채널 오디오 신호를 분석하여 채널 오디오 신호를 렌더링 방법을 결정하는 방법에 대해서 설명하기로 한다. 특히, 채널 오디오 신호에서 오브젝트 오디오 신호를 분석하여 오브젝트 오디오 신호 성분을 추출하고, 오브젝트 오디오 신호에 대해서는 공간 렌더링 방법을 이용하여 가상의 고도감을 제공하는 렌더링을 수행하며, 앰비언스(ambience) 오디오 신호에 대해서는 음질 렌더링 방법을 이용하여 렌더링을 수행하는 방법에 대해 설명하기로 한다.
도 17은 본 발명의 일 실시예에 따른, 11.1 채널 중 상이한 고도감을 가지는 4개의 탑 오디오 신호에서 박수소리가 검출되었는지 여부에 따라 상이한 방법으로 렌더링을 수행하는 실시예를 설명하기 위한 도면이다.
우선, 박수소리 감지부(1710)는 11.1채널 중 상이한 고도감을 가지는 4개의 탑 오디오 신호에 대해 박수소리가 감지되는지 여부를 판단한다.
박수소리 감지부(1710)가 하드 디시전을 이용하는 경우, 박수소리 감지부(1710)는 아래와 같은 출력 신호를 결정하게 된다.
박수소리가 감지된 경우: TFL^A=TFL, TFR^A=TFR, TSL^A=TSL, TSR^A=TSR, TFL^G =0, TFR^G=0, TSL^G=0, TSR^G=0
박수소리가 감지되지 않은 경우: TFL^A=0, TFR^A=0, TSL^A=0, TSR^A=0, TFL^G=TFL, TFR^G=TFR, TSL^G=TSL , TSR^G=TS
이때, 출력 신호는 박수소리 감지부(1710)가 아닌 인코더에서 계산되어 플래그 형태로 전송될 수 있다.
박수소리 감지부(1710)가 소프트 디시전을 이용하는 경우, 박수소리 감지부(1710)는 박수소리의 감지 여부 및 세기에 따라 아래와 같이 가중치값(α,β)가 곱해져 출력 신호를 결정하게 된다.
TFL^A=α_TFL*TFL, TFR^A= α_TFR*TFR, TSL^A= α_TSL*TSL,
TSR^A= α_TSR*TSR, TFL^G= β_tfl*TFL, TFR^G= β_TFR*TFR,
TSL^G= β_TSL*TSL , TSR^G= β_TSR*TSR
출력 신호 중 TFLG, TFRG, TSLG , TSRG 신호는 공간 렌더링부(1730)로 출력되어 공간 렌더링 방법에 의해 렌더링이 수행될 수 있다.
출력 신호 중 TFL^A, TFR^A, TSL^A , TSR^A 신호는 박수소리 성분으로 판단되어 렌더링 분석부(1720)로 출력된다.
렌더링 분석부(1720)가 박수소리 성분을 판단하여 렌더링 방법을 분석하는 방법에 대해서는 도 18을 참조하여 설명하기로 한다. 렌더링 분석부(1720)는 주파수 변환부(1721), 코히어런스(coherence) 산출부(1723), 렌더링 방법 결정부(1725) 및 신호 분리부(1727)를 포함한다.
주파수 변환부(1721)는 입력된 TFL^A, TFR^A, TSL^A , TSR^A 신호를 주파수 도멘으로 변환하여 TFL^A_F, TFR^A_F, TSL^A_F , TSR^A_F 신호를 출력할 수 있다. 이때, 주파수 변환부(1721)는 Quadrature Mirror Filterbank (QMF)와 같은 필터뱅크의 서브밴드 샘플로 나타낸 후 TFL^A_F, TFR^A_F, TSL^A_F , TSR^A_F 신호를 출력할 수 있다.
코히어런스 산출부(1723)는 입력된 신호를 청각기관을 모사하는 Equivalent Rectangular Band (ERBand) 또는 Critical Bandwidth(CB)로 밴드 매핑을 수행한다.
그리고, 코히어런스 산출부(1723)는 각각의 밴드별로 TFL^A_F신호, TSL^A_F 신호 간의 코히어런스인 xL_F, TFR^A_F신호, TSR^A_F 신호 간의 코히어런스인 xR_F, TFL^A_F 신호, TFR^A_F 신호 간의 코히어런스인 xF_F, TSL^A_F신호, TSR^A_F신호 간의 코히어런스인 xS_F을 계산한다. 이때, 코히어런스 산출부(1723)는 한쪽의 신호가 0일 경우, 코히어런스를 1로 계산할 수 있다. 이는 신호가 한쪽 채널에만 정위되어 있을 경우에 공간 렌더링 방법을 이용해야 하기 때문이다.
그리고, 렌더링 방법 결정부(1725)는 코히어런스 산출부(1723)를 통해 산출된 코히어런스로부터 각 채널별, 밴드별로 공간 렌더링 방법에 사용될 가중치값인 wTFL_F, wTFR_F, wTSL_F, wTSR_F를 다음과 같은 수학식을 통해 산출할 수 있다.
wTFL_F= mapper ( max (xL_F , xF_F ) )
wTFR_F= mapper ( max (xR_F , xF_F ) )
wTSL_F= mapper ( max (xL_F , xS_F ) )
wTSR_F= mapper ( max (xR_F , xS_F ) )
[146] 이때, max는 두 계수 중 크 숫자를 고르는 함수이고, mapper는 nonlinear mapping으로 0과 1사이의 값을 0과 1사이의 값으로 매핑시켜 주는 다양한 형태의 함수일 수 있다
한편, 렌더링 방법 결정부(1725)는 주파수 대역별로 상이한 mapper를 사용할 수 있다. 구체적으로, 고주파에서는 딜레이에 대한 신호 간섭이 더욱 심해지고, 밴드폭이 넓어져 많이 신호가 많이 섞이기 때문에 모든 밴드에서 동일한 mapper를 사용하는 것에 비해 밴드별로 상이한 mapper를 사용할 경우, 음질 및 신호 분리도가 더욱 향상될 수 있다. 도 19는 렌더링 방법 결정부(1725)가 주파수 대역별로 상이한 특성을 가지는 mapper를 사용한 경우, mapper의 특성을 나타내는 그래프이다.
또한, 한쪽 신호가 없는 경우(즉, 유사도 함수값(similarity function)이 0 또는 1로서 한쪽에만 패닝된 경우), 코히어런스 산출부(1723)는 코히어런스를 1로 산출하였다. 그러나, 실제로 주파수 도메인으로의 변환으로 인해 발생하는 side lobe 또는 noise floor에 해당하는 신호가 발생할 수 있으므로, 유사도 함수값에 임계값(예를 들어, 0.1)을 설정하여 임계값 이하의 유사도 값을 가지면 공간적 렌더링 방법을 선택하여 노이즈에 방지할 수 있게 된다. 도 20은 유사도 함수값에 따라 렌더링 방법에 대한 가중치 값을 결정하는 그래프이다. 예를 들어, 유사도 함수값이 0.1 이하인 경우에는 공간적 렌더링 방법을 선택하도록 가중치 값이 설정될 수 있다.
신호 분리부(1727)는 주파수 도메인으로 변환된 TFL^A_F, TFR^A_F TSL^A_F , TSR^A_F 신호를 렌더링 방법 결정부(1725)에 의해 결정된 가중치 값인 wTFL_F, wTFR_F,wTSL_F, wTSR_F를 곱하여 시간 도메인으로 변환한 후, 공간 렌더링부(1730)로 TFL^A_S, TFR^A_S, TSL^A_S, TSR^A_S 신호를 출력한다.
*또한, 신호 분리부(1727)는 입력된 TFL^A_F, TFR^A_F, TSL^A_F , TSR^A_F 신호에 공간 렌더링부(1730)로 출력한 TFL^A_S, TFR^A_S, TSL^A_S, TSR^A_S 신호를 뺀 나머지 신호인 TFL^A_T, TFR^A_T, TSL^A_T, TSR^A_T 신호를 음질 렌더링부(1740)로 출력한다.
결과적으로, 공간 렌더링부(1730)로 출력된 TFL^A_S, TFR^A_S, TSL^A_S, TSR^A_S 신호는 4개의 탑 채널 오디오 신호에 정위된 오브젝트들에 대항하는 신호를 형성하고, 음질 렌더링부(1740)로 출력된 TFL^A_T, TFR^A_T, TSL^A_T, TSR^A_T 신호는 디퓨즈(diffused)한 사운드들에 해당하는 신호를 형성할 수 있다.
이에 의해, 채널 간의 코히어런스가 낮은 박수소리나 빗소리와 같은 오디오 신호를 상기와 같은 과정으로 공간 렌더링 방법 및 음질 렌더링 방법으로 나누어 렌더링할 경우, 음질 열화를 최소화할 수 있게 된다.
현실적인 경우, 멀티 채널 오디오 코덱은 데이터를 압축하기 위하여 MPEG SURROUND와 같이 채널 간의 상관도를 사용하는 경우가 많다. 이 경우,
일반적으로 채널 간의 레벨 차이인 CLD(Channel Level Difference)와 채널 간의 상관도인 ICC(Interchannel Cross Correlation)를 파라미터를 이용하는 경우가 대부분이다. 오브젝트 부호화 기술인 MPEG SAOC(Spatial Audio Object Coding)도 유사한 형태를 가질 수 있다. 이경우, 내부 디코딩 과정에서 다운믹스 신호로부터 멀티 채널 오디오 신호로 확장하는 채널 확장 기술이 사용된다.
도 21은 본 발명의 일 실시예에 따른, MPEG SURROUND와 같은 구조의 채널 확장 코덱을 사용하는 경우, 복수의 렌더링 방법으로 렌더링을 수행하는 실시예를 설명하기 위한 도면이다.
채널 코덱의 디코더 내부에서 탑 레이어의 오디오 신호에 대응되는
비트스트림을 CLD 기반으로 채널을 분리한 후, ICC 기반으로 Decorrelator을 통해 채널 간의 코히어런스를 보정할 수 있다. 그 결과, 드라이(dry)한 채널 음원과 디퓨즈(diffused)된 채널 음원이 분리되어 출력될 수 있다. 드라이한 채널 음원은 공간 렌더링 방법에 의해 렌더링이 수행되며, 디퓨즈된 채널 음원은 음질 렌더링 방법에 의해 렌더링이 수행될 수 있다.
한편, 본 구조를 효율적으로 사용하기 위해서는, 채널 코덱에서 미들 레이어와 탑 레이어의 오디오 신호를 따로 압축하여 전송하거나, OTT/TTT (One-To-Two/Two-To-Three) BOX의 TREE 구조에서 미들 레이어와 탑 레이어의 오디오 신호를 분리한 후 분리된 각각의 채널을 압축하여 전송할 수 있다.
또한, 탑 레이어들의 채널에 대해서는 박수소리 검출을 수행하여 비트스트림으로 전송하며, 디코더 단에서 박수소리에 해당하는 만큼의 채널 데이터인 TFL^A, TFR^A, TSL^A, TSR^A 를 산출하는 과정에서 CLD에 의한 채널 분리된 음원을 공간 렌더링 방법을 이용하여 렌더링을 수행하면 되는데, 공간 렌더링의 연산 요소들인 Filtering, Weighting, Summation을 주파수 도메인에서 수행하면, Multiplication, Weighting, Summation을 수행하면 되므로 큰 연산량 추가없이 수행 가능할 수 있게 된다. 또한, ICC에 의하여 생성된 디퓨즈된 음원을 음질 렌더링 방법을 이용하여 렌더링을 수행하는 단계에서도 Weighting, Summation단계로 가능하므로 기존의 채널 디코더에 약간의 연산량 추가만으로 공간/음질 렌더링을 모두 수행할 수 있다.
이하에서는 도 22 내지 도 25를 참조하여, 본 발명의 다양한 실시예에 따른, 멀티 채널 오디오 제공 시스템에 대해 설명하기로 한다. 특히, 도 22 내지 도 25는 동일한 평면상에 배치된 스피커를 이용하여 고도감을 가지는 가상 오디오 신호를 제공하는 멀티 채널 오디오 제공 시스템일 수 있다.
도 22는 본 발명의 제1 실시예에 따른, 멀티 채널 오디오 제공 시스템을 도시한 도면이다.
우선, 오디오 장치는 미디어로부터 멀티 채널 오디오 신호를 입력받는다.
그리고, 오디오 장치는 멀티 채널 오디오 신호를 디코딩하고, 디코딩된 멀티 채널 오디오 신호 중 스피커와 대응되는 채널 오디오 신호를 외부로부터 입력되는 인터렉티브 이펙트 오디오 신호와 믹싱하여 제1 오디오 신호를 생성한다.
그리고, 오디오 장치는 디코딩된 멀티 채널 오디오 신호 중 상이한 고도감을 가지는 채널 오디오 신호를 수직면 오디오 신호 처리를 수행한다. 이때, 수직면 오디오 신호 처리는 수평면 스피커를 이용하여 고도감을 가지는 가상 오디오 신호를 생성하는 처리로서 앞서 설명한 바와 같은 가상 오디오 신호 생성 기술을 이용할 수 있다.
그리고, 오디오 장치는 외부로부터 입력되는 인터렉티브 이펙트 오디오 신호를 수직면 처리된 오디오 신호와 믹싱하여 제2 오디오 신호를 처리한다.
그리고, 오디오 장치는 제1 오디오 신호와 제2 오디오 신호를 믹싱하여 대응되는 수평면의 오디오 스피커로 출력한다.
도 23은 본 발명의 제2 실시예에 따른, 멀티 채널 오디오 제공 시스템을 도시한 도면이다.
우선, 오디오 장치는 미디어로부터 멀티 채널 오디오 신호를 입력받는다.
그리고, 오디오 장치는 멀티 채널 오디오 신호와 외부로부터 입력되는 인터렉티브 이펙트 오디오를 믹싱하여 제1 오디오 신호를 생성할 수 있다.
그리고, 오디오 장치는 제1 오디오 신호를 수평면 오디오 스피커의 레이아웃에 대응되도록 수직면 오디오 신호 처리를 수행하여 대응되는 수평면 오디오 스피커로 출력할 수 있다.
또한, 오디오 장치는 수직면 오디오 신호 처리가 수행된 제1 오디오 신호를 다시 인코딩하여 외부의 AV-리시버로 전송할 수 있다. 이때, 오디오 장치는 돌비 디지털(Dolby Digital) 또는 DTS 포맷 등과 같이, 기존의 AV-리시버가 지원가능한 포맷으로 오디오를 인코딩할 수 있다.
외부의 AV-리시버는 수직면 오디오 신호 처리가 수행된 제1 오디오 신호를 처리하여 대응되는 수평면 오디오 스피커로 출력할 수 있다.
도 24는 본 발명의 제3 실시예에 따른, 멀티 채널 오디오 제공 시스템을 도시한 도면이다.
우선, 오디오 장치는 미디어로부터 멀티 채널 오디오 신호를 입력받으며, 외부(예를 들어, 리모컨)로부터 인터렉티브 이펙트 오디오를 입력받는다.
*그리고, 오디오 장치는 입력된 멀티 채널 오디오 신호를 수평면 오디오 스피커의 레이아웃에 대응되도록 수직면 오디오 신호 처리를 수행하고, 입력되는 인터렉티브 이펙트 오디오 역시 스피커 레이아웃에 대응되도록 수직면 오디오 신호 처리를 수행할 수 있다.
그리고, 오디오 장치는 수직면 오디오 신호 처리가 수행된 멀티 채널 오디오 신호와 인터렉티브 이펙트 오디오를 믹싱하여 제1 오디오 신호를 생성하고, 제1 오디오 신호를 대응되는 수평면 오디오 스피커로 출력할 수 있다.
또한, 오디오 장치는 믹싱된 제1 오디오 신호를 다시 인코딩하여 외부의 AV-리시버로 전송할 수 있다. 이때, 오디오 장치는 돌비 디지털(Dolby Digital) 또는 DTS 포맷 등과 같이, 기존의 AV-리시버가 지원가능한 포맷으로 오디오를 인코딩할 수 있다.
외부의 AV-리시버는 수직면 오디오 신호 처리가 수행된 제1 오디오 신호를 처리하여 대응되는 수평면 오디오 스피커로 출력할 수 있다.
도 25는 본 발명의 제4 실시예에 따른, 멀티 채널 오디오 제공 시스템을 도시한 도면이다.
오디오 장치는 미디어로부터 입력되는 멀티 채널 오디오 신호를 외부의 AV-리시버로 바로 전송할 수 있다.
외부의 AV-리시버는 멀티 채널 오디오 신호를 디코딩하고, 디코딩된 멀티 채널 오디오 신호를 수평면 오디오 스피커의 레이아웃에 대응되도록 수직면 오디오 신호 처리를 수행할 수 있다.
그리고, 외부의 AV-리시버는 수직면 오디오 신호 처리가 수행된 멀티 채널 오디오 신호를 대응되는 수평면 스피커를 통해 출력할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (13)

  1. 적어도 하나의 고도 입력 채널 신호를 포함하는 멀티 채널 신호들을 수신하는 단계;
    상기 적어도 하나의 고도 입력 채널 신호에 대하여, HRTF(Head-Related Transfer Function)에 기초하는 필터 계수들을 획득하는 단계;
    상기 적어도 하나의 고도 입력 채널 신호에 대하여, 상기 적어도 하나의 고도 입력 채널 신호의 주파수 범위 및 위치 정보에 따른 패닝 게인들을 획득하는 단계; 및
    수평면 레이아웃을 구성하는 복수개의 출력 채널 신호들에 의해 상승된 음상을 제공하기 위하여, 상기 필터 계수들 및 상기 패닝 게인들에 기초하여 상기 멀티 채널 신호들에 대한 고도 렌더링을 수행하는 단계;를 포함하는,
    오디오 신호를 렌더링하는 방법.
  2. 제 1 항에 있어서,
    상기 패닝 게인들을 획득하는 단계는,
    상기 복수 개의 출력 채널 신호들 각각이 동측(ipsilaterat) 채널 신호인지 대측(contralateral)채널 신호인지 여부에 기초하여 상기 복수 개의 출력 채널 신호들 각각에 대한 패닝 게인들을 수정하는 단계;를 더 포함하는,
    오디오 신호를 렌더링하는 방법.
  3. 제 1 항에 있어서,
    고도 렌더링을 위한 렌더링 타입을 결정하는 단계;를 더 포함하고,
    상기 고도 렌더링은, 상기 결정된 렌더링 타입에 기초하여 수행되는,
    오디오 신호를 렌더링하는 방법.
  4. 제 3 항에 있어서,
    상기 렌더링 타입은 음색(timbral) 고도 렌더링 및 공간(spatial) 고도 렌더링 중 적어도 하나를 포함하는,
    오디오 신호를 렌더링하는 방법.
  5. 제 3 항에 있어서,
    상기 렌더링 타입은 오디오 신호의 오디오 비트스트림에 포함된 정보에 기초하여 결정되는,
    오디오 신호를 렌더링하는 방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 높이 입력 채널 신호 각각은 상기 복수개의 출력 채널 신호들 중 적어도 하나로 분배되는,
    오디오 신호를 렌더링하는 방법.
  7. 적어도 하나의 고도 입력 채널 신호를 포함하는 멀티 채널 신호들을 수신하는 수신부;
    상기 적어도 하나의 고도 입력 채널 신호에 대하여, HRTF(Head-Related Transfer Function)에 기초하는 필터 계수들을 획득하고, 상기 적어도 하나의 고도 입력 채널 신호에 대하여, 상기 적어도 하나의 고도 입력 채널 신호의 주파수 범위 및 위치 정보에 따른 패닝 게인들을 획득하고, 수평면 레이아웃을 구성하는 복수개의 출력 채널 신호들에 의해 상승된 음상을 제공하기 위하여, 상기 필터 계수들 및 상기 패닝 게인들에 기초하여 상기 멀티 채널 신호에 대한 고도 렌더링을 수행하는 렌더링부;를 포함하는,
    오디오 신호를 렌더링하는 장치.
  8. 제 7 항에 있어서,
    상기 렌더링부는,
    상기 복수 개의 출력 채널 신호들 각각이 동측(ipsilaterat) 채널 신호인지 대측(contralateral)채널 신호인지 여부에 기초하여 상기 복수 개의 출력 채널 신호들 각각에 대한 패닝 게인들을 수정하는,
    오디오 신호를 렌더링하는 장치.
  9. 제 7 항에 있어서,
    상기 렌더링부는,
    고도 렌더링을 위한 렌더링 타입을 결정하고, 상기 결정된 렌더링 타입에 기초하여 고도 렌더링을 수행하는,
    오디오 신호를 렌더링하는 장치.
  10. 제 9 항에 있어서,
    상기 렌더링 타입은, 음색(timbral) 고도 렌더링 및 공간(spatial) 고도 렌더링 중 적어도 하나를 포함하는,
    오디오 신호를 렌더링하는 장치.
  11. 제 9 항에 있어서,
    상기 렌더링 타입은 오디오 신호의 오디오 비트스트림에 포함된 정보에 기초하여 결정되는,
    오디오 신호를 렌더링하는 장치.
  12. 제 7 항에 있어서,
    상기 적어도 하나의 높이 입력 채널 신호 각각은 상기 복수개의 출력 채널 신호들 중 적어도 하나로 분배되는,
    오디오 신호를 렌더링하는 장치.
  13. 제 1 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020177002771A 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법 KR101815195B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361806654P 2013-03-29 2013-03-29
US61/806,654 2013-03-29
US201361809485P 2013-04-08 2013-04-08
US61/809,485 2013-04-08
PCT/KR2014/002643 WO2014157975A1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157022453A Division KR101703333B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177037709A Division KR101859453B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법

Publications (2)

Publication Number Publication Date
KR20170016520A true KR20170016520A (ko) 2017-02-13
KR101815195B1 KR101815195B1 (ko) 2018-01-05

Family

ID=51624833

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157022453A KR101703333B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법
KR1020177002771A KR101815195B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법
KR1020177037709A KR101859453B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157022453A KR101703333B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177037709A KR101859453B1 (ko) 2013-03-29 2014-03-28 오디오 장치 및 이의 오디오 제공 방법

Country Status (13)

Country Link
US (3) US9549276B2 (ko)
EP (1) EP2981101B1 (ko)
JP (4) JP2016513931A (ko)
KR (3) KR101703333B1 (ko)
CN (2) CN105075293B (ko)
AU (2) AU2014244722C1 (ko)
BR (1) BR112015024692B1 (ko)
CA (2) CA3036880C (ko)
MX (3) MX346627B (ko)
MY (1) MY174500A (ko)
RU (2) RU2676879C2 (ko)
SG (1) SG11201507726XA (ko)
WO (1) WO2014157975A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9549276B2 (en) * 2013-03-29 2017-01-17 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
KR102231755B1 (ko) 2013-10-25 2021-03-24 삼성전자주식회사 입체 음향 재생 방법 및 장치
CA2943670C (en) * 2014-03-24 2021-02-02 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
MX358769B (es) 2014-03-28 2018-09-04 Samsung Electronics Co Ltd Método y aparato para emitir una señal acústica, y medio de grabación legible en computadora.
KR102574478B1 (ko) 2014-04-11 2023-09-04 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CA2953674C (en) 2014-06-26 2019-06-18 Samsung Electronics Co. Ltd. Method and device for rendering acoustic signal, and computer-readable recording medium
CN106688252B (zh) * 2014-09-12 2020-01-03 索尼半导体解决方案公司 音频处理装置和方法
CN107005778B (zh) * 2014-12-04 2020-11-27 高迪音频实验室公司 用于双耳渲染的音频信号处理设备和方法
KR20160122029A (ko) * 2015-04-13 2016-10-21 삼성전자주식회사 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
ES2883874T3 (es) * 2015-10-26 2021-12-09 Fraunhofer Ges Forschung Aparato y método para generar una señal de audio filtrada realizando renderización de elevación
EP3378241B1 (en) 2015-11-20 2020-05-13 Dolby International AB Improved rendering of immersive audio content
EP3406086B1 (en) * 2016-01-22 2020-03-25 Glauk S.r.l. Method and apparatus for playing audio by means of planar acoustic transducers
JP2019518373A (ja) * 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 没入型オーディオ再生システム
CN106060758B (zh) * 2016-06-03 2018-03-23 北京时代拓灵科技有限公司 虚拟现实声场元数据的处理方法
CN105872940B (zh) * 2016-06-08 2017-11-17 北京时代拓灵科技有限公司 一种虚拟现实声场生成方法及系统
US10187740B2 (en) * 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US10979844B2 (en) * 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10542491B2 (en) * 2017-03-17 2020-01-21 Qualcomm Incorporated Techniques and apparatuses for control channel monitoring using a wakeup signal
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10348880B2 (en) * 2017-06-29 2019-07-09 Cheerful Ventures Llc System and method for generating audio data
KR102418168B1 (ko) 2017-11-29 2022-07-07 삼성전자 주식회사 오디오 신호 출력 장치 및 방법, 이를 이용한 디스플레이 장치
IT201800004209A1 (it) * 2018-04-05 2019-10-05 Dispositivo semiconduttore di potenza con relativo incapsulamento e corrispondente procedimento di fabbricazione
KR102637876B1 (ko) * 2018-04-10 2024-02-20 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
CN109089203B (zh) * 2018-09-17 2020-10-02 中科上声（苏州）电子有限公司 汽车音响系统的多声道信号转换方法及汽车音响系统
WO2020177095A1 (en) * 2019-03-06 2020-09-10 Harman International Industries, Incorporated Virtual height and surround effect in soundbar without up-firing and surround speakers
IT201900013743A1 (it) 2019-08-01 2021-02-01 St Microelectronics Srl Dispositivo elettronico di potenza incapsulato, in particolare circuito a ponte comprendente transistori di potenza, e relativo procedimento di assemblaggio
IT202000016840A1 (it) 2020-07-10 2022-01-10 St Microelectronics Srl Dispositivo mosfet incapsulato ad alta tensione e dotato di clip di connessione e relativo procedimento di fabbricazione
US11924628B1 (en) * 2020-12-09 2024-03-05 Hear360 Inc Virtual surround sound process for loudspeaker systems
CN112731289B (zh) * 2020-12-10 2024-05-07 深港产学研基地（北京大学香港科技大学深圳研修院） 一种基于加权模板匹配的双耳声源定位方法和装置
US11595775B2 (en) * 2021-04-06 2023-02-28 Meta Platforms Technologies, Llc Discrete binaural spatialization of sound sources on two audio channels

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111699A (ja) * 1993-10-08 1995-04-25 Victor Co Of Japan Ltd 音像定位制御装置
JP3528284B2 (ja) * 1994-11-18 2004-05-17 ヤマハ株式会社 ３次元サウンドシステム
JPH0918999A (ja) * 1995-04-25 1997-01-17 Matsushita Electric Ind Co Ltd 音像定位装置
JPH09322299A (ja) * 1996-05-24 1997-12-12 Victor Co Of Japan Ltd 音像定位制御装置
JP4500434B2 (ja) * 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
KR100904985B1 (ko) * 2001-02-07 2009-06-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 채널 변환
US7660424B2 (en) 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
CN101161029A (zh) * 2005-02-17 2008-04-09 松下北美公司美国分部松下汽车系统公司 优化音频系统中的音频源资料的再现的方法和装置
KR100608025B1 (ko) 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
JP4581831B2 (ja) * 2005-05-16 2010-11-17 ソニー株式会社 音響装置、音響調整方法および音響調整プログラム
KR100739776B1 (ko) 2005-09-22 2007-07-13 삼성전자주식회사 입체 음향 생성 방법 및 장치
CN1937854A (zh) * 2005-09-22 2007-03-28 三星电子株式会社 用于再现双声道虚拟声音的装置和方法
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
KR100677629B1 (ko) * 2006-01-10 2007-02-02 삼성전자주식회사 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치
CN101385077B (zh) * 2006-02-07 2012-04-11 Lg电子株式会社 用于编码/解码信号的装置和方法
WO2007091779A1 (en) 2006-02-10 2007-08-16 Lg Electronics Inc. Digital broadcasting receiver and method of processing data
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
JP4914124B2 (ja) * 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
JP5114981B2 (ja) * 2007-03-15 2013-01-09 沖電気工業株式会社 音像定位処理装置、方法及びプログラム
CN101689368B (zh) * 2007-03-30 2012-08-22 韩国电子通信研究院 对具有多声道的多对象音频信号进行编码和解码的设备和方法
KR101430607B1 (ko) 2007-11-27 2014-09-23 삼성전자주식회사 휴대용 단말기에서 스테레오 효과를 제공하기 위한 장치 및방법
CN101483797B (zh) * 2008-01-07 2010-12-08 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
EP2124486A1 (de) * 2008-05-13 2009-11-25 Clemens Par Winkelabhängig operierende Vorrichtung oder Methodik zur Gewinnung eines pseudostereophonen Audiosignals
EP2154677B1 (en) 2008-08-13 2013-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a converted spatial audio signal
EP2356825A4 (en) * 2008-10-20 2014-08-06 Genaudio Inc AUDIO SPACE AND ENVIRONMENT SIMULATION
EP2398257B1 (en) * 2008-12-18 2017-05-10 Dolby Laboratories Licensing Corporation Audio channel spatial translation
GB2476747B (en) 2009-02-04 2011-12-21 Richard Furse Sound system
JP5499513B2 (ja) * 2009-04-21 2014-05-21 ソニー株式会社 音響処理装置、音像定位処理方法および音像定位処理プログラム
WO2010149166A1 (en) * 2009-06-26 2010-12-29 Lizard Technology A dsp-based device for auditory segregation of multiple sound inputs
KR20140010468A (ko) * 2009-10-05 2014-01-24 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
EP2489207A4 (en) 2009-10-12 2013-10-30 Nokia Corp MULTI-WAY ANALYSIS FOR AUDIO WORKING
JP5597975B2 (ja) 2009-12-01 2014-10-01 ソニー株式会社 映像音響装置
US9042559B2 (en) * 2010-01-06 2015-05-26 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
EP2360681A1 (en) 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
US8665321B2 (en) * 2010-06-08 2014-03-04 Lg Electronics Inc. Image display apparatus and method for operating the same
KR101679570B1 (ko) * 2010-09-17 2016-11-25 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
US20120093323A1 (en) * 2010-10-14 2012-04-19 Samsung Electronics Co., Ltd. Audio system and method of down mixing audio signals using the same
JP5730555B2 (ja) 2010-12-06 2015-06-10 富士通テン株式会社 音場制御装置
JP5757093B2 (ja) * 2011-01-24 2015-07-29 ヤマハ株式会社 信号処理装置
BR112013029850B1 (pt) * 2011-05-26 2021-02-09 Koninklijke Philips N.V. sistema de áudio e método de operação de um sistema de áudio
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
JP2013048317A (ja) * 2011-08-29 2013-03-07 Nippon Hoso Kyokai <Nhk> 音像定位装置及びそのプログラム
CN202353798U (zh) * 2011-12-07 2012-07-25 广州声德电子有限公司 数字影院音频处理器
EP2645749B1 (en) 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
US9549276B2 (en) * 2013-03-29 2017-01-17 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof

Also Published As

Publication number Publication date
KR20150138167A (ko) 2015-12-09
RU2015146225A (ru) 2017-05-04
MX366000B (es) 2019-06-24
US20160044434A1 (en) 2016-02-11
KR20180002909A (ko) 2018-01-08
CN107623894A (zh) 2018-01-23
US9986361B2 (en) 2018-05-29
CN105075293B (zh) 2017-10-20
AU2016266052B2 (en) 2017-11-30
US9549276B2 (en) 2017-01-17
CN107623894B (zh) 2019-10-15
US10405124B2 (en) 2019-09-03
EP2981101A1 (en) 2016-02-03
KR101815195B1 (ko) 2018-01-05
BR112015024692A2 (pt) 2017-07-18
CA3036880A1 (en) 2014-10-02
WO2014157975A1 (ko) 2014-10-02
SG11201507726XA (en) 2015-10-29
CA2908037A1 (en) 2014-10-02
BR112015024692B1 (pt) 2021-12-21
JP6985324B2 (ja) 2021-12-22
US20180279064A1 (en) 2018-09-27
RU2018145527A (ru) 2019-02-04
JP6510021B2 (ja) 2019-05-08
MX2019006681A (es) 2019-08-21
KR101859453B1 (ko) 2018-05-21
RU2676879C2 (ru) 2019-01-11
JP7181371B2 (ja) 2022-11-30
CN105075293A (zh) 2015-11-18
AU2014244722B2 (en) 2016-09-01
JP2019134475A (ja) 2019-08-08
AU2014244722C1 (en) 2017-03-02
KR101703333B1 (ko) 2017-02-06
US20170094438A1 (en) 2017-03-30
MX346627B (es) 2017-03-27
RU2703364C2 (ru) 2019-10-16
RU2018145527A3 (ko) 2019-08-08
EP2981101A4 (en) 2016-11-16
JP2018057031A (ja) 2018-04-05
JP2016513931A (ja) 2016-05-16
MX2015013783A (es) 2016-02-16
CA3036880C (en) 2021-04-27
AU2014244722B9 (en) 2016-12-15
AU2016266052A1 (en) 2017-01-12
MY174500A (en) 2020-04-23
CA2908037C (en) 2019-05-07
JP2022020858A (ja) 2022-02-01
AU2014244722A1 (en) 2015-11-05
EP2981101B1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
KR101859453B1 (ko) 오디오 장치 및 이의 오디오 제공 방법
KR102131748B1 (ko) 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치
CN111316354B (zh) 目标空间音频参数和相关联的空间音频播放的确定
RU2759160C2 (ru) УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ КОДИРОВАНИЯ, ДЕКОДИРОВАНИЯ, ОБРАБОТКИ СЦЕНЫ И ДРУГИХ ПРОЦЕДУР, ОТНОСЯЩИХСЯ К ОСНОВАННОМУ НА DirAC ПРОСТРАНСТВЕННОМУ АУДИОКОДИРОВАНИЮ
TWI797417B (zh) 用於將保真立體音響格式聲訊訊號描繪至二維度（２ｄ）揚聲器設置之方法和裝置以及電腦可讀式儲存媒體
CN112219236A (zh) 空间音频参数和相关联的空间音频播放
JP6686015B2 (ja) オーディオ信号のパラメトリック混合
US20150179180A1 (en) Method and device for processing audio signal
TWI841483B (zh) 用於將保真立體音響格式聲訊訊號描繪至二維度（２ｄ）揚聲器設置之方法和裝置以及電腦可讀式儲存媒體

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right