KR20110122631A - 입체 음향 재생 방법 및 장치 - Google Patents

입체 음향 재생 방법 및 장치 Download PDF

Info

Publication number
KR20110122631A
KR20110122631A KR1020110022451A KR20110022451A KR20110122631A KR 20110122631 A KR20110122631 A KR 20110122631A KR 1020110022451 A KR1020110022451 A KR 1020110022451A KR 20110022451 A KR20110022451 A KR 20110022451A KR 20110122631 A KR20110122631 A KR 20110122631A
Authority
KR
South Korea
Prior art keywords
acoustic
sound
depth information
signal
frequency band
Prior art date
Application number
KR1020110022451A
Other languages
English (en)
Other versions
KR101764175B1 (ko
Inventor
김선민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to BR112012028272-7A priority Critical patent/BR112012028272B1/pt
Priority to PCT/KR2011/003337 priority patent/WO2011139090A2/en
Priority to JP2013508997A priority patent/JP5865899B2/ja
Priority to AU2011249150A priority patent/AU2011249150B2/en
Priority to EP11777571.8A priority patent/EP2561688B1/en
Priority to MX2012012858A priority patent/MX2012012858A/es
Priority to RU2012151848/08A priority patent/RU2540774C2/ru
Priority to CA2798558A priority patent/CA2798558C/en
Priority to CN201180033247.8A priority patent/CN102972047B/zh
Priority to US13/100,442 priority patent/US9148740B2/en
Publication of KR20110122631A publication Critical patent/KR20110122631A/ko
Priority to ZA2012/09123A priority patent/ZA201209123B/en
Priority to US14/835,303 priority patent/US9749767B2/en
Application granted granted Critical
Publication of KR101764175B1 publication Critical patent/KR101764175B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

음향 신호내의 적어도 하나의 오브젝트와 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득하고, 음향 깊이 정보에 기초하여 오브젝트에 원근감을 부여하는 입체 음향 재생 방법 및 장치가 개시된다.

Description

입체 음향 재생 방법 및 장치{Method and apparatus for reproducing stereophonic sound}
본 발명은 입체 음향 재생 방법 및 장치에 관한 것으로, 특히, 음향 오브젝트에 대하여 원근감을 부여하는 입체 음향 재생 방법 및 장치에 관한 것이다.
영상 기술의 발전에 힘입어 사용자는 3차원 입체 영상을 시청할 수 있게 되었다. 3차원 입체 영상은 양안 시차를 고려하여 좌시점 영상 데이터를 좌안에 노출시키고, 우시점 영상 데이터를 우안에 노출시킨다. 사용자는 3차원 영상 기술을 통하여 스크린으로부터 튀어나오거나 스크린 뒤로 들어가는 오브젝트를 실감나게 인식할 수 있다.
한편, 영상 기술의 발전과 더불어 음향에 대한 사용자의 관심이 증대되고 있으며, 특히, 입체 음향 기술이 눈부시게 발전하고 있다. 입체 음향 기술은 사용자의 주위에 복수 개의 스피커를 배치하여, 사용자가 정위감과 임장감을 느낄 수 있도록 한다. 그러나, 입체 음향 기술에서는 사용자에게 다가오거나 사용자로부터 멀어지는 영상 오브젝트를 효과적으로 표현하지 못하므로 입체 영상에 부합하는 음향 효과를 제공할 수 없다.
상기의 문제점을 해결하기 위한 본 발명의 목적은, 효과적으로 입체 음향을 재생하는 방법 및 장치를 제공하는 것으로, 특히, 음향 오브젝트에 대하여 원근감을 부여하여 사용자에게 다가오거나 멀어지는 음향을 효과적으로 표현하는 입체 음향 재생 방법 및 장치를 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예가 갖는 하나의 특징은, 음향 신호내의 적어도 하나의 오브젝트와 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득하는 단계; 및 상기 음향 깊이 정보에 기초하여, 상기 오브젝트에 원근감을 부여하는 단계를 포함하는 것이다.
상기 음향 신호는, 복수 개의 구간들로 구분되며, 상기 음향 깊이 정보를 획득하는 단계는, 이전 구간에서의 상기 음향 신호와 다음 구간에서의 상기 음향 신호를 비교하여 상기 음향 깊이 정보를 획득하는 단계를 포함할 수 있다.
상기 음향 깊이 정보를 획득하는 단계는, 상기 복수 개의 구간들 각각에 대하여 주파수 대역별 파워를 계산하는 단계; 상기 주파수 대역별 파워에 기초하여, 인접한 구간들에서 공통적으로 파워가 일정 임계치 이상인 주파수 대역을 공통주파수대역으로 결정하는 단계; 및 상기 현재 구간에서의 공통주파수대역의 파워와 상기 현재 구간과 인접한 이전 구간에서의 공통주파수대역의 파워간의 차이에 기초하여, 상기 음향 깊이 정보를 획득하는 단계를 포함할 수 있다.
상기 방법은, 상기 음향 신호로부터 센터 스피커로 출력되는 센터 채널 신호를 획득하는 단계를 더 포함하고, 상기 파워를 계산하는 단계는, 상기 센터 채널 신호에 기초하여 상기 주파수 대역별 파워를 계산하는 단계를 포함할 수 있다.
상기 원근감을 부여하는 단계는, 상기 음향 깊이 정보에 기초하여, 상기 오브젝트의 파워를 조정하는 단계를 포함할 수 있다.
상기 원근감을 부여하는 단계는, 상기 음향 깊이 정보에 기초하여, 상기 오브젝트가 반사되어 발생하는 반사 신호의 이득 및 지연 시간을 조정하는 단계를 포함할 수 있다.
상기 원근감을 부여하는 단계는, 상기 음향 깊이 정보에 기초하여, 상기 오브젝트의 저대역 성분의 크기를 조정하는 단계를 포함할 수 있다.
상기 원근감을 부여하는 단계는, 제 1 스피커에서 출력될 상기 오브젝트의 위상과 제 2 스피커에서 출력될 상기 오브젝트의 위상간의 차이를 조정하는 단계를 포함할 수 있다.
상기 원근감이 부여된 오브젝트를 좌측 서라운드 스피커 및 우측 서라운드 스피커를 통하여 출력하거나, 좌측 프론트 스피커 및 우측 프론트 스피커를 통하여 출력하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 음향 신호를 이용하여 스피커의 외각에 음상을 정위시키는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 음향 신호내의 적어도 하나의 오브젝트와 기준점간의 거리를 나타내는 음향 깊이 정보를 획득하는 정보 획득부; 및 상기 음향 깊이 정보에 기초하여, 상기 오브젝트에 원근감을 부여하는 원근감 제공부를 포함하는 것이다.
도 1는 본 발명의 일 실시예에 따른 입체 음향 재생 장치(100)장치에 관한 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 다른 음향 깊이 정보 획득부(110)에 관한 블록도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 2채널 음향 신호를 이용하여 입체 음향을 제공하는 입체 음향 재생 장치(300)에 관한 블록도를 나타낸다.
도 4은 본 발명의 일 실시예에 따른 입체 음향을 제공하는 일 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 음향 신호에 기초하여 음향 깊이 정보를 생성하는 방법에 관한 흐름도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 음향 신호로부터 음향 깊이 정보를 생성하는 일 예를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 입체 음향 재생 방법에 관한 흐름도를 나타낸다.
먼저, 설명의 편의를 위하여 본 명세서에서 사용되는 용어를 간단하게 정의한다.
음향 오브젝트는 음향 신호에 포함된 하나 이상의 음향 각각을 지칭한다. 하나의 음향 신호에는 다양한 음향 오브젝트가 포함될 수 있다. 예를 들어, 오케스트라의 공연 실황을 녹음하여 생성된 음향 신호에는 기타, 바이올린, 오보에 등의 다양한 악기로부터 발생한 다양한 음향 오브젝트가 포함된다.
음원은 음향 오브젝트를 생성한 대상(예를 들면, 악기, 목)를 지칭한다. 본 명세서에서는 음향 오브젝트를 실제로 생성한 대상과 사용자가 음향 오브젝트를 생성한 것으로 인식하는 대상을 모두 음원으로 지칭한다. 일 예로, 사용자가 영화를 시청하던 중 사과가 스크린으로부터 사용자 쪽으로 날라오고 있다면, 사과가 날아올 때 발생하는 소리(음향 오브젝트)가 음향 신호에 포함될 것이다. 상기 음향 오브젝트는 실제로 사과가 던져서 나는 소리를 녹음한 것일 수도 있고, 미리 녹음된 음향 오브젝트를 단순히 재생하는 것일 수도 있다. 그러나, 어떤 경우라 하더라도 사용자는 사과가 상기 음향 오브젝트를 발생시켰다고 인식할 것이므로, 사과 또한 본 명세서에서 정의하는 음원에 해당한다.
음향 깊이 정보는 음향 오브젝트와 기준 위치간의 거리를 나타내는 정보이다. 구체적으로, 음향 깊이 정보는 음향 오브젝트가 발생한 위치(음원의 위치)와 기준 위치간의 거리를 나타낸다.
상술한 예에서와 같이, 사용자가 영화를 시청하던 중 사과가 스크린으로부터 사용자 쪽으로 날라오고 있다면, 음원과 사용자와의 거리가 가까워지고 있다. 사과가 다가오고 있음을 효과적으로 표현하기 위해서는 영상 오브젝트에 대응하는 음향 오브젝트의 발생 위치가 점점 더 사용자에게 가까워지는 것으로 표현하여야 하며, 이를 위한 정보가 음향 깊이 정보에 포함된다.
기준 위치는 소정의 음원의 위치, 스피커의 위치, 사용자의 위치 등 실시 예에 따라서 다양할 수 있다.
음향 원근감은 사용자가 음향 오브젝트를 통하여 느끼는 감각의 일종이다. 사용자는 음향 오브젝트를 청취함으로써 음향 오브젝트가 발생한 위치, 즉, 음향 오브젝트를 생성한 음원의 위치를 인식한다. 이 때, 사용자가 인식하는 음원과의 거리감을 음향 원근감으로 지칭한다.
이하에서는 첨부된 도면을 참고하여 본 발명의 바람직한 실시 예를 상세히 설명한다.
도 1는 본 발명의 일 실시예에 따른 입체 음향 재생 장치(100)장치에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 입체 음향 재생 장치(100)는 음향 깊이 정보 획득부(110) 및 원근감 제공부(120)를 포함한다.
음향 깊이 정보 획득부(110)는 음향 신호에 포함된 하나 이상의 음향 오브젝트에 대하여 음향 깊이 정보를 획득한다. 음향 신호에는 하나 이상의 음원에서 생성하는 음향이 포함되어 있다. 음향 깊이 정보는 음향이 발생한 위치(예를 들면, 음원의 위치)와 기준 위치간의 거리를 나타내는 정보이다.
음향 깊이 정보는 오브젝트와 기준 위치간의 절대 거리를 나타낼 수도 있으나, 기준 위치에 대한 상대적인 거리를 나타낼 수도 있다. 다른 실시예에서 음향 깊이 정보는 음향 오브젝트와 기준 위치간의 거리의 변화만을 나타낼 수도 있다.
음향 깊이 정보 획득부(110)는 음향 신호를 분석하여 음향 깊이 정보를 획득하거나, 3차원 영상 데이터를 분석하여 음향 깊이 정보를 획득하거나, 영상 깊이 맵으로부터 음향 깊이 정보를 생성할 수도 있다. 본 명세서에는 음향 깊이 정보 획득부(110)가 음향 신호를 분석하여 음향 깊이 정보를 획득하는 경우를 중점적으로 설명한다.
음향 깊이 정보 획득부(110)는 음향 신호를 구성하는 복수 개의 구간들을 인접한 구간과 비교하여 음향 깊이 정보를 획득한다. 음향 신호를 분할하는 방법은 다양할 수 있다. 일 예로, 음향 신호는 소정의 샘플수마다 분할될 수 있다. 분할된 각각의 구간은 프레임이나 블록등으로 지칭될 수 있다. 음향 깊이 정보 획득부(110)의 일 예에 관한 자세한 설명은 도 2에서 후술한다.
원근감 제공부(120)는 음향 깊이 정보에 기초하여, 사용자가 음향 원근감을 느낄 수 있도록 음향 신호를 처리한다. 원근감 제공부(120)는 사용자가 음향 원근감을 효과적으로 느낄 수 있도록하기 위하여 다음의 네 가지 작업을 수행한다. 그러나, 원근감 제공부(120)에서 수행하는 네 가지 작업은 일 예에 불과하며, 본 발명이 여기에 한정되는 것은 아니다.
i)원근감 제공부(120)는 음향 깊이 정보에 기초하여 음향 오브젝트의 파워를 조정한다. 음향 오브젝트가 사용자에게 가까운 곳에서 발생할수록, 음향 오브젝트의 파워가 커질 것이다.
ii)원근감 제공부(120)는 음향 깊이 정보에 기초하여 반사 신호의 이득 및 지연 시간을 조정한다. 사용자는 장애물등에 반사되지 않은 직접 음향 신호와 장애물에 반사되어 생성된 반사 음향 신호를 모두 청취한다. 반사 음향 신호가 직접 음향 신호에 비하여 크기가 작고, 직접 음향에 비하여 일정 시간 지연되어 사용자에게 도달하는 것이 일반적이다. 특히, 음향 오브젝트가 사용자에게서 가까운 곳에서 발생한 경우에는, 반사 음향 신호는 직접 음향 신호에 비하여 상당히 늦게 도착하게 되며, 크기도 훨씬 감소하게 된다.
iii)원근감 제공부(120)는 음향 깊이 정보에 기초하여 음향 오브젝트의 저대역 성분을 조정한다. 음향 오브젝트가 사용자에게서 가까운 곳에서 발생하게 되면 사용자는 저대역 성분을 크게 인식하게 된다.
iv)원근감 제공부(120)는 음향 깊이 정보에 기초하여 음향 오브젝트의 위상을 조절한다. 제 1 스피커에서 출력될 음향 오브젝트의 위상과 제 2 스피커에서 출력될 음향 오브젝트의 위상간의 차이가 크면 클수록, 사용자는 음향 오브젝트가 가까이 있는 것으로 인식하게 된다.
원근감 제공부(120)의 동작에 관한 자세한 설명은 도 3을 참고하여 후술하도록 한다.
도 2는 본 발명의 일 실시예에 다른 음향 깊이 정보 획득부(110)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 음향 깊이 정보 획득부(110)는 파워계산부(210), 결정부(220) 및 생성부(230)를 포함한다.
파워계산부(210)는 음향 신호를 구성하는 구간들 각각에 대하여 주파수 대역별 파워를 계산한다.
주파수 대역의 크기를 결정하는 방법은 실시 예에 따라서 다양할 수 있다. 이하에서는 주파수 대역의 크기를 결정하는 두 가지 방법을 제시하지만 본 발명이 여기에 한정되는 것은 아니다.
i)음향 신호에 대한 주파수 성분을 동일한 크기의 주파수 대역으로 분할할 수 있다. 사람의 귀가 청취할 수 있는 가청 주파수는 20~20000Hz이다. i)방법에 의하여 가청 주파수를 10개의 대역으로 분할한다면 주파수 대역의 크기는 모두 약 200Hz가 될 것이다. 음향 신호의 주파수 성분을 동일한 크기의 주파수 대역으로 분할하는 방식은 등가대역폭(Equivalent Rectangular Bandwidth) 분할 방식으로 지칭될 수도 있다.
ii)음향 신호에 대한 주파수 성분을 상이한 크기의 주파수 대역으로 분할할 수 있다. 사람의 청각은 낮은 주파수의 음향을 청취할 때에는 조그마한 주파수의 변화도 쉽게 인식할 수 있지만, 높은 주파수의 음향을 청취할 때에는 조그마한 주파수의 변화를 인식하지 못한다. ii)방법의 경우 사람의 청각을 고려하여 낮은 주파수 대역을 촘촘하게 분할하고, 높은 주파수 대역을 듬성하게 분할한다. 따라서, 낮은 주파수 대역은 폭이 좁고, 높은 주파수 대역은 폭이 넓다.
결정부(220)는 주파수 대역별 파워에 기초하여, 인접 구간에서 파워가 파워가 일정 임계치 이상인 공통되는 주파수 대역을 공통주파수대역으로 결정한다. 일 예로, 현재 구간에서 'A' 이상의 파워를 갖는 주파수 대역들을 선정하고 이전 구간에서 'A' 이상의 파워를 갖는 주파수 대역들(또는, 현재 구간에서 상위 다섯 번째 이내의 파워를 갖는 주파수 대역들과 이전 구간에서 상위 다섯 번째 이내의 파워를 갖는 주파수 대역들)을 선정한 후, 이전 구간과 현재 구간에서 모두 선정된 주파수 대역을 공통주파수대역으로 결정한다. 임계치 이상의 주파수 대역들로 한정하는 이유는 신호 크기가 큰 음향 오브젝트의 위치를 획득하기 위함이다. 이로 인하여, 신호의 크기가 작은 음향 오브젝트의 영향력을 최소화하고, 주된 음향 오브젝트의 영향력을 최대화할 수 있다. 결정부(220)가 공통주파수대역을 결정하는 다른 이유는 이전 구간에서는 없던 새로운 음향 오브젝트가 현재 구간에서 생성된 것인지, 아니면 이전부터 존재하던 음향 오브젝트의 특성(예를 들면, 발생 위치)이 변경되었는지를 판단하기 위함이다.
생성부(230)는 이전 구간에서의 공통주파수대역의 파워와 현재 구간에서의 공통주파수 대역의 파워간의 차이에 기초하여, 음향 깊이 정보를 생성한다. 설명의 편의를 위하여 공통주파수대역을 3000~4000Hz이라고 가정해보자. 이전 구간에서 3000~4000Hz 주파수 성분의 파워가 3W이고, 현재 구간에서 3000~4000Hz 주파수 성분의 파워가 4.5W이면, 공통주파수대역의 파워가 증가하였다. 이는, 사용자에게 더 근접한 위치에서 음향 오브젝트가 발생한 것으로 판단할 수 있다.
실시 예에 따라서는 3차원 영상에 대한 깊이 맵 정보에 기초하여 인접 구간에서의 공통주파수대역의 파워가 변할 때, 사용자에게 가까워지는(즉, 스크린에서 튀어나오는) 영상 오브젝트가 존재하는지를 판단한다. 인접 구간에서 공통주파수대역의 파워가 변할 때 영상 오브젝트가 사용자에게 다가오고 있다면, 영상 오브젝트의 이동에 대응하여 음향 오브젝트의 발생 위치가 이동되는 것으로 판단할 수 있다.
생성부(230)는 이전 구간과 현재 구간에서의 공통주파수대역의 파워 변화가 크면 클수록, 현재 구간에서의 공통주파수대역에 해당하는 음향 오브젝트가 이전 구간에서의 공통주파수대역에 해당하는 음향 오브젝트에 비하여 사용자에게 더 가까운 곳에서 발생하는 것으로 판단할 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 음향 신호를 이용하여 입체 음향을 제공하는 입체 음향 재생 장치(300)에 관한 블록도를 나타낸다.
만일, 입력 신호가 다채널 음향 신호라면 스테레오 신호로 다운 믹싱을 수행한 후 본 발명을 적용할 수 있다.
FFT부(310)는 입력 신호에 대하여 고속 퓨리어 변환을 수행한다.
IFFT(320)는 퓨리어 변환된 신호에 대하여 역-퓨리어 변환을 수행한다.
센터신호추출부(330)는 스테레오 신호로부터 센터 채널에 해당하는 신호인 센터 신호를 추출한다. 센터신호추출부(330)는 스테레오 신호에서 상관도가 큰 신호를 센터 채널 신호로써 추출한다. 도 3에서는 센터 채널 신호에 기초하여 음향 깊이 정보를 생성하는 것으로 가정하였다. 그러나, 센터 채널 신호를 이용하여 음향 깊이 정보를 생성하는 것은 일 예에 불과하며, 좌,우 프론트 채널 신호 또는 좌,우 서라운드 채널 신호등의 다른 채널 신호를 이용하여 음향 깊이 정보를 생성할 수도 있다.
음장확장부(350)(sound stage extension)는 음장을 확장한다. 음장확장부(350)는 스테레오 신호에 시간 차이나 위상 차이를 인위적으로 부여하여 음상이 스피커보다 바깥쪽에 정위되도록 한다.
음향 깊이 정보 획득부(360)는 센터 신호에 기초하여 음향 깊이 정보를 획득한다.
파라미터 계산부(370)는 음향 깊이 정보에 기초하여 음향 오브젝트에 음향 원근감을 제공하는데 필요한 제어 파라이터 값을 결정한다.
레벨 제어부(371)는 입력 신호의 크기를 제어한다.
위상 제어부(372)는 입력 신호의 위상을 조정한다.
반사효과제공부(373)는 입력 신호가 벽등에 의하여 반사되어 발생하는 반사 신호를 모델링한다.
근거리효과제공부(374)는 사용자와 인접한 거리에서 발생한 음향 신호를 모델링한다.
믹싱부(380)는 하나 이상의 신호를 믹싱하여 스피커로 출력한다.
이하에서는 시간 순서에 따라 입체 음향 재생 장치(300)의 동작을 설명한다.
먼저, 다채널 음향 신호가 입력되는 경우 다운믹서(미도시)를 통하여 스테레오 신호로 변환한다.
FFT(310)는 스테레오 신호에 대하여 고속-퓨리어 변환을 수행한 후 센터 추출부(320)로 출력한다.
센터신호추출부(320)는 변환된 스테레오 신호들을 비교하여 상관도가 큰 신호를 센터 채널 신호로써 출력한다.
음향 깊이 정보 획득부(360)는 센터 신호에 기초하여 음향 깊이 정보를 생성한다. 음향 깊이 정보 획득부(360)에서 음향 깊이 정보를 생성하는 방법은 도 2와 동일하다. 즉, 센터 채널 신호를 구성하는 각각의 구간에서 주파수 대역별 파워를 계산하고, 이에 기초하여 공통주파수대역을 결정한다. 인접하는 둘 이상의 구간에서 공통주파수대역의 파워 변화를 측정하고, 파워 변화에 따라 깊이 인덱스를 설정한다. 인접하는 구간들에서의 공통주파수대역의 파워 변화가 크면 클수록, 공통주파수대역에 대응하는 음향 오브젝트가 사용자에게 가까이 다가오는 것으로 표현하여야 하므로 음향 오브젝트의 깊이 인덱스 값을 크게 설정한다.
파라미터 계산부(370)는 인덱스 값에 기초하여 음향 원근감을 부여하기 위한 모듈들에 적용할 파라미터를 계산한다.
위상 제어부(371)는 센터 채널 신호를 두 개의 신호로 복제한 후 계산된 파라미터에 따라 복제된 신호의 위상을 조절한다. 위상이 상이한 음향 신호를 좌측 스피커와 우측 스피커로 재생하면 블러링 현상이 발생한다. 블러링 현상이 심하면 심할수록 사용자가 음향 오브젝트가 발생한 위치를 정확하게 인식하는 것이 어렵다. 이러한 현상으로 인하여 위상 제어 방법이 다른 원근감 부여 방법과 함께 사용될 때 원근감 제공 효과를 증대시킬 수 있다. 음향 오브젝트의 발생 위치가 사용자에게 근접할 수록(또는, 발생 위치가 사용자에게 빠르게 다가올수록), 위상 제어부(371)는 복제된 신호의 위상 차이를 더 크게 설정할 것이다. 위상이 조정된 복제 신호는 IFFT(320)를 거쳐 반사효과제공부(373)로 전달된다.
반사효과제공부(373)는 반사 신호를 모델링한다. 음향 오브젝트가 사용자로부터 멀리 떨어진 곳에서 발생하면, 벽등에 의하여 반사되지 않고 사용자에게 직접 전달되는 직접 음향과 벽등에 의하여 반사되어 생성된 반사 음향의 크기가 비슷하고, 직접 음향과 반사 음향이 사용자에게 도착하는 시간차이가 거의 없다. 그러나, 음향 오브젝트가 사용자로부터 가까운 곳에서 발생하면, 직접 음향과 반사 음향의 크기가 상이하고, 직접 음향과 반사 음향이 사용자에게 도착하는 시간 차이가 크다. 따라서, 음향 오브젝트가 사용자로부터 가까운 거리에서 발생할수록, 반사효과제공부(373)은 반사 신호의 게인 값을 더 크게 감소시키고 시간 지연을 더 증가시거나, 직접 음향의 크기를 상대적으로 증가시킨다. 반사효과제공부(373)은 반사 신호가 고려된 센터 채널 신호를 근거리효과제공부(374)로 전송한다.
근거리효과제공부(374)는 파라미터계산부(370)에서 계산된 파라미터 값에 기초하여, 사용자와 인접한 거리에서 발생한 음향 오브젝트를 모델링한다. 음향 오브젝트가 사용자와 가까운 위치에서 발생하면 저대역 성분이 부각된다. 근거리효과제공부(374)는 오브젝트가 발생한 지점이 사용자와 가까우면 가까울수록 센터 신호의 저대역 성분을 증가시킨다.
한편, 스테레오 입력 신호를 수신한 음장확장부(350)는 스피커의 바깥쪽에 음상이 정위되도록 스테레오 신호를 처리한다. 스피커간의 위치가 적당히 멀어지면 사용자는 현장감있는 입체 음향을 청취할 수 있게 된다.
음장확장부(350)는 스테레오 신호를 와이드닝 스테레오 신호로 변환한다. 음장확장부는(350)는 좌/우 바이노럴 합성(Binaural Synthesis)과 크로스토크 캔설러를 콘볼루션한 와이드닝 필터와, 와이드닝 필터와 좌/우 다이렉트 필터를 콘볼루션한 한 개의 파노라마 필터를 포함할 수 있다. 이때 와이드 필터는 스테레오 신호에 대해 소정의 위치에서 측정한 머리 전달 함수(HRTF)를 바탕으로 임의의 위치에 대한 가상 음원으로 형성시키고, 머리 전달 함수를 반영한 필터 계수에 근거하여 가상 음원의 크로스토크를 캔설링한다. 좌, 우다이렉트 필터는 원래의 스테레오 신호와 크로스토크 캔설링된 가상 음원 사이의 게인 및 딜레이와 같은 신호 특성을 조정한다.
레벨제어부(360)는 파라미터 계산부(370)에서 계산된 깊이 인덱스에 기초하여 음향 오브젝트의 파워 크기를 조정한다. 레벨제어부(360)는 음향 오브젝트가 사용자로부터 가까운 곳에서 발생할수록, 음향 오브젝트의 크기를 증가시킬 것이다.
믹싱부(380)는 레벨제어부(360)에서 전송된 스테레오 신호와 근거리효과제공부(374)에서 전송된 센터 신호를 결합하여 스피커로 출력한다.
도 4은 본 발명의 일 실시예에 따른 입체 음향을 제공하는 일 예를 나타낸다.
도 4a는, 본 발명의 일 실시예에 따른 입체 음향 오브젝트가 동작하지 않는 경우를 나타낸다.
사용자는 하나 이상의 스피커를 통하여 음향 오브젝트를 청취한다. 사용자가 하나의 스피커를 이용하여 모노 신호를 재생하는 경우에는 입체감을 느낄 수 없으며, 둘 이상의 스피커를 이용하여 스테레오 신호를 재생하는 경우에는 입체감을 느낄 수 있다.
도 4b는, 본 발명의 일 실시예에 따른 깊이 인덱스가 '0'인 음향 오브젝트를 재생하는 경우를 나타낸다. 도 4에서, 깊이 인덱스는 '0'에서 '1'의 값을 갖는 것으로 가정한다. 사용자에게 더 가까운 곳에서 발생하는 것으로 표현해야하는 음향 오브젝트일 수록, 깊이 인덱스의 값이 커진다.
음향 오브젝트의 깊이 인덱스가 '0'이므로, 음향 오브젝트에 원근감을 부여하는 작업을 수행하지 않는다. 다만, 스피커의 바깥쪽에 음상이 정위되도록 함으로써 사용자가 스테레오 신호를 통하여 잘 입체감을 느낄 수 있도록 한다. 실시 예에 따라서는 스피커의 바깥쪽에 음상이 정위되도록 하는 기술을 '와이드닝' 기술로 지칭한다.
일반적으로, 스테레오 신호를 재생하기 위해서는 복수 개의 채널의 음향 신호가 필요하다. 따라서, 모노 신호가 입력되는 경우에는 업믹싱을 통하여 둘 이상의 채널에 해당하는 음향 신호를 생성한다.
스테레오 신호는 좌측 스피커를 통하여 제 1 채널의 음향 신호를 재생하고, 우측 스피커를 통하여 제 2 채널의 음향을 재생한다. 사용자는 상이한 위치에서 발생하는 둘 이상의 음향을 청취함으로써 입체감을 느낄 수 있다.
그러나, 좌측 스피커와 우측 스피커가 너무 인접해서 위치하면 사용자는 동일한 위치에서 음향이 발생하는 것으로 인식하게 되므로, 입체감을 느끼지 못할 수 있다. 이 경우, 실제 스피커의 위치가 아닌 스피커의 바깥쪽에서 음향이 발생하는 것으로 인실될 수 있도록 음향 신호를 처리한다.
도 4c는, 본 발명의 일 실시예에 따른 깊이 인덱스가 '0.3'인 음향 오브젝트를 재생하는 경우를 나타낸다.
음향 오브젝트의 깊이 인덱스가 0보다 크기 때문에 와이드닝 기술과 더불어 음향 오브젝트에 깊이 인덱스 '0.3'에 대응하는 원근감을 부여한다. 따라서, 사용자는 도 4b에 비하여 음향 오브젝트가 사용자에게 더 가까운 곳에서 발생한 것으로 느낄 수 있다.
예를 들어, 사용자가 3차원 영상 데이터를 시청하고 있으며 이 때, 영상 오브젝트가 스크린 밖으로 튀어나오는 것처럼 표현되었다고 가정해보자. 도 4c에서는, 영상 오브젝트에 대응하는 음향 오브젝트에 원근감을 부여하여, 음향 오브젝트가 사용자쪽으로 다가오는 것처럼 처리한다. 사용자는 시각적으로 영상 오브젝트가 튀어나오는 것을 느끼면서, 음향 오브젝트가 사용자에게 다가오는 것으로 느끼게 되므로 보다 현실적인 입체감을 느끼게 된다.
도 4d는, 본 발명의 일 실시예에 따른 깊이 인덱스가 '1'인 음향 오브젝트를 재생하는 경우를 나타낸다.
음향 오브젝트의 깊이 인덱스가 0보다 크기 때문에, 와이드닝 기술과 더불어 음향 오브젝트에 깊이 인덱스 '1'에 대응하는 원근감을 부여한다. 도 4c에서의 음향 오브젝트에 비하여 도 4d에서의 음향 오브젝트의 깊이 인덱스 값이 크기 때문에, 사용자는 도 4c에 비하여 음향 오브젝트가 사용자에 더 가까운 곳에서 발생한 것으로 느낀다.
도 5는 본 발명의 일 실시예에 따른 음향 신호에 기초하여 음향 깊이 정보를 생성하는 방법에 관한 흐름도를 나타낸다.
단계 s510에서는, 음향 신호를 구성하는 복수 개의 구간들 각각에 대하여 주파수 대역별 파워를 계산한다.
단계 s520에서는, 주파수 대역별 파워에 기초하여 공통주파수대역을 결정한다.
공통주파수대역은 이전 구간들의 파워 및 현재 구간의 파워가 일정 임계치 이상인 공통되는 주파수 대역을 의미한다. 이 때, 파워가 작은 주파수 대역은 잡음등과 같이 의미가 없는 음향 오브젝트에 해당할 수 있으므로, 파워가 작은 주파수 대역은 공통주파수대역에서 제외할 수 있다. 예를 들어, 파워가 큰 순으로 소정 개수의 주파수 대역들을 선정한 후, 선정된 주파수 대역들 중에서 공통주파수대역을 결정할 수 있다.
단계 s530에서는, 이전 구간에서의 공통주파수대역의 파워와 현재 구간에서의 공통주파수대역의 파워를 비교하고, 비교 결과에 기초하여 깊이 인덱스 값을 결정한다. 이전 구간에서의 공통주파수대역의 파워에 비하여 현재 구간에서의 공통주파수대역의 파워가 더 크다면, 공통주파수대역에 해당하는 음향 오브젝트가 사용자에게 더 근접한 위치에서 발생한 것으로 판단한다. 또한, 이전 구간에서의 공통주파수대역의 파워에 비하여 현재 구간에서의 공통주파수대역의 파워가 비슷하다면, 음향 오브젝트가 사용자에게 가까이 다가오지 않는 것으로 판단한다.
도 6은 본 발명의 일 실시예에 따른 음향 신호로부터 음향 깊이 정보를 생성하는 일 예를 나타낸다.
도 6a는 시간축에서 복수 개의 구간들로 구분된 음향 신호를 나타낸다.
도 6b 내지 도 6d는 제 1 구간 내지 제 3 구간에서의 주파수대역별 파워를 나타낸다. 도 6b 내지 도 6d에서 제 1 구간(601)과 제 2 구간(602)은 이전 구간이며, 제 3 구간(603)이 현재 구간이다.
도 6b 및 도 6c를 참고하면, 제 1 구간(601)내지 제 2 구간(602)에서, 3000~4000Hz 주파수대역, 4000~5000Hz 주파수대역, 5000~6000Hz 주파수대역의 파워가 유사하다. 따라서, 3000~4000HZ 주파수대역, 4000~5000HZ 주파수대역, 5000~6000HZ 주파수대역이 공통주파수대역으로 결정된다.
도 6c 및 도 6d를 참고하면, 3000~4000Hz 주파수대역, 4000~5000Hz 주파수대역, 5000~6000Hz 주파수대역의 파워가 제 1구간(601) 내지 제 3 구간(603)에서 모두 임계치 이상이라고 가정한다면 3000~4000HZ 주파수대역, 4000~5000HZ 주파수대역, 5000~6000HZ 주파수대역이 공통주파수대역으로 결정된다.
그러나, 제 2 구간(602)에서 5000~6000HZ 주파수대역의 파워에 비하여 제 3 구간(603)에서 5000~6000HZ 주파수대역의 파워는 크게 증가하였다. 따라서, 5000~6000HZ 주파수대역에 해당하는 음향 오브젝트의 깊이 인덱스는 '0'이상으로 결정된다. 실시 예에 따라서는, 음향 오브젝트의 깊이 인덱스를 보다 정교하게 결정하기 위하여 영상 깊이 맵을 참고할 수도 있다.
예를 들어, 제 3 구간에서 5000~6000HZ 주파수대역의 파워가 제 2 구간(602)에 비하여 크게 증가하였다. 경우에 따라서는 5000~6000HZ 주파수대역에 대응하는 음향 오브젝트가 발생한 위치가 사용자에게 가까워지는 것이 아니라, 동일한 위치에서 파워의 크기만 증가한 경우일 수도 있다. 이 때, 영상 깊이 맵을 참고하여 제 3 구간(603)에 대응하는 영상 프레임에서 스크린 밖으로 돌출되는 영상 오브젝트가 존재한다면, 5000~6000HZ 주파수대역에 해당하는 음향 오브젝트가 영상 오브젝트에 대응할 확률이 높을 것이다. 이 경우, 음향 오브젝트가 발생한 위치가 사용자에게 점점 가까워지는 것이 바람직하므로, 음향 오브젝트의 깊이 인덱스를 '0'이상으로 설정한다. 반면, 제 3 구간(603)에 대응하는 영상 프레임에서 스크린 밖으로 돌출되는 영상 오브젝트가 존재하지 않는다면, 음향 오브젝트는 동일한 위치에서 파워만이 증가한 것으로 볼 수 있으므로, 음향 오브젝트의 깊이 인덱스를 '0'으로 설정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 입체 음향 재생 방법에 관한 흐름도를 나타낸다.
단계 s710에서는, 음향 깊이 정보를 획득한다. 음향 깊이 정보는 음향 신호내의 적어도 하나의 음향 오브젝트와 기준 위치간의 거리를 나타내는 정보이다.
단계 s720에서는, 음향 깊이 정보에 기초하여 음향 오브젝트에 원근감을 부여한다. 단계 s720은 단계 s721 및 단계 s722 중 적어도 하나의 단계를 포함할 수 있따.
단계 s721에서는, 음향 깊이 정보에 기초하여 음향 오브젝트의 파워 게인을 조정한다.
단계 s722에서는, 음향 깊이 정보에 기초하여, 음향 오브젝트가 장애물에 의하여 반사되어 생성되는 반사 신호의 이득 및 지연 시간을 조정한다.
단계 s723에서는, 음향 깊이 정보에 기초하여, 음향 오브젝트의 저대역 성분을 조정한다.
단계 s724에서는, 제 1 스피커에서 출력될 음향 오브젝트의 위상과 제 2 스피커에서 출력될 음향 오브젝트의 위상차를 조정한다.
종래에는 영상 오브젝트에 대한 깊이 정보를 부가 정보로써 제공하거나, 영상 데이터를 분석하여 획득하여야 하므로, 깊이 정보를 획득하는 것이 용이하지 않았다. 그러나, 본원 발명에서는, 음향 신호에도 영상 오브젝트의 위치에 관한 정보가 포함될 수 있다는 점에 착안하여, 음향 신호를 분석하여 깊이 정보를 생성함으로써 보다 용이하게 깊이 정보를 획득할 수 있다.
또한, 종래에는 영상 오브젝트가 스크린으로부터 튀어나오거나 들어가는 현상을 음향 신호로 적절하게 표현하지 못하였다. 그러나, 본원 발명에서는 영상 오브젝트가 스크린으로부터 튀어나오거나 들어감으로 인하여 발생하는 음향 오브젝트를 표현함으로써 사용자가 보다 현실적인 입체감을 느낄 수 있도록 한다.
또한, 본원 발명의 일 실시예에 의할 경우, 음향 오브젝트가 생성된 위치와 기준 위치간의 거리를 효과적으로 표현할 수 있으며, 특히 음향 오브젝트 단위로 원근금을 부여하므로 사용자가 효과적으로 음향 입체감을 느낄 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (21)

  1. 음향 신호내의 적어도 하나의 음향 오브젝트와 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득하는 단계; 및
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트에 음향 원근감을 부여하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  2. 제 1항에 있어서,
    상기 음향 신호는, 복수 개의 구간들로 구분되며,
    상기 음향 깊이 정보를 획득하는 단계는, 이전 구간에서의 상기 음향 신호와 현재 구간에서의 상기 음향 신호를 비교하여 상기 음향 깊이 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  3. 제 2항에 있어서, 상기 음향 깊이 정보를 획득하는 단계는,
    상기 복수 개의 구간들 각각에 대하여 주파수 대역별 파워를 계산하는 단계;
    상기 주파수 대역별 파워에 기초하여, 인접한 구간들에서 파워가 공통적으로 임계치 이상인 주파수 대역을 공통주파수대역으로 결정하는 단계; 및
    상기 현재 구간에서의 공통주파수대역의 파워와 상기 현재 구간과 인접한 이전 구간에서의 공통주파수대역의 파워간의 차이에 기초하여, 상기 음향 깊이 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  4. 제 3항에 있어서,
    상기 방법은, 상기 음향 신호로부터 센터 스피커로 출력되는 센터 채널 신호를 획득하는 단계를 더 포함하고,
    상기 파워를 계산하는 단계는, 상기 센터 채널 신호에 기초하여 상기 주파수 대역별 파워를 계산하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  5. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    상기 음향 깊이 정보에 기초하여, 상기 오브젝트의 파워를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  6. 제 1항에 있어서, 상기 원근감을 부여하는 단계는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트가 반사되어 발생하는 반사 신호의 이득 및 지연 시간을 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  7. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트의 저대역 성분의 크기를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  8. 제 1항에 있어서, 상기 음향 원근감을 부여하는 단계는,
    제 1 스피커에서 출력될 상기 음향 오브젝트의 위상과 제 2 스피커에서 출력될 상기 음향 오브젝트의 위상간의 차이를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  9. 제 1항에 있어서,
    상기 원근감이 부여된 음향 오브젝트를 좌측 서라운드 스피커 및 우측 서라운드 스피커를 통하여 출력하거나, 좌측 프론트 스피커 및 우측 프론트 스피커를 통하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  10. 제 1항에 있어서, 상기 방법은,
    상기 음향 신호를 이용하여 스피커의 외각에 음상을 정위시키는 단계를 더 포함하는 것을 특징으로 하는 입체 음향 재생 방법.
  11. 음향 신호내의 적어도 하나의 음향 오브젝트와 기준 위치간의 거리를 나타내는 음향 깊이 정보를 획득하는 정보 획득부; 및
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트에 음향 원근감을 부여하는 원근감 제공부를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  12. 제 11항에 있어서,
    상기 음향 신호는, 복수 개의 구간들로 구분되며,
    상기 정보 획득부는, 이전 구간에서의 상기 음향 신호와 현재 구간에서의 상기 음향 신호를 비교하여 상기 음향 깊이 정보를 획득하는 것을 특징으로 하는 입체 음향 재생 장치.
  13. 제 12항에 있어서, 상기 정보 획득부는,
    상기 복수 개의 구간들 각각에 대하여 주파수 대역별 파워를 계산하는 파워계산부;
    상기 주파수 대역별 파워에 기초하여, 인접한 구간들에서 파워가 공통적으로 임계치 이상인 주파수 대역을 공통주파수대역으로 결정하는 결정부; 및
    상기 현재 구간에서의 공통주파수대역의 파워와 상기 현재 구간과 인접한 이전 구간에서의 공통주파수대역의 파워간의 차이에 기초하여, 상기 음향 깊이 정보를 생성하는 생성부를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  14. 제 13항에 있어서,
    상기 장치는, 상기 음향 신호로부터 센터 스피커로 출력되는 센터 채널 신호를 획득하는 신호획득부를 더 포함하고,
    상기 파워 계산부는, 상기 센터 채널 신호에 대응하는 채널 신호에 기초하여 상기 주파수 대역별 파워를 계산하는 것을 특징으로 하는 입체 음향 재생 장치.
  15. 제 11항에 있어서, 상기 원근감 제공부는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트의 파워를 조정하는 레벨 제어부를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  16. 제 11항에 있어서, 상기 원근감 제공부는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트가 반사되어 발생하는 반사 신호의 이득 및 지연 시간을 조정하는 반사효과제공부를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  17. 제 11항에 있어서, 상기 원근감 제공부는,
    상기 음향 깊이 정보에 기초하여, 상기 음향 오브젝트의 저대역 성분의 크기를 조정하는 근거리효과제공부를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  18. 제 11항에 있어서, 상기 원근감 제공부는,
    제 1 스피커에서 출력될 상기 음향 오브젝트의 위상과 제 2 스피커에서 출력될 상기 음향 오브젝트의 위상간의 차이를 조정하는 단계를 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  19. 제 11항에 있어서, 상기 장치는,
    하나 이상의 스피커; 및
    상기 음향 원근감이 부여된 음향 오브젝트를 좌측 서라운드 스피커 및 우측 서라운드 스피커를 통하여 출력하거나, 좌측 프론트 스피커 및 우측 프론트 스피커를 통하여 출력하는 출력부를 더 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  20. 제 11항에 있어서, 상기 장치는,
    상기 음향 신호를 이용하여 스피커의 외각에 음상을 정위시키는 단계를 더 포함하는 것을 특징으로 하는 입체 음향 재생 장치.
  21. 제 1항 내지 제 10항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020110022451A 2010-05-04 2011-03-14 입체 음향 재생 방법 및 장치 KR101764175B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
RU2012151848/08A RU2540774C2 (ru) 2010-05-04 2011-05-04 Способ и устройство для воспроизведения стереофонического звука
JP2013508997A JP5865899B2 (ja) 2010-05-04 2011-05-04 立体音響の再生方法及び装置
AU2011249150A AU2011249150B2 (en) 2010-05-04 2011-05-04 Method and apparatus for reproducing stereophonic sound
EP11777571.8A EP2561688B1 (en) 2010-05-04 2011-05-04 Method and apparatus for reproducing stereophonic sound
MX2012012858A MX2012012858A (es) 2010-05-04 2011-05-04 Metodo y aparato para reproduccion de sonido estereofonico.
CN201180033247.8A CN102972047B (zh) 2010-05-04 2011-05-04 用于再现立体声的方法和设备
BR112012028272-7A BR112012028272B1 (pt) 2010-05-04 2011-05-04 método de reproduzir um som estereofônico, equipamento de reprodução de som estereofônico, e meio de gravação legível por computador não transitório
PCT/KR2011/003337 WO2011139090A2 (en) 2010-05-04 2011-05-04 Method and apparatus for reproducing stereophonic sound
US13/100,442 US9148740B2 (en) 2010-05-04 2011-05-04 Method and apparatus for reproducing stereophonic sound
CA2798558A CA2798558C (en) 2010-05-04 2011-05-04 Method and apparatus for reproducing stereophonic sound
ZA2012/09123A ZA201209123B (en) 2010-05-04 2012-12-03 Method and apparatus for reproducing stereophonic sound
US14/835,303 US9749767B2 (en) 2010-05-04 2015-08-25 Method and apparatus for reproducing stereophonic sound

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US33098610P 2010-05-04 2010-05-04
US61/330,986 2010-05-04

Publications (2)

Publication Number Publication Date
KR20110122631A true KR20110122631A (ko) 2011-11-10
KR101764175B1 KR101764175B1 (ko) 2017-08-14

Family

ID=45393150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110022451A KR101764175B1 (ko) 2010-05-04 2011-03-14 입체 음향 재생 방법 및 장치

Country Status (12)

Country Link
US (2) US9148740B2 (ko)
EP (1) EP2561688B1 (ko)
JP (1) JP5865899B2 (ko)
KR (1) KR101764175B1 (ko)
CN (1) CN102972047B (ko)
AU (1) AU2011249150B2 (ko)
BR (1) BR112012028272B1 (ko)
CA (1) CA2798558C (ko)
MX (1) MX2012012858A (ko)
RU (1) RU2540774C2 (ko)
WO (1) WO2011139090A2 (ko)
ZA (1) ZA201209123B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010920A1 (ko) * 2012-07-09 2014-01-16 엘지전자 주식회사 인핸스드 3d 오디오/비디오 처리 장치 및 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717787B1 (ko) * 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
JP2012151663A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 立体音響生成装置及び立体音響生成方法
JP5776223B2 (ja) * 2011-03-02 2015-09-09 ソニー株式会社 音像制御装置および音像制御方法
FR2986932B1 (fr) * 2012-02-13 2014-03-07 Franck Rosset Procede de synthese transaurale pour la spatialisation sonore
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理系统及音频信号处理方法
EP2733964A1 (en) 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
CN110797037A (zh) * 2013-07-31 2020-02-14 杜比实验室特许公司 用于处理音频数据的方法和装置、介质及设备
KR102226420B1 (ko) * 2013-10-24 2021-03-11 삼성전자주식회사 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치
CN104683933A (zh) 2013-11-29 2015-06-03 杜比实验室特许公司 音频对象提取
CN105323701A (zh) * 2014-06-26 2016-02-10 冠捷投资有限公司 根据三维影像调整音效的方法与应用此方法的影音系统
US10163295B2 (en) * 2014-09-25 2018-12-25 Konami Gaming, Inc. Gaming machine, gaming machine control method, and gaming machine program for generating 3D sound associated with displayed elements
US9930469B2 (en) * 2015-09-09 2018-03-27 Gibson Innovations Belgium N.V. System and method for enhancing virtual audio height perception
CN108806560A (zh) * 2018-06-27 2018-11-13 四川长虹电器股份有限公司 屏幕发声显示屏及声场画面同步定位方法
KR20200027394A (ko) * 2018-09-04 2020-03-12 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US11032508B2 (en) * 2018-09-04 2021-06-08 Samsung Electronics Co., Ltd. Display apparatus and method for controlling audio and visual reproduction based on user's position

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269096A (ja) * 1993-03-15 1994-09-22 Olympus Optical Co Ltd 音像制御装置
DE19735685A1 (de) 1997-08-19 1999-02-25 Wampfler Ag Vorrichtung zur berührungslosen Übertragung elektrischer Energie
CN1151704C (zh) 1998-01-23 2004-05-26 音响株式会社 声像定位装置和方法
JPH11220800A (ja) * 1998-01-30 1999-08-10 Onkyo Corp 音像移動方法及びその装置
KR19990068477A (ko) * 1999-05-25 1999-09-06 김휘진 입체음향시스템및그운용방법
RU2145778C1 (ru) * 1999-06-11 2000-02-20 Розенштейн Аркадий Зильманович Система формирования изображения и звукового сопровождения информационно-развлекательного сценического пространства
ES2223820T3 (es) 2000-04-13 2005-03-01 Qvc, Inc. Sistema y metodo para la difusionm digital de fijacion de objetivos de contenido de audio.
US6829018B2 (en) 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
RU23032U1 (ru) * 2002-01-04 2002-05-10 Гребельский Михаил Дмитриевич Система передачи изображения со звуковым сопровождением
EP1552724A4 (en) 2002-10-15 2010-10-20 Korea Electronics Telecomm METHOD FOR GENERATING AND USING A 3D AUDIOSCENCE WITH EXTENDED EFFICIENCY OF SOUND SOURCE
KR100626661B1 (ko) * 2002-10-15 2006-09-22 한국전자통신연구원 공간성이 확장된 음원을 갖는 3차원 음향 장면 처리 방법
GB2397736B (en) * 2003-01-21 2005-09-07 Hewlett Packard Co Visualization of spatialized audio
RU2232481C1 (ru) * 2003-03-31 2004-07-10 Волков Борис Иванович Цифровой телевизор
KR100677119B1 (ko) 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
KR100688198B1 (ko) * 2005-02-01 2007-03-02 엘지전자 주식회사 음향 재생 수단을 구비한 단말기 및 입체음향 재생방법
US20060247918A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation Systems and methods for 3D audio programming and processing
JP4835298B2 (ja) * 2006-07-21 2011-12-14 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法およびプログラム
KR100922585B1 (ko) * 2007-09-21 2009-10-21 한국전자통신연구원 실시간 ｅ러닝 서비스를 위한 입체 음향 구현 방법 및 그시스템
KR101415026B1 (ko) * 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
KR100934928B1 (ko) 2008-03-20 2010-01-06 박승민 오브젝트중심의 입체음향 좌표표시를 갖는 디스플레이장치
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
KR101690252B1 (ko) 2009-12-23 2016-12-27 삼성전자주식회사 신호 처리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010920A1 (ko) * 2012-07-09 2014-01-16 엘지전자 주식회사 인핸스드 3d 오디오/비디오 처리 장치 및 방법
US9723287B2 (en) 2012-07-09 2017-08-01 Lg Electronics Inc. Enhanced 3D audio/video processing apparatus and method

Also Published As

Publication number Publication date
KR101764175B1 (ko) 2017-08-14
CA2798558C (en) 2018-08-21
JP2013529017A (ja) 2013-07-11
WO2011139090A2 (en) 2011-11-10
CA2798558A1 (en) 2011-11-10
US20110274278A1 (en) 2011-11-10
EP2561688A4 (en) 2015-12-16
US20150365777A1 (en) 2015-12-17
AU2011249150A1 (en) 2012-12-06
MX2012012858A (es) 2013-04-03
RU2540774C2 (ru) 2015-02-10
WO2011139090A3 (en) 2012-01-05
AU2011249150B2 (en) 2014-12-04
ZA201209123B (en) 2017-04-26
US9148740B2 (en) 2015-09-29
US9749767B2 (en) 2017-08-29
BR112012028272B1 (pt) 2021-07-06
CN102972047B (zh) 2015-05-13
BR112012028272A2 (pt) 2016-11-01
JP5865899B2 (ja) 2016-02-17
RU2012151848A (ru) 2014-06-10
CN102972047A (zh) 2013-03-13
EP2561688B1 (en) 2019-02-20
EP2561688A2 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
KR101764175B1 (ko) 입체 음향 재생 방법 및 장치
KR101844511B1 (ko) 입체 음향 재생 방법 및 장치
RU2656717C2 (ru) Бинауральная аудиообработка
KR101572894B1 (ko) 오디오 신호의 디코딩 방법 및 장치
CN113170271B (zh) 用于处理立体声信号的方法和装置
US20130028424A1 (en) Method and apparatus for processing audio signal
JP2009512364A (ja) 仮想オーディオシミュレーション
KR20130080819A (ko) 다채널 음향 신호의 정위 방법 및 장치
KR20190079993A (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Matsumura et al. Embedded 3D sound movement system based on feature extraction of head-related transfer function
JP2022042806A (ja) 音声処理装置およびプログラム
Carty Artificial Simulation of Audio Spatialisation: Developing a Binaural System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant