KR102062906B1 - 오디오 장치 및 이의 오디오 신호 변환 방법 - Google Patents

오디오 장치 및 이의 오디오 신호 변환 방법 Download PDF

Info

Publication number
KR102062906B1
KR102062906B1 KR1020120147621A KR20120147621A KR102062906B1 KR 102062906 B1 KR102062906 B1 KR 102062906B1 KR 1020120147621 A KR1020120147621 A KR 1020120147621A KR 20120147621 A KR20120147621 A KR 20120147621A KR 102062906 B1 KR102062906 B1 KR 102062906B1
Authority
KR
South Korea
Prior art keywords
sound source
channels
audio signal
audio
speakers
Prior art date
Application number
KR1020120147621A
Other languages
English (en)
Other versions
KR20130111190A (ko
Inventor
전상배
김선민
김정수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP13161624.5A priority Critical patent/EP2645749B1/en
Priority to PCT/KR2013/002634 priority patent/WO2013147547A1/en
Priority to US13/853,773 priority patent/US10117039B2/en
Priority to CN201310109417.7A priority patent/CN103369453B/zh
Publication of KR20130111190A publication Critical patent/KR20130111190A/ko
Application granted granted Critical
Publication of KR102062906B1 publication Critical patent/KR102062906B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 장치 및 오디오 신호 변환 방법을 제공한다. 본 오디오 장치의 오디오 신호 변환 방법은 복수의 채널을 포함하는 제1 오디오 신호를 수신하고, 복수의 채널의 오디오 신호를 각각 비교하여 제1 오디오 신호의 음원 위치를 추정하며, 추정된 음원 위치를 바탕으로 제1 오디오 신호의 음원을 고도 성분을 가지는 3차원의 위치로 정위시키고, 정위된 음원의 위치를 바탕으로 제1 오디오 신호를 상기 복수의 채널 및 상기 복수의 채널과 상이한 고도를 가지는 적어도 하나의 채널을 포함하는 제2 오디오 신호로 변환하여 출력한다.

Description

오디오 장치 및 이의 오디오 신호 변환 방법{Audio apparatus and Method for converting audio signal thereof}
본 발명은 오디오 장치 및 이의 오디오 신호 변환 방법에 관한 것으로, 더욱 상세하게는 2차원의 오디오 신호를 고도 성분을 가지는 3차원의 오디오 신호로 변환할 수 있는 오디오 장치 및 이의 오디오 신호 변환 방법에 관한 것이다.
종래에는 사용자에게 오디오 신호를 제공하기 위하여 다양한 채널의 오디오 신호(예를 들어, 2.1 채널의 오디오 신호, 5.1 채널의 오디오 신호)들이 존재하였다. 이러한 2.1 채널의 오디오 신호 및 5.1 채널의 오디오 신호와 같은 오디오 신호는 사용자의 귀와 동일한 높이를 기준으로 2차원적인 음장을 형성하여 사용자에게 제공되었다.
한편, 근래에는 3차원 영상 시장이 성장하는 동시에, 다가오는 UHDTV 시대에 대비하여 기존의 2차원 오디오에 비해 고도 성분을 가지는 3차원 오디오에 대한 개발이 진행되고 있다. 예를 들어, 근래에는 22.2 채널의 오디오 신호와 같이 다양한 고도의 음장을 가지는 오디오 신호가 개발되고 있다. 특히, 22.2 채널의 경우, 사람의 귀와 동일한 높이에 음장을 생성하기 위하여 10개의 오디오 채널을 가지며, 사람의 귀 위쪽에 음장을 생성하기 위해 9개의 오디오 채널을 가지며, 사람의 귀 아래쪽에 음장을 생성하기 위해 3개의 오디오 채널 및 2개의 저음 채널을 포함한다. 이러한 22.2 채널의 오디오 신호로 인해, 오디오 장치는 3차원 서라운드 음장 재생을 구현할 수 있게 되었다.
그러나, 아직까지 대부분의 오디오 컨텐츠는 2.1채널의 오디오 신호 또는 5.1채널의 오디오 신호와 같이 2차원적인 음장을 형성하는 오디오 신호가 대부분이다.
따라서, 사용자에게 입체감 있는 3차원 서라운드 음장 재생을 구현하기 위하여, 2차원적인 음장을 형성하는 오디오 신호를 3차원적인 오디오 신호로 변환하는 방안의 모색이 요청된다.
본 발명의 목적은 복수의 채널을 가지는 오디오 신호의 음원 위치를 추정하여 추정된 음원 위치를 바탕으로 수신된 오디오 신호의 음원을 고도 성분을 가지는 3차원의 위치로 정위시킴으로써, 사용자에게 고도 성분을 사지는 3차원적인 오디오 신호를 제공할 수 있는 오디오 장치 및 이의 오디오 신호 변환 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 장치의 오디오 신호 변환 방법은, 복수의 채널을 포함하는 제1 오디오 신호를 수신하는 단계; 상기 복수의 채널의 오디오 신호를 각각 비교하여 상기 제1 오디오 신호의 음원 위치를 추정하는 단계; 상기 추정된 음원 위치를 바탕으로 상기 제1 오디오 신호의 음원을 고도 성분을 가지는 3차원의 위치로 정위시키는 단계; 상기 정위된 음원의 위치를 바탕으로 상기 제1 오디오 신호를 상기 복수의 채널 및 상기 복수의 채널과 상이한 고도를 가지는 적어도 하나의 채널을 포함하는 제2 오디오 신호로 변환하는 단계; 및 상기 변환된 제2 오디오 신호를 출력하는 단계;를 포함한다.
그리고, 상기 수신된 복수의 채널 각각의 오디오 신호를 주파수 도메인으로 변환하는 단계;를 더 포함하고, 상기 추정하는 단계는, 상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 상기 제1 오디오 신호의 음원 위치를 추정할 수 있다.
또한, 상기 정위시키는 단계는, 상기 추정된 음원 위치가 상기 복수의 채널을 출력하는 복수의 스피커로 구성된 2차원 평면 내에 존재하는 경우, 상기 제1 오디오 신호의 음원을 3차원 위치로 정위시킬 수 있다.
그리고, 상기 정위시키는 단계는, 상기 복수의 스피커로 구성된 2차원 평면 내에 존재하는 음원의 위치를 상기 복수의 스피커 및 상기 적어도 하나의 채널을 출력하는 적어도 하나의 스피커로 구성된 3차원 입체공간의 표면으로 정위시킬 수 있다.
또한, 상기 변환하는 단계는, 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 이용하여 상기 제1 오디오 신호를 상기 제2 오디오 신호로 변환할 수 있다.
그리고, 상기 복수의 채널을 출력하는 복수의 스피커는 동일한 평면상에 위치하며, 상기 적어도 하나의 채널을 출력하는 적어도 하나의 스피커의 위치는 상기 복수의 채널을 출력하는 복수의 스피커와 상이한 고도를 가지는 평면상에 위치할 수 있다.
또한, 상기 변환하는 단계는, 상기 오디오 장치의 스크린이 청취자의 머리 위치보다 높은 경우, 상기 청취자가 상기 스크린의 중심을 바라보는 각도만큼 상기 3차원 입체 공간의 중심축을 이동시켜 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 보정하는 단계;를 포함할 수 있다.
그리고, 상기 추정하는 단계는, 상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 추정된 상기 제1 오디오 신호의 음원 위치의 움직임 여부를 판단하는 단계;를 포함할 수 있다.
또한, 상기 정위시키는 단계는, 상기 제1 오디오 신호의 음원이 기설정된 값 이상의 움직임을 가지는 경우, 상기 제1 오디오 신호의 음원의 이동 궤적에 따라, 상기 제1 오디오 신호의 음원 위치를 상기 3차원의 위치로 정위시킬 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 장치는, 복수의 채널을 포함하는 제1 오디오 신호를 수신하는 수신부; 상기 복수의 채널의 오디오 신호를 각각 비교하여 상기 제1 오디오 신호의 음원 위치를 추정하는 음원 위치 추정부; 상기 추정된 음원 위치를 바탕으로 상기 제1 오디오 신호의 음원을 고도 성분을 가지는 3차원의 위치로 정위시키고, 상기 정위된 음원의 위치를 바탕으로, 상기 제1 오디오 신호를 상기 복수의 채널 및 상기 복수의 채널과 상이한 고도를 가지는 적어도 하나의 채널을 포함하는 제2 오디오 신호로 변환하는 오디오 신호 변환부; 및 상기 변환된 제2 오디오 신호를 출력하는 출력부;를 포함한다.
그리고, 상기 수신된 복수의 채널 각각의 오디오 신호를 주파수 도메인으로 변환하는 도메인 변환부;를 더 포함하고, 상기 음원 위치 추정부는, 상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 상기 제1 오디오 신호의 음원 위치를 추정할 수 있다.
또한, 상기 출력부는, 상기 복수의 채널의 오디오 신호를 출력하기 위한 복수의 스피커;를 포함하며, 상기 오디오 신호 변환부는, 상기 추정된 음원 위치가 상기 복수의 스피커로 구성된 2차원 평면 내에 존재하는 경우, 상기 제1 오디오 신호의 음원을 3차원 위치로 정위시킬 수 있다.
그리고, 상기 출력부는, 상기 적어도 하나의 채널의 오디오 신호를 출력하기 위한 적어도 하나의 스피커;를 더 포함하며, 상기 오디오 신호 변환부는, 상기 복수의 스피커로 구성된 2차원 평면 내에 존재하는 음원의 위치를 상기 복수의 스피커 및 상기 적어도 하나의 스피커로 구성된 3차원 입체공간의 표면으로 정위시킬 수 있다.
또한, 상기 오디오 신호 변환부는, 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 이용하여 상기 제1 오디오 신호를 상기 제2 오디오 신호로 변환할 수 있다.
그리고, 상기 복수의 스피커는 동일한 평면상에 위치하며, 상기 적어도 하나의 채널을 출력하는 적어도 하나의 스피커의 위치는 상기 복수의 채널을 출력하는 복수의 스피커와 상이한 고도를 가지는 평면상에 위치할 수 있다.
또한, 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 저장하는 레이아웃 분석부;를 더 포함한다.
그리고, 상기 레이아웃 분석부는, 상기 오디오 장치의 스크린이 청취자의 머리 위치보다 높은 경우, 상기 청취자가 상기 스크린의 중심을 바라보는 각도만큼 상기 3차원 입체 공간의 중심축을 이동시켜 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 보정할 수 있다.
그리고, 상기 음원 위치 추정부는, 상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 추정된 상기 제1 오디오 신호의 음원 위치의 움직임 여부를 판단할 수 있다.
또한, 상기 오디오 신호 변환부는, 상기 제1 오디오 신호의 음원이 기설정된 값 이상의 움직임을 가지는 경우, 상기 제1 오디오 신호의 음원의 이동 궤적에 따라, 상기 제1 오디오 신호의 음원 위치를 상기 3차원의 위치로 정위시킬 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 더욱 입체감 있는 오디오를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 오디오 장치의 구성을 간략히 도시한 블럭도,
도 2 내지 도 5는 본 발명의 일 실시예에 따른, 오디오 변환 방법을 설명하기 위한 도면,
도 6은 본 발명의 다른 실시예에 따른, 오디오 신호 변환부 및 을 간략히 도시한 블럭도,
도 7은 본 발명의 일 실시예에 따른, 동적 음원의 오디오 변환 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 오디오 변환 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 오디오 장치(100)는 수신부(110), 도메인 변환부(120), 음원 위치 추정부(130), 레이아웃 분석부(140), 오디오 신호 변환부(150) 및 출력부(160)를 포함한다. 이때, 오디오 장치(100)는 홈 씨어터 장치일 수 있으나, 이에 한정되지 않고, 복수의 오디오 채널을 출력할 수 있는 오디오 장치라면 본 발명의 기술적 사상이 적용될 수 있다.
수신부(110)는 외부의 전자기기(예를 들어, DVD 장치, BD 장치) 또는 방송국으로부터 복수의 채널을 포함하는 제1 오디오 신호를 수신한다. 이때, 수신되는 제1 오디오 신호는 2.1 채널의 오디오 신호 또는 5.1 채널의 오디오 신호와 같이 2차원 평면에 음장이 형성되는 오디오 신호일 수 있다.
도메인 변환부(120)는 수신된 복수의 채널을 포함하는 제1 오디오 신호를 주파수 도메인으로 변환한다. 예를 들어, 도메인 변환부(120)는 FFT(Fast Fourier Transform)를 이용하여 시간 도메인의 제1 오디오 신호를 각 채널별로 주파수 도메인으로 변환할 수 있다. 그리고, 도메인 변환부(120)는 주파수 영역으로 변환된 각 채널의 오디오 신호를 서브 밴드로 세분할 수 있다.
음원 위치 추정부(130)는 주파수 도메인으로 변환된 복수의 채널의 제1 오디오 신호 각각을 비교하여 제1 오디오 신호의 음원의 위치를 추정한다. 구체적으로, 음원 위치 추정부(130)는 각 채널의 서브 밴드별로 에너지를 검출하고, 각 채널 간의 상관도를 산출할 수 있다. 그리고, 음원 위치 추정부(130)는 복수의 채널 중 에너지가 가장 큰 적어도 2개의 채널을 결정할 수 있다. 그리고, 음원 위치 추정부(130)는 결정된 적어도 2개의 채널 정보 및 산출된 채널 간의 상관도를 이용하여 음원의 위치를 추정할 수 있다.
다시 말해, 음원 위치 추정부(130)는 에너지가 가장 큰 것으로 결정된 두 개의 채널이 인접한 채널 또는 좌, 우 채널인지와, 상호상관(ICC: Inter-channel Cross Correlation) 값이 임계치인 0.5보다 큰지 작은지 여부에 따라 각 서브밴드의 적어도 하나의 음원의 위치를 추정할 수 있다.
이때, 음원 위치 추정부(130)는 입력된 오디오 신호의 각 채널을 출력하는 스피커로 구성된 2차원 공간 내에 음원의 위치를 추정할 수 있다. 예를 들어, 수신부(110)로 5.1 채널의 오디오 신호가 입력된 경우, 5.1 채널 중 5 채널의 오디오 신호를 출력하기 위한 스피커(센터 스피커(center speaker), 프런트 레프트 스피커(front left speaker), 프런트 라이트 스피커(front right speaker), 리어 레프트 스피커(rear left speaker), 리어 라이트 스피커(rear right speaker))는 도 2에 도시된 바와 같이, 2차원 평면의 음장을 구현할 수 있다. 그리고, 음원 위치 추정부(130)는 각 채널의 에너지 및 각 채널 간의 상관도 중 적어도 하나를 이용하여 2차원 평면상에 음원의 위치(210)를 추정할 수 있다.
레이아웃 분석부(140)는 각 채널의 스피커의 위치 정보를 저장한다. 구체적으로, 레이아웃 분석부(140)는 복수의 채널을 출력하기 위한 제1 스피커들의 위치 정보 및 제1 스피커들과 상이한 고도를 가지는 제2 스피커들의 위치 정보를 저장하여 오디오 신호 변환부(150)로 출력할 수 있다.
이때, 레이아웃 분석부(140)는 스크린의 위치에 따라 제1 스피커들 및 제2 스피커들이 이루는 3차원 입체 공간의 축을 이동시켜, 제1 스피커들 및 제2 스피커들의 위치를 보정할 수 있다.
구체적으로, 스크린의 위치가 청취자가 응시하는 시선과 동일한 위치에 있는 경우, 스크린의 위치와 청취자의 귀의 위치가 동일한 평면에 존재하게 되므로, 레이아웃 분석부(140)는 도 4에 도시된 바와 같이, 3차원 공간의 축의 변화 없이 제1 스피커들의 위치 정보 및 제2 스피커들의 위치 정보를 오디오 신호 변환부(150)로 출력할 수 있다. 그러나, 스크린의 위치가 청취자가 응시하는 시선보다 높은 경우, 즉, 스크린이 청취자의 머리 위치보다 높은 경우, 레이아웃 분석부(140)는 도 5에 도시된 바와 같이, 청취자가 스크린의 중심을 바라보는 각도만큼 3차원 입체 공간의 중심축을 이동시켜 제1 스피커들의 위치 정보 및 제2 스피커들의 위치 정보를 보정하여 오디오 신호 변환부(150)로 출력할 수 있다. 또한, 스크린의 위치가 청취자의 응시하는 시선보다 낮은 경우, 즉 스크린의 위치가 청취자의 머리 위치보다 낮은 경우, 레이아웃 분석부(140)는 청취자가 스크린의 중심을 내려보는 각도만큼 3차원 입체 공간의 중심축을 이동시켜 제1 스피커들의 위치 정보 및 제2 스피커들의 위치 정보를 보정하여 오디오 신호 변환부(150)로 출력할 수 있다.
오디오 신호 변환부(150)는 음원 위치 추정부(130)를 통해 추정된 음원 위치를 바탕으로 제1 오디오 신호의 음원을 고도 성분을 가지는 3차원의 위치로 정위시키고, 정위된 음원의 위치를 바탕으로, 제1 오디오 신호를 기존의 복수의 채널 및 복수의 채널과 상이한 고도를 가지는 적어도 하나의 채널을 포함하는 제2 오디오 신호로 변환한다.
구체적으로, 오디오 신호 변환부(150)는 음원 위치 추정부(130)를 통해 추정된 2차원 평면상의 음원의 위치를 제1 스피커들 및 제2 스피커들로 구성된 3차원 입체공간의 표면으로 정위시킬 수 있다. 예를 들어, 음원 위치 추정부(130)가 도 2에 도시된 바와 같이 음원의 위치를 추정한 경우, 오디오 신호 변환부(150)는 도 3에 도시된 바와 같이, 2차원 평면상의 음원의 위치를 3차원의 입체공간의 표면으로 정위시킬 수 있다. 이때, 오디오 신호 변환부(150)는 오디오 음원의 위치가 3차원의 입체공간의 표면에서 2차원 평면상에 투영되었다고 가정하여, 2차원 평면상에 위치하는 음원을 고도 성분을 가지는 3차원 입체공간상의 위치(310)로 정위시킬 수 있다.
한편, 오디오 신호 변환부(150)는 음원 위치 추정부(130)를 통해 추정된 음원의 위치가 제1 스피커들로 구성된 2차원 평면 내부에 존재하는 경우에만 음원의 위치를 3차원 입체공간의 표면으로 정위시킬 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 음원의 위치가 스피커들로 구성된 원 내부에 존재하는 경우에만, 오디오 신호 변환부(150)는 음원의 위치를 3차원 입체공간의 표면으로 정위시킬 수 있다. 그러나, 음원 위치 추정부(130)를 통해 추정된 음원의 위치가 제1 스피커들로 구성된 2차원 평면 내부에 존재하지 않는 경우, 오디오 신호 변환부(150)는 입력된 N 개의 채널을 가지는 제1 오디오 신호를 변환하지 않고 그대로 출력부(160)로 출력할 수 있다.
그리고, 오디오 신호 변환부(150)는 3차원 입체공간의 표면상에 정위된 음원의 위치에 따라 M 개의 채널을 가지는 제1 오디오 신호를 N 개의 채널을 포함하는 제2 오디오 신호로 렌더링할 수 있다. 이때, 제2 오디오 신호는 제1 오디오 신호의 M 개의 채널뿐만 아니라, 고도 성분을 가지는 적어도 하나의 채널을 더 포함한다.
구체적으로, 오디오 신호 변환부(150)는 3차원 입체공간의 표면상에 정위된 음원의 위치를 판단하여, 정위된 음원의 위치가 가장 가까운 적어도 세 개의 스피커를 판단할 수 있다. 이때, 적어도 세 개의 스피커는 상이한 고도를 가지는 스피커를 포함하도록 제1 스피커들 중 적어도 하나와 제2 스피커들 중 적어도 하나를 포함할 수 있다.
그리고, 오디오 신호 변환부(150)는 3차원 입체공간의 표면에 정위된 위치를 바탕으로 정위된 위치와 가장 가까운 적어도 세 개의 스피커에 대응되는 채널의 오디오 데이터를 변환할 수 있다. 이때, 오디오 신호 변환부(150)는 정위된 위치와 가장 가까운 적어도 세 개의 스피커를 제외한 나머지 스피커에 대응되는 채널의 오디오 데이터는 변환하지 않을 수 있다.
예를 들어, 입력된 오디오 신호가 5.1채널이고, 3차원 입체공간의 표면에 정위된 위치와 가장 가까운 스피커가 센터 스피커, 프런트 라이트 스피커 및 하이 라이트 스피커인 경우, 오디오 신호 변환부(150)는 입력된 5.1 채널의 오디오 데이터 중 센터 스피커 및 프런트 라이트 스피커에 대응되는 채널의 오디오 데이터를 3차원 입체공간 표면에 정위된 위치를 바탕으로 센터 스피커, 프런트 라이트 스피커 및 하이 라이트 스피커에 대응되는 채널의 오디오 데이터로 변환할 수 있다. 그리고, 나머지 채널의 오디오 데이터는 그대로 출력할 수 있다.
즉, 오디오 신호 변환부(150)는 2차원 평면상의 제1 스피커를 통해 출력하기 위한 복수의 채널을 포함하는 제1 오디오 신호를 2차원 평면상의 제1 스피커를 통해 출력하기 위한 복수의 채널 및 제1 스피커들과 상이한 고도를 가지는 제2 스피커들을 통해 출력하기 위한 적어도 하나의 채널을 포함하는 제2 오디오 신호로 업믹싱(upmixing)할 수 있다.
그리고, 오디오 신호 변환부(150)는 subband sample summation 및 Frequency-Time Transform 등과 같은 신호 처리를 수행하여 제2 오디오 신호를 출력부(160)로 출력한다.
출력부(160)는 N 개의 채널을 포함하는 제2 오디오 신호를 출력한다. 이때, 출력부(160)는 2차원 평면상에 배치된 복수 개의 스피커 및 상이한 고도를 가지는 적어도 하나의 스피커를 포함할 수 있다. 예를 들어, 출력부(160)는 2차원 평면상에 5.1 채널의 오디오 신호를 출력하기 위하여, 센터 스피커, 프론트 레프트 스피커, 프론트 라이트 스피커, 레어 레프트 스피커, 레어 라이트 스피커, 우퍼 스피커를 포함할 수 있으며, 상이한 고도에 3채널의 오디오 신호를 출력하기 위하여, 하이 레프트 스피커(High left speaker), 하이 라이트 스피커(High right speaker), 하이 백 스피커(High back speaker)를 포함할 수 있다. 그러나, 상술한 바와 같은 스피커 배치는 일 실시예에 불과할 뿐, 다른 방법으로 스피커가 배치될 수 있다.
상술한 바와 같은 오디오 장치에 의해, 사용자는 더욱 입체감 있는 오디오를 제공받을 수 있게 된다.
한편, 본 발명의 또 다른 실시예에서는 음원의 움직임 여부를 판단하여 2차원의 오디오 신호를 고도 성분을 가지는 3차원 입체 오디오 신호로 변환할 수 있다. 이에 대해서는 도 6을 참조하여 설명하기로 한다.
도 6에 도시된 바와 같이, 오디오 장치(100)의 음원 위치 추정부(130)는 모션 벡터 추정부(131) 및 동적 음원 분리부(132)를 포함하고, 오디오 장치(100)의 오디오 신호 변환부(150)는 동적 음원 정위부(151), 정적 음원 정위부(152) 및 합성부(153)를 포함할 수 있다.
모션 벡터 추정부(131)는 각 채널의 에너지 및 각 채널 간의 상관도를 이용하여 추정된 음원 위치를 바탕으로 음원의 모션 벡터를 추정한다.
그리고, 동적 음원 분리부(132)는 추정된 음원의 모션 벡터를 바탕으로 음원 위치의 움직임 여부를 판단한다. 그리고, 동적 음원 분리부(132)는 움직임이 기설정된 값 이상인 음원을 동적 음원(moving source)이라 판단하고, 움직임이 기설정된 값 미만인 음원을 정적 음원(static source)으로 분리할 수 있다. 그리고, 동적 음원 분리부(132)는 동적 음원을 동적 음원 정위부(151)로 출력하고, 정적 음원을 정적 음원 정위부(152)로 출력할 수 있다.
이때, 앞뒤 방향의 움직임에 대한 기설정된 값보다 좌우 방향의 움직임에 대한 기설정된 값이 작을 수 있다. 즉, 동적 음원 분리부(132)는 상하 방향의 움직임을 가지는 음원보다 좌우 방향의 움직임을 가지는 음원을 동적 음원으로 판단할 수 있다.
동적 음원 정위부(151)는 제1 오디오 신호의 동적 음원의 이동 궤적에 따라, 제1 오디오 신호의 동적 음원 위치를 상기 3차원의 위치로 정위시킬 수 있다. 즉, 동적 음원 정위부(151)는 도 7에 도시된 바와 같이, 2차원 표면상의 음원의 이동 경로를 추적하여 이를 3차원으로 정위시켜 3차원 입체공간의 표면상에 음원이 이동하는 것과 같은 효과를 부여할 수 있다.
정적 음원 정위부(152)는 제1 오디오 신호의 정적 음원을 2차원 평면상에 그대로 정위시킬 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 도 2 내지 도 5에서 설명한 바와 같이, 제1 오디오 신호의 정적 음원 역시 고도 성분을 가지도록 3차원 입체공간의 평면상에 정위시킬 수 있다.
합성부(153)는 동적 음원 정위부(151) 및 정적 음원 정위부(152)에서 각각 출력되는 오디오 신호를 제2 오디오 신호로 합성한다. 이때, 합성부(153)는 합성된 제2 오디오 신호는 subband sample summation 및 Frequency-Time Transform 등과 같은 신호 처리를 수행하여 제2 오디오 신호를 출력부(160)로 출력한다.
상술한 바와 같이, 동적 음원에 고도 성분을 부가하여 3차원 입체공간의 표면에 정위시킴으로써, 사용자는 2차원 음장을 가지는 오디오 신호를 더욱 웅장하고 화려한 효과를 갖는 3차원 음장으로 재구성할 수 있다.
이하에서는 도 7을 참조하여, 오디오 장치의 오디오 신호 변환 방법에 대해 상세히 설명하도록 한다.
우선, 오디오 장치(100)는 복수의 채널을 포함하는 제1 오디오 신호를 수신한다(S810). 이때, 제1 오디오 신호는 2.1 채널의 오디오 신호 또는 5.1 채널의 오디오 신호와 같이, 2차원 평면상에 음장을 가지는 오디오 신호일 수 있다.
그리고, 오디오 장치(100)는 입력된 제1 오디오 신호를 주파수 영역으로 변환한다(S820). 이때, 오디오 장치(100)는 제1 오디오 신호에 포함된 복수의 채널의 오디오 데이터 각각을 주파수 영역으로 변환할 수 있다.
그리고, 오디오 장치(100)는 제1 오디오 신호의 음원 위치를 추정한다(S830). 구체적으로, 오디오 장치(100)는 주파수 영역으로 변환된 제1 오디오 신호에 포함된 채널별 에너지 및 채널 간의 상관도를 이용하여 제1 오디오 신호의 음원 위치를 추정할 수 있다. 이때, 추정된 제1 오디오 신호의 음원 위치는 2차원 평면상에 존재할 수 있다.
그리고, 오디오 장치(100)는 제1 오디오 신호의 음원 위치를 고도 성분을 가지는 3차원 위치로 정위시킨다(S840). 구체적으로, 오디오 장치(100)는 2차원 평면상에 존재하는 음원 위치를 고도 성분을 가지도록 오디오 장치(100)에 포함된 스피커들이 구성하는 입체 공간의 표면상으로 정위시킬 수 있다. 이때, 오디오 장치(100)는 2차원 채널을 출력하기 위한 스피커들이 구성하는 평면 내에 음원의 위치가 존재하는 경우에만 3차원 위치로 정위시킬 수 있다.
그리고, 오디오 장치(100)는 정위된 3차원 위치를 바탕으로 제1 오디오 신호를 제2 오디오 신호로 변환한다(S850). 이때, 제2 오디오 신호는 제1 오디오 신호에 포함된 복수의 채널뿐만 아니라 제1 오디오 신호에 포함된 복수의 채널과 상이한 고도를 가지는 적어도 하나의 채널을 포함할 수 있다.
그리고, 오디오 장치(100)는 변환된 제2 오디오 신호를 출력한다(S860).
상술한 바와 같은 오디오 신호 변환 방법에 의해, 사용자는 더욱 입체감 있는 오디오를 제공받을 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 오디오 장치의 오디오 신호 변환 방법은 프로그램으로 구현되어 오디오 장치에 제공될 수 있다.
구체적으로는, 복수의 채널을 포함하는 제1 오디오 신호를 수신하는 단계; 상기 복수의 채널의 오디오 신호를 각각 비교하여 상기 제1 오디오 신호의 음원 위치를 추정하는 단계; 상기 추정된 음원 위치를 바탕으로 상기 제1 오디오 신호의 음원을 고도 성분을 가지는 3차원의 위치로 정위시키는 단계; 상기 정위된 음원의 위치를 바탕으로 상기 제1 오디오 신호를 상기 복수의 채널 및 상기 복수의 채널과 상이한 고도를 가지는 적어도 하나의 채널을 포함하는 제2 오디오 신호로 변환하는 단계; 및 상기 변환된 제2 오디오 신호를 출력하는 단계를 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
이때, 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 수신부 120: 도메인 변환부
130: 음원 위치 추정부 140: 레이아웃 분석부
150: 오디오 신호 변환부 160: 출력부

Claims (19)

  1. 오디오 장치의 오디오 신호 변환 방법에 있어서,
    복수의 채널의 오디오 신호를 수신하는 단계;
    상기 복수의 채널의 오디오 신호를 각각 비교하여 2차원 평면의 음장(Sound Field)으로부터 상기 복수의 채널의 오디오 신호에 포함된 음원의 위치를 추정하는 단계;
    상기 2차원 평면의 음장 상의 음원의 위치를 3차원 입체 공간의 표면 상에 투사함으로써 상기 음원의 고도 성분을 판단하는 단계;
    상기 음원의 위치 및 고도 성분을 바탕으로 상기 복수의 채널의 오디오 신호를 복수의 채널의 출력 오디오 신호로 변환하는 단계; 및
    상기 변환된 출력 오디오 신호를 출력하는 단계;를 포함하고
    상기 복수의 채널의 오디오 신호는 상기 2차원 평면의 음장을 형성하고,
    상기 출력 오디오 신호 중 적어도 하나의 채널은 고도 성분을 가지는 채널인 것을 특징으로 하는 오디오 신호 변환 방법.
  2. 제1항에 있어서,
    상기 수신된 복수의 채널 각각의 오디오 신호를 주파수 도메인으로 변환하는 단계;를 더 포함하고,
    상기 추정하는 단계는,
    상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 상기 음원 위치를 추정하는 것을 특징으로 하는 오디오 신호 변환 방법
  3. 제2항에 있어서,
    상기 음원의 고도 성분을 판단하는 단계는,
    상기 추정된 음원 위치가 상기 복수의 채널을 출력하는 복수의 스피커로 구성된 2차원 평면 내에 존재하는 경우, 상기 음원을 3차원 위치로 정위시키는 것을 특징으로 하는 오디오 신호 변환 방법.
  4. 제3항에 있어서,
    상기 정위시키는 단계는,
    상기 복수의 스피커로 구성된 2차원 평면 내에 존재하는 음원의 위치를 상기 복수의 스피커 및 상기 적어도 하나의 채널을 출력하는 적어도 하나의 스피커로 구성된 3차원 입체공간의 표면으로 정위시키는 것을 특징으로 하는 오디오 신호 변환 방법.
  5. 제4항에 있어서,
    상기 변환하는 단계는,
    상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 이용하여 상기 복수의 채널의 오디오 신호를 상기 출력 오디오 신호로 변환하는 것을 특징으로 하는 오디오 신호 변환 방법.
  6. 제5항에 있어서,
    상기 복수의 채널을 출력하는 복수의 스피커는 동일한 평면상에 위치하며, 상기 적어도 하나의 채널을 출력하는 적어도 하나의 스피커의 위치는 상기 복수의 채널을 출력하는 복수의 스피커와 상이한 고도를 가지는 평면상에 위치하는 것을 특징으로 하는 오디오 신호 변환 방법.
  7. 제6항에 있어서,
    상기 변환하는 단계는,
    상기 오디오 장치의 스크린이 청취자의 머리 위치보다 높은 경우, 상기 청취자가 상기 스크린의 중심을 바라보는 각도만큼 상기 3차원 입체 공간의 중심축을 이동시켜 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 보정하는 단계;를 포함하는 오디오 신호 변환 방법.
  8. 제2항에 있어서,
    상기 추정하는 단계는,
    상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 추정된 상기 음원 위치의 움직임 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 오디오 신호 변환 방법.
  9. 제8항에 있어서,
    상기 고도 성분을 판단하는 단계는,
    상기 음원이 기설정된 값 이상의 움직임을 가지는 경우, 상기 음원의 이동 궤적에 따라, 상기 음원 위치를 상기 3차원의 위치로 정위시키는 것을 특징으로 하는 오디오 신호 변환 방법.
  10. 오디오 장치에 있어서,
    복수의 채널의 오디오 신호를 수신하는 수신부;
    상기 복수의 채널의 오디오 신호를 각각 비교하여 2차원 평면의 음장(Source Field)으로부터 상기 복수의 채널의 오디오 신호에 포함된 음원 위치를 추정하는 음원 위치 추정부;
    상기 2차원 평면의 음장 상의 음원의 위치를 3차원 입체 공간의 표면 상에 투사함으로써 상기 음원의 고도성분을 판단하고 음원의 위치 및 고도 성분을 바탕으로 상기 복수의 채널의 오디오 신호를 복수의 채널의 출력 오디오 신호로 변환하는 오디오 신호 변환부; 및
    상기 변환된 출력 오디오 신호를 출력하는 출력부;를 포함하고
    상기 복수의 채널의 오디오 신호는 2차원 평면의 음장를 형성하고
    상기 출력 오디오 신호 중 적어도 하나의 채널은 고도 성분을 가지는 채널인 것을 특징으로 하는 오디오 장치.
  11. 제10항에 있어서,
    상기 수신된 복수의 채널 각각의 오디오 신호를 주파수 도메인으로 변환하는 도메인 변환부;를 더 포함하고,
    상기 음원 위치 추정부는,
    상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 음원 위치를 추정하는 것을 특징으로 하는 오디오 장치.
  12. 제11항에 있어서,
    상기 출력부는,
    상기 복수의 채널의 오디오 신호를 출력하기 위한 복수의 스피커;를 포함하며,
    상기 오디오 신호 변환부는,
    상기 추정된 음원 위치가 상기 복수의 스피커로 구성된 2차원 평면 내에 존재하는 경우, 상기 음원을 3차원 위치로 정위시키는 것을 특징으로 하는 오디오 장치.
  13. 제12항에 있어서,
    상기 출력부는,
    상기 적어도 하나의 채널의 오디오 신호를 출력하기 위한 적어도 하나의 스피커;를 더 포함하며,
    상기 오디오 신호 변환부는,
    상기 복수의 스피커로 구성된 2차원 평면 내에 존재하는 음원의 위치를 상기 복수의 스피커 및 상기 적어도 하나의 스피커로 구성된 3차원 입체공간의 표면으로 정위시키는 것을 특징으로 하는 오디오 장치.
  14. 제13항에 있어서,
    상기 오디오 신호 변환부는,
    상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 이용하여 상기 복수의 채널의 오디오 신호를 상기 출력 오디오 신호로 변환하는 것을 특징으로 하는 오디오 장치.
  15. 제14항에 있어서,
    상기 복수의 스피커는 동일한 평면상에 위치하며,
    상기 적어도 하나의 채널을 출력하는 적어도 하나의 스피커의 위치는 상기 복수의 채널을 출력하는 복수의 스피커와 상이한 고도를 가지는 평면상에 위치하는 것을 특징으로 하는 오디오 장치.
  16. 제15항에 있어서,
    상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 저장하는 레이아웃 분석부;를 더 포함하는 오디오 장치.
  17. 제16항에 있어서,
    상기 레이아웃 분석부는,
    상기 오디오 장치의 스크린이 청취자의 머리 위치보다 높은 경우, 상기 청취자가 상기 스크린의 중심을 바라보는 각도만큼 상기 3차원 입체 공간의 중심축을 이동시켜 상기 복수의 스피커의 위치 정보 및 상기 적어도 하나의 스피커의 위치 정보를 보정하는 것을 특징으로 하는 오디오 장치.
  18. 제11항에 있어서,
    상기 음원 위치 추정부는,
    상기 주파수 도메인으로 변환된 복수의 오디오 채널의 에너지 및 상관도 중 적어도 하나를 비교하여 추정된 상기 음원 위치의 움직임 여부를 판단하는 것을 특징으로 하는 오디오 장치.
  19. 제17항에 있어서,
    상기 오디오 신호 변환부는,
    상기 음원이 기설정된 값 이상의 움직임을 가지는 경우, 상기 음원의 이동 궤적에 따라, 음원 위치를 상기 3차원의 위치로 정위시키는 것을 특징으로 하는 오디오 장치.
KR1020120147621A 2012-03-30 2012-12-17 오디오 장치 및 이의 오디오 신호 변환 방법 KR102062906B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13161624.5A EP2645749B1 (en) 2012-03-30 2013-03-28 Audio apparatus and method of converting audio signal thereof
PCT/KR2013/002634 WO2013147547A1 (en) 2012-03-30 2013-03-29 Audio apparatus and method of converting audio signal thereof
US13/853,773 US10117039B2 (en) 2012-03-30 2013-03-29 Audio apparatus and method of converting audio signal thereof
CN201310109417.7A CN103369453B (zh) 2012-03-30 2013-03-29 转换音频信号的音频设备及其方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261618047P 2012-03-30 2012-03-30
US61/618,047 2012-03-30

Publications (2)

Publication Number Publication Date
KR20130111190A KR20130111190A (ko) 2013-10-10
KR102062906B1 true KR102062906B1 (ko) 2020-02-11

Family

ID=49632868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147621A KR102062906B1 (ko) 2012-03-30 2012-12-17 오디오 장치 및 이의 오디오 신호 변환 방법

Country Status (1)

Country Link
KR (1) KR102062906B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011020157A1 (en) * 2009-08-21 2011-02-24 Reality Ip Pty Ltd Loudspeaker system for reproducing multi-channel sound with an improved sound image
US20110249819A1 (en) * 2008-12-18 2011-10-13 Dolby Laboratories Licensing Corporation Audio channel spatial translation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249819A1 (en) * 2008-12-18 2011-10-13 Dolby Laboratories Licensing Corporation Audio channel spatial translation
WO2011020157A1 (en) * 2009-08-21 2011-02-24 Reality Ip Pty Ltd Loudspeaker system for reproducing multi-channel sound with an improved sound image

Also Published As

Publication number Publication date
KR20130111190A (ko) 2013-10-10

Similar Documents

Publication Publication Date Title
US10117039B2 (en) Audio apparatus and method of converting audio signal thereof
JP7082126B2 (ja) デバイス内の非対称配列の複数のマイクからの空間メタデータの分析
ES2659179T3 (es) Ajuste por segmentos de señal de audio espacial a diferente configuración de altavoces de reproducción
US9554227B2 (en) Method and apparatus for processing audio signal
US9646617B2 (en) Method and device of extracting sound source acoustic image body in 3D space
US11445317B2 (en) Method and apparatus for localizing multichannel sound signal
US11284211B2 (en) Determination of targeted spatial audio parameters and associated spatial audio playback
JP2020500480A5 (ko)
US9838790B2 (en) Acquisition of spatialized sound data
EP3318070B1 (en) Determining azimuth and elevation angles from stereo recordings
US10547962B2 (en) Speaker arranged position presenting apparatus
US10869151B2 (en) Speaker system, audio signal rendering apparatus, and program
CN110890100B (zh) 语音增强、多媒体数据采集、播放方法、装置及监控系统
KR102062906B1 (ko) 오디오 장치 및 이의 오디오 신호 변환 방법
KR102311024B1 (ko) 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
US20190335272A1 (en) Determining azimuth and elevation angles from stereo recordings
KR102058619B1 (ko) 예외 채널 신호의 렌더링 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant