KR20140072732A - 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체 - Google Patents

오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR20140072732A
KR20140072732A KR1020120140581A KR20120140581A KR20140072732A KR 20140072732 A KR20140072732 A KR 20140072732A KR 1020120140581 A KR1020120140581 A KR 1020120140581A KR 20120140581 A KR20120140581 A KR 20120140581A KR 20140072732 A KR20140072732 A KR 20140072732A
Authority
KR
South Korea
Prior art keywords
audio
interactive
panning
position information
main
Prior art date
Application number
KR1020120140581A
Other languages
English (en)
Other versions
KR102028122B1 (ko
Inventor
전상배
김선민
박재하
김현민
김정수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120140581A priority Critical patent/KR102028122B1/ko
Priority to EP13192454.0A priority patent/EP2741526B1/en
Priority to US14/093,678 priority patent/US10462596B2/en
Priority to CN201310652342.7A priority patent/CN103856878A/zh
Publication of KR20140072732A publication Critical patent/KR20140072732A/ko
Application granted granted Critical
Publication of KR102028122B1 publication Critical patent/KR102028122B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

오디오 장치 및 이의 오디오 신호 처리 방법이 제공된다. 본 오디오 장치의 오디오 신호 처리 방법은 메인 오디오 및 인터렉티브 오디오를 입력받고, 사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 인터렉티브 오디오를 패닝하며, 메인 오디오의 공간 특성에 따라 패닝된 인터렉티브 오디오를 렌더링하고, 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력한다. 이에 의해, 사용자는 더욱 생동감이 있는 인터렉티브 오디오를 제공받을 수 있게 된다.

Description

오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체{Audio apparatus and Method for processing audio signal and computer readable recording medium storing for a program for performing the method}
본 발명은 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체에 관한 것으로, 멀티미디어 컨텐츠를 재생하는 경우, 사용자의 조작에 응답하는 인터렉티브 오디오를 제공하는 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체에 관한 것이다.
종래의 오디오 장치는 멀티미디어 컨텐츠에 저장된 오디오를 일방적으로 사용자에게 제공하였으나, 근래의 오디오 장치는 멀티미디어 컨텐츠에 저장된 메인 오디오뿐만 아니라 사용자의 입력에 응답하여 생성되는 인터렉티브 오디오를 제공하게 된다.
예를 들어, 게임 컨텐츠의 경우, 오디오 장치는 배경 음악과 같이 게임 컨텐츠 생성시 기저장된 메인 오디오뿐만 아니라, 사용자 조작에 응답하여 생성되는 인터렉티브 오디오를 제공할 수 있다.
그러나, 기존의 오디오 장치는 메인 오디오가 구현되는 공간의 특성과 상관없이 인터렉티브 오디오를 제공하였다. 예를 들어, 슛팅 게임 컨텐츠의 경우, 메인 오디오가 구현하는 공간(예를 들어, 실내 또는 실외)에 따라 인터렉티브 오디오인 총소리가 상이해지나, 기존의 오디오 장치는 메인 오디오가 구현하는 공간과 상관없이 동일한 총소리를 제공하였다. 따라서, 메인 오디오와 상관없이 인터렉티브 오디오를 제공함으로써, 사용자는 생동감이 떨어지는 인터렉티브 오디오를 제공받게 되는 문제점이 발생하였다.
뿐만 아니라, 기존의 오디오 장치는 스피커의 위치 및 사용자의 위치와 상관없이 인터렉티브 오디오를 제공함으로써, 사용자의 위치 및 스피커의 위치 중 적어도 하나가 변경됨에 따라 생동감이 떨어지는 인터렉티브 오디오를 제공받게 되는 문제점이 발생하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 생동감 있는 인터렉티브 오디오를 제공하기 위하여, 사용자 위치, 스피커 위치 및 메인 오디오가 구현하는 공간의 특성에 따라 인터렉티브 오디오를 제공할 수 있는 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 장치의 오디오 신호 처리 방법은, 메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 단계; 사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝(panning)하는 단계; 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 단계; 및 상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 단계;를 포함한다.
그리고, 상기 패닝하는 단계는, 상기 오디오 장치가 상이한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝할 수 있다.
또한, 상기 패닝하는 단계는, 상기 사용자의 위치 정보를 감지하는 단계;
상기 감지된 사용자의 위치 정보 및 상기 인터렉티브 오디오의 음원 위치를 이용하여 사용자 기준으로 인터렉티브 오디오 음원의 상대적인 위치 정보를 판단하는 단계; 상기 감지된 사용자 위치 정보 및 상기 스피커 위치 정보를 이용하여 사용자 기준으로 음원의 패닝 계수를 분석하는 단계; 및 상기 인터렉티브 오디오 음원의 상대적인 위치 정보에 따른 음원의 패닝 계수를 바탕으로 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝하는 단계;를 포함할 수 있다.
그리고, 상기 패닝하는 단계는, 상기 오디오 장치가 동일한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 가상 고도 성분을 가지도록 패닝할 수 있다.
또한, 상기 입력받는 단계는, 상기 메인 오디오의 공간 정보를 함께 입력받으며, 상기 렌더링하는 단계는, 상기 입력된 메인 오디오의 공간 정보를 이용하여 상기 패닝된 인터렉티브 오디오를 렌더링할 수 있다.
그리고, 상기 메인 오디오의 공간 정보는 임펄스 응답(Impulse Response) 또는 변환 함수(Transfer Function)의 형태일 수 있다.
또한, 상기 렌더링하는 단계는, 상기 메인 오디오를 분석하여 판단된 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 장치는, 메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 입력부; 사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝(panning)하는 패닝부; 상기 메인 오디오가 구현하는 공간 특성의 상기 패닝된 인터렉티브 오디오를 렌더링하는 렌더링부; 및 상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 출력부;를 포함한다.
그리고, 상기 패닝부는, 상기 오디오 장치가 상이한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝할 수 있다.
또한, 상기 패닝부는, 상기 사용자의 위치 정보를 감지하는 사용자 위치 감지부; 상기 감지부를 통해 감지된 사용자의 위치 정보 및 상기 인터렉티브 오디오의 음원 위치를 이용하여 사용자 기준으로 인터렉티브 오디오 음원의 상대적인 위치 정보를 판단하는 상대 위치 정보 판단부; 상기 사용자 위치 정보 및 상기 스피커 위치 정보를 이용하여 사용자 기준으로 음원의 패닝 계수를 분석하는 패닝 계수 분석부; 및 상기 인터렉티브 오디오 음원의 상대적인 위치 정보에 따른 음원의 패닝 계수를 바탕으로 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝하는 3차원 패닝부;를 포함할 수 있다.
그리고, 상기 패닝부는, 상기 오디오 장치가 동일한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 가상 고도 성분을 가지도록 패닝할 수 있다.
또한, 상기 입력부는, 상기 메인 오디오의 공간 정보를 입력받으며, 상기 렌더링부는, 상기 입력된 메인 오디오의 공간 정보를 이용하여 상기 패닝된 인터렉티브 오디오를 렌더링할 수 있다.
그리고, 상기 메인 오디오의 공간 정보는 임펄스 응답(Impulse Response) 또는 변환 함수(Transfer Function)의 형태일 수 있다.
또한, 상기 렌더링부는, 상기 메인 오디오를 분석하여 메인 오디오의 공간 특성을 판단하는 공간 특성 판단부;를 포함하며, 상기 공간 특성 판단부를 통해 판단된 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 신호 처리 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체는, 메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 단계; 사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝하는 단계; 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 단계; 및 상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 단계;를 포함하는 오디오 신호 처리 방법을 수행하는 프로그램을 기록할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 더욱 생동감이 있는 인터렉티브 오디오를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 오디오 장치의 구성을 간략히 나타내는 블럭도,
도 2는 본 발명의 일 실시예에 따른, 패닝부의 구성을 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 렌더링부의 구성을 도시한 블럭도,
도 4는 본 발명의 다른 실시예에 따른, 렌더링부의 구성을 도시한 블럭도,
도 5는 본 발명의 일 실시예에 따른, 오디오 장치의 오디오 신호 처리 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 오디오 장치(100)의 구성을 간략히 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 오디오 장치(100)는 입력부(110), 패닝부(120), 렌더링부(130) 및 출력부(140)를 포함한다.
입력부(110)는 메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는다. 이때, 메인 오디오는 멀티미디어 컨텐츠 실행시 사용자 명령과 무관하게 출력되는 오디오이며, 인터렉티브 오디오는 멀티미디어 컨텐츠 실행시 사용자 입력에 응답하여 출력되는 오디오일 수 있다. 예를 들어, 멀티미디어 컨텐츠가 게임 컨텐츠인 경우, 메인 오디오는 게임 재생시 출력되는 배경 음악일 수 있으며, 인터렉티브 오디오는 사용자 입력에 응답하여 출력되는 효과음(예를 들어, 총소리 등)일 수 있다.
패닝부(120)는 사용자의 위치 정보, 인터렉티브 오디오(110)의 음원 위치 정보 및 스피커 위치 정보를 이용하여 입력부(110)를 통해 입력된 인터렉티브 오디오를 패닝시킨다. 이때, 오디오 장치(100)가 상이한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 패닝부(120)는 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝할 수 있다.
패닝부(120)에 대하여, 도 2를 참조하여 더욱 상세히 설명하도록 한다. 도 2에 도시된 바와 같이, 패닝부(120)는 상대위치 정보 판단부(121), 패닝 계수 분석부(123) 및 3차원 패닝부(125)를 포함한다. 우선, 패닝부(120)는 도 2에 도시된 바와 같이, 인터렉티브 오디오 데이터, 인터렉티브 오디오의 음원 위치 정보, 사용자 위치 정보 및 스피커 위치 정보를 입력받는다. 패닝부(120)는 인터렉티브 오디오 데이터 및 인터렉티브 오디오의 음원 위치 정보를 입력부(110)를 통해 입력받을 수 있다. 또한, 패닝부(120)는 사용자 위치 감지부(미도시)를 통해 사용자 위치 정보를 획득할 수 있다. 이때, 사용자 위치 감지부(미도시)는 다양한 감지 장치(예를 들어, 카메라, 적외선 센서 등)를 통해 사용자 위치 정보를 획득할 수 있다. 또한, 패닝부(120)는 저장부(미도시)로부터 스피커 위치 정보를 입력받을 수 있다.
상대위치 정보 판단부(121)는 인터렉티브 오디오의 음원의 위치 정보와 사용자 위치 정보를 바탕으로 사용자 기준으로 인터렉티브 오디오 음원의 상대적인 위치 정보를 판단한다. 즉, 상대위치 정보 판단부(121)는 사용자 위치 감지부에 의해 감지된 사용자 위치를 기준으로 인터렉티브 오디오 음원의 위치를 판단할 수 있다. 예를 들어, 인터렉티브 오디오 음원의 위치가 임의의 기준점인 (0,0,0)을 기준으로 (x,y,z)에 위치한 경우, 사용자가 임의의 기준점을 기준으로 (a,b,c)에 위치하면, 상대위치 정보 판단부(121)는 인터렉티브 오디오 음원의 상대적인 위치로 (a+x,b+y,c+z)를 판단할 수 있다.
패닝 계수 분석부(123)는 감지된 사용자 위치 정보 및 스피커 위치 정보를 이용하여 사용자 기준으로 음원의 패닝 계수를 분석한다. 구체적으로, 패닝 계수 분석부(123)는 임의의 지점을 기준으로 스피커의 위치에 따른 패닝 계수를 판단한다. 이때, 패닝 계수는 음원의 위치와 일대일 매핑되어 테이블 형태로 저장될 수 있다. 그리고, 패닝 계수 분석부(123)는 임의의 지점에 대한 패닝 계수 테이블을 사용자의 위치를 기준으로 하는 패닝 계수 테이블로 변환하여, 최적의 패닝 계수 테이블을 분석할 수 있다.
3차원 패닝부(125)는 상대위치 정보 판단부(121)로부터 출력된 음원의 상대적인 위치 정보 및 패닝 계수 분석부(123)에서 출력된 패닝 계수 테이블을 이용하여 인터렉티브 오디오를 3차원 공간으로 패닝시킨다. 구체적으로, 오디오 장치(100)가 상이한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 3차원 패닝부(125)는 인터렉티브 오디오 음원 의 상대적인 3차원 위치를 패닝 계수 테이블에 적용하여, 인터렉티브 오디오를 패닝시킬 수 있다. 이때, 3차원 패닝부(125)는 VBAP(Vector Base Amplitude Panning) 방식을 이용하여 오디오 신호를 3차원 공간으로 패닝시킬 수 있다. 이때, VBAP 방식은 두 개 혹은 세 개로 구성된 스피커 그룹을 이용하여 스피커가 구성하는 공간 안 쪽에 가상 음원을 연출하는 방식이다.
그러나, 본 발명의 다른 실시예인 오디오 장치(100)가 동일한 고도를 가지는 복수의 스피커로 구현된 경우, 3차원 패닝부(125)는 복수의 스피커를 이용하여 가상의 고도 성분(Virtual Elevation Element)을 가지도록 오디오 신호를 패닝할 수 있다. 이때, 동일한 고도를 가지는 복수의 스피커를 이용하여 가상의 고도 성분을 가지는 오디오 신호를 출력하기 위하여, 오디오 장치(100)는 상위 스피커 시스템을 이용할 수 있다. 구체적으로, 상위 스피커 시스템은 사운드 포커싱(Sound Focusing) 할 수 있는 스피커 시스템으로서, 직진성이 강한 초음파 스피커를 통해 사운드 포커싱을 할 수도 있고, 스피커 어레이를 통해 빔 포밍을 하여 사운드 포커싱을 수행할 수도 있으며, 심리음향에 기반하여 고도감에 따른 Coloration 필터를 사용할 수도 있다. 상위 스피커 시스템을 통해 재생된 오디오는 천장 또는 특정 반사면을 통해 반사되어 사용자에게 전달되거나, 음상이 고도감이 있을 경우의 주파수 특성이 사용자에게 전달되고, 사용자는 마치 위에서 소리가 나는 것으로 느끼게 된다.
패닝부(120)는 상술한 바와 같은 방법으로 인터렉티브 오디오를 3차원 공간으로 패닝시키고, 렌더링부(130)로 패닝된 인터렉티브 오디오를 출력할 수 있다.
렌더링부(130)는 메인 오디오가 구현하는 공간의 특성(이하에서는 "메인 오디오의 공간 정보"라고 함)에 따라 인터렉티브 오디오를 렌더링한다. 구체적으로, 렌더링부(130)는 메인 오디오의 공간 특성을 앰비언스 인덱스(Ambience Index) 형태로 수치화하고, 앰비언스 인덱스를 반영하여 인터렉티브 오디오를 렌더링할 수 있다. 이때, 앰비언스 인덱스는 인터렉티브 오디오가 공간에서 울리는 시간(Reverberation Time)을 수치화한 것으로, 메인 오디오의 공간 특성이 따라 변경될 수 있다. 예를 들어, 메인 오디오가 구현하는 공간이 "동굴"인 경우, 인터렉티브 오디오가 오랫동안 울리므로 앰비언스 인덱스가 크나, 메인 오디오가 구현하는 공간이 "실외"인 경우, 인터렉티브 오디오가 짧은 시간 동안 울리므로 앰비언스 인덱스가 작을 수 있다.
상술한 실시예에서와 같이 앰비언스 인덱스로부터 메인오디오의 공간 특성을 구현하는 경우에는, 앰비언스 인덱스로부터 다채널 잔향을 임펄스 응답(Impulse Response) 또는 변환 함수(Transfer Function)를 계산하거나, 렌더링부(130)에 저장되어있는 임펄스 응답 또는 변환 함수의 기 저장된 값 중 앰비언스 인덱스에 매칭되는 것을 선택한 후, 이를 인터렉티브 오디오에 반영시킨다.
한편, 수치화된 앰비언스 인덱스가 아닌 임펄스 응답 또는 변환 함수를 직접 읽어서 반영하는 방법도 가능하다. 구체적으로, 공간에 대한 임펄스 응답이나 변환 함수가 구해지면, 이를 인터렉티브 오디오에 시간 영역에서 컨볼루션(Convolution)을 시키거나 주파수 도메인에서 블럭 컨볼루션(Block Convolution)을 실행하여 해당 공간 특성을 인터렉티브 오디오에 반영시킬 수 있다.
한편, 렌더링부(130)는 메인 오디오의 공간 특성을 다양한 방법으로 획득할 수 있다. 렌더링부(130)가 메인 오디오의 공간 특성을 획득하는 방법은 도 3 및 도 4를 바탕으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른, 렌더링부(130)의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 렌더링부(130)는 음장 렌더링부(131) 및 저장부(133)를 포함한다. 이때, 저장부(133)는 메인 오디오가 입력될 때, 메인 오디오의 공간 정보를 입력아 저장한다. 예를 들어, 저장부(133)는 앰비언스 인덱스로 수치화된 메인 오디오의 공간 정보를 멀티미디어 컨텐츠가 저장된 미디어(예를 들어, DVD, BD)로부터 독출하여 저장할 수 있다. 그리고, 음장 렌더링부(131)는 저장부(133)에 저장된 메인 오디오의 공간 정보를 이용하여 인터렉티브 오디오를 렌더링할 수 있다.
도 4는 본 발명의 다른 실시예에 따른, 렌더링부(130)의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 렌더링부(130)는 음장 렌더링부(131) 및 공간특성 판단부(135)를 포함한다. 이때, 공간특성 판단부(135)는 입력되는 메인 오디오를 분석하여 메인 오디오의 공간 특성을 분석할 수 있다. 구체적으로, 공간특성 판단부(135)는 메인 오디오의 특성을 분석하여 메인 오디오가 구현하는 공간 정보를 판단한 후, 판단된 공간 정보를 바탕으로 앰비언스 인덱스 또는 이에 대응되는 임펄스 응답(Impulse response)를 생성할 수 있다. 예를 들어, 공간 특성 판단부(135)는 메인 오디오가 울리는 시간을 분석하여 메인 오디오의 앰비언스 인덱스를 생성할 수 있다. 그리고, 음장 렌더링부(131)는 공간정보 판단부(135)로부터 판단된 메인 오디오의 공간 정보를 반영하여 인터렉티브 오디오를 렌더링할 수 있다. 특히, 도 4의 실시예는 메인 오디오의 공간 정보가 저장되어 있지 않은 과거에 제작된 미디어들에 적용될 수 있다.
그리고, 출력부(140)는 메인 오디오와 렌더링부(130)에서 렌더링된 인터렉티브 오디오를 출력한다. 이때, 출력부(140)는 메인 오디오와 렌더링부(130)에서 렌더링된 인터렉티브 오디오를 합성하기 위한 합성부(Mixer,미도시)를 포함할 수 있다.
상술한 바와 같은 오디오 장치(100)가 사용자의 위치, 스피커의 위치 및 메인 오디오의 공간 특성에 따라 인터렉티브 오디오를 제공함으로써, 사용자는 더욱 생동감 있는 인터렉티브 오디오를 청취할 수 있게 된다.
이하에서는 도 5를 참조하여, 오디오 장치(100)의 오디오 신호 처리 방법에 대해 상세히 설명하기로 한다.
오디오 장치(100)는 메인 오디오 및 인터렉티브 오디오를 입력받는다(S510). 이때, 메인 오디오는 멀티미디어 컨텐츠 실행시 사용자 명령과 무관하게 출력되는 오디오이며, 인터렉티브 오디오는 멀티미디어 컨텐츠 실행시 사용자 명령에 응답하여 출력되는 오디오일 수 있다.
그리고, 오디오 장치(100)는 사용자의 위치 정보, 인터렉티브 오디오의 음원위치 정보 및 스피커 위치 정보를 이용하여 인터렉티브 오디오를 패닝한다(S520). 구체적으로, 오디오 장치(100)는 사용자의 위치 정보 및 인터렉티브 오디오의 음원 위치 정보를 이용하여 사용자를 기준으로 인터렉티브 오디오 음원의 상대적인 위치를 판단할 수 있다. 그리고, 오디오 장치(100)는 사용자의 위치 정보 및 스피커의 위치 정보를 바탕으로 최적의 패닝 계수 테이블을 분석할 수 있다. 그리고, 오디오 장치(100)는 인터렉티브 오디오 음원의 상대적인 위치를 최적의 패닝 계수 테이블에 적용하여 인터렉티브 오디오를 패닝시킬 수 있다. 이때, 오디오 장치(100)는 인터렉티브 오디오가 상이한 고도 성분을 가지는 스피커를 통해 출력되도록 인터렉티브 오디오를 3차원 공간으로 패닝시킬 수 있다.
그리고, 오디오 장치(100)는 메인 오디오의 공간 특성에 따라 패닝된 인터렉티브 오디오를 렌더링한다(S530). 이때, 메인 오디오의 공간 특성은 앰비언스 인덱스 형태로 수치화될 수 있으나, 이는 일 실시예에 불과할 뿐, 임펄스 응답 또는 변환 함수 형태로 구현될 수 있다. 그리고, 오디오 장치(100)는 메인 오디오 입력시 메인 오디오의 공간 정보를 함께 입력받아 저장부(133)에 저장할 수 있으며, 메인 오디오를 분석하여 메인 오디오의 공간 정보를 판단할 수 있다.
그리고, 오디오 장치(100)는 렌더링된 인터렉티브 오디오와 메인 오디오를 믹싱한다(S540). 그리고, 오디오 장치(100)는 믹싱된 오디오를 복수의 스피커를 통해 출력한다(S550).
상술한 바와 같은 오디오 신호 처리 방법에 의해, 사용자는 사용자의 위치 및 메인 오디오가 구현하는 공간에 따라 더욱 생동감 있는 인터렉티브 오디오를 입력받을 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 오디오 장치의 오디오 신호 처리 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
구체적으로는, 메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 단계, 사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝(panning)하는 단계, 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 단계 및 상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 단계를 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 입력부 120: 패닝부
130: 렌더링부 140: 출력부

Claims (15)

  1. 오디오 장치의 오디오 신호 처리 방법에 있어서,
    메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 단계;
    사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝(panning)하는 단계;
    상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 단계; 및
    상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 단계;를 포함하는 오디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 패닝하는 단계는,
    상기 오디오 장치가 상이한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 패닝하는 단계는,
    상기 사용자의 위치 정보를 감지하는 단계;
    상기 감지된 사용자의 위치 정보 및 상기 인터렉티브 오디오의 음원 위치를 이용하여 사용자 기준으로 인터렉티브 오디오 음원의 상대적인 위치 정보를 판단하는 단계;
    상기 감지된 사용자 위치 정보 및 상기 스피커 위치 정보를 이용하여 사용자 기준으로 음원의 패닝 계수를 분석하는 단계;
    상기 인터렉티브 오디오 음원의 상대적인 위치 정보에 따른 음원의 패닝 계수를 바탕으로 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝하는 단계;를 포함하는 오디오 신호 처리 방법.
  4. 제1항에 있어서,
    상기 패닝하는 단계는,
    상기 오디오 장치가 동일한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 가상 고도 성분을 가지도록 패닝하는 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제1항에 있어서,
    상기 입력받는 단계는,
    상기 메인 오디오의 공간 정보를 함께 입력받으며,
    상기 렌더링하는 단계는,
    상기 입력된 메인 오디오의 공간 정보를 이용하여 상기 패닝된 인터렉티브 오디오를 렌더링하는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제5항에 있어서,
    상기 메인 오디오의 공간 정보는 임펄스 응답(Impulse Response) 또는 변환 함수(Transfer Function)의 형태인 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제1항에 있어서,
    상기 렌더링하는 단계는,
    상기 메인 오디오를 분석하여 판단된 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 오디오 장치에 있어서,
    메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 입력부;
    사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝(panning)하는 패닝부;
    상기 메인 오디오가 구현하는 공간 특성의 상기 패닝된 인터렉티브 오디오를 렌더링하는 렌더링부; 및
    상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 출력부;를 포함하는 오디오 장치.
  9. 제8항에 있어서,
    상기 패닝부는,
    상기 오디오 장치가 상이한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝하는 것을 특징으로 하는 오디오 장치.
  10. 제9항에 있어서,
    상기 패닝부는,
    상기 사용자의 위치 정보를 감지하는 사용자 위치 감지부;
    상기 감지부를 통해 감지된 사용자의 위치 정보 및 상기 인터렉티브 오디오의 음원 위치를 이용하여 사용자 기준으로 인터렉티브 오디오 음원의 상대적인 위치 정보를 판단하는 상대 위치 정보 판단부;
    상기 사용자 위치 정보 및 상기 스피커 위치 정보를 이용하여 사용자 기준으로 음원의 패닝 계수를 분석하는 패닝 계수 분석부; 및
    상기 인터렉티브 오디오 음원의 상대적인 위치 정보에 따른 음원의 패닝 계수를 바탕으로 상기 인터렉티브 오디오를 고도 성분을 가지는 3차원 공간으로 패닝하는 3차원 패닝부;를 포함하는 오디오 장치.
  11. 제9항에 있어서,
    상기 패닝부는,
    상기 오디오 장치가 동일한 고도 성분을 가지는 복수의 채널을 출력하기 위한 복수의 스피커로 구현된 경우, 상기 인터렉티브 오디오를 가상 고도 성분을 가지도록 패닝하는 것을 특징으로 하는 오디오 장치..
  12. 제9항에 있어서,
    상기 입력부는,
    상기 메인 오디오의 공간 정보를 입력받으며,
    상기 렌더링부는,
    상기 입력된 메인 오디오의 공간 정보를 이용하여 상기 패닝된 인터렉티브 오디오를 렌더링하는 것을 특징으로 하는 오디오 장치.
  13. 제12항에 있어서,
    상기 메인 오디오의 공간 정보는 임펄스 응답(Impulse Response) 또는 변환 함수(Transfer Function)의 형태인 것을 특징으로 하는 오디오 장치.
  14. 제9항에 있어서,
    상기 렌더링부는,
    상기 메인 오디오를 분석하여 메인 오디오의 공간 특성을 판단하는 공간 특성 판단부;를 포함하며,
    상기 공간 특성 판단부를 통해 판단된 상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 것을 특징으로 하는 오디오 장치.
  15. 오디오 신호 처리 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 있어서,
    상기 오디오 신호 처리 방법은,
    메인 오디오(main audio) 및 인터렉티브 오디오(interactive audio)를 입력받는 단계;
    사용자의 위치 정보, 인터렉티브 오디오의 음원 위치 정보 및 스피커 위치 정보를 이용하여 상기 인터렉티브 오디오를 패닝하는 단계;
    상기 메인 오디오의 공간 특성에 따라 상기 패닝된 인터렉티브 오디오를 렌더링하는 단계; 및
    상기 렌더링된 인터넥티브 오디오와 상기 메인 오디오를 믹싱하여 출력하는 단계;를 포함하는 것을 특징으로 하는 기록 매체.
KR1020120140581A 2012-12-05 2012-12-05 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체 KR102028122B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120140581A KR102028122B1 (ko) 2012-12-05 2012-12-05 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체
EP13192454.0A EP2741526B1 (en) 2012-12-05 2013-11-12 Audio apparatus and method of processing audio signal
US14/093,678 US10462596B2 (en) 2012-12-05 2013-12-02 Audio apparatus, method of processing audio signal, and a computer-readable recording medium storing program for performing the method
CN201310652342.7A CN103856878A (zh) 2012-12-05 2013-12-05 处理音频信号的方法和音频设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120140581A KR102028122B1 (ko) 2012-12-05 2012-12-05 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체

Publications (2)

Publication Number Publication Date
KR20140072732A true KR20140072732A (ko) 2014-06-13
KR102028122B1 KR102028122B1 (ko) 2019-11-14

Family

ID=49683418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120140581A KR102028122B1 (ko) 2012-12-05 2012-12-05 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체

Country Status (4)

Country Link
US (1) US10462596B2 (ko)
EP (1) EP2741526B1 (ko)
KR (1) KR102028122B1 (ko)
CN (1) CN103856878A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016089049A1 (ko) * 2014-12-01 2016-06-09 삼성전자 주식회사 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스
EP3255450A1 (en) * 2016-06-09 2017-12-13 Nokia Technologies Oy A positioning arrangement
JP6939786B2 (ja) * 2016-07-05 2021-09-22 ソニーグループ株式会社 音場形成装置および方法、並びにプログラム
US11221820B2 (en) * 2019-03-20 2022-01-11 Creative Technology Ltd System and method for processing audio between multiple audio spaces

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110065144A (ko) * 2009-12-09 2011-06-15 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US8620009B2 (en) * 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
US8351612B2 (en) * 2008-12-02 2013-01-08 Electronics And Telecommunications Research Institute Apparatus for generating and playing object based audio contents
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
JP2010258653A (ja) * 2009-04-23 2010-11-11 Panasonic Corp サラウンドシステム
KR101673232B1 (ko) * 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
WO2013181272A2 (en) * 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110065144A (ko) * 2009-12-09 2011-06-15 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법

Also Published As

Publication number Publication date
CN103856878A (zh) 2014-06-11
US10462596B2 (en) 2019-10-29
EP2741526B1 (en) 2017-04-05
EP2741526A2 (en) 2014-06-11
KR102028122B1 (ko) 2019-11-14
EP2741526A3 (en) 2014-12-10
US20140153752A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
RU2661775C2 (ru) Передача сигнальной информации рендеринга аудио в битовом потоке
US9007524B2 (en) Techniques and apparatus for audio isolation in video processing
KR101888391B1 (ko) 음성 신호 관리 방법 및 이를 제공하는 전자 장치
US20160088417A1 (en) Head mounted display and method for providing audio content by using same
US10798518B2 (en) Apparatus and associated methods
RU2016141642A (ru) Устройство и способ для повторного отображения относящихся к экрану звуковых объектов
TWI596954B (zh) 自動調整向上揚聲器發聲方向的系統、音訊輸出裝置及其方法
KR102028122B1 (ko) 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체
CN105812991A (zh) 音频信号处理设备
KR101374353B1 (ko) 음향 재생 장치
US10277980B2 (en) Information processing apparatus, information processing system, control method, and program
US10547962B2 (en) Speaker arranged position presenting apparatus
CN114788304A (zh) 用于减少环境噪声补偿系统中的误差的方法
US20190335286A1 (en) Speaker system, audio signal rendering apparatus, and program
KR101790137B1 (ko) 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
KR20180122451A (ko) 대화형 오디오 메타데이터 취급
CN111512640B (zh) 多相机设备
Barrett Ambisonics and acousmatic space: a composer’s framework for investigating spatial ontology
KR101391942B1 (ko) 오디오 스티어링 동영상 시스템 및 그 제공방법
Kim et al. Immersive virtual reality audio rendering adapted to the listener and the room
EP3002960A1 (en) System and method for generating surround sound
KR20140049957A (ko) 음향 재생 장치 및 음향 재생 방법
JP7504140B2 (ja) 音響処理装置および方法、並びにプログラム
EP3013072B1 (en) System and method for generating surround sound
EP3706432A1 (en) Processing multiple spatial audio signals which have a spatial overlap

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant