KR20150004000A - 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치 - Google Patents

가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치 Download PDF

Info

Publication number
KR20150004000A
KR20150004000A KR20130076844A KR20130076844A KR20150004000A KR 20150004000 A KR20150004000 A KR 20150004000A KR 20130076844 A KR20130076844 A KR 20130076844A KR 20130076844 A KR20130076844 A KR 20130076844A KR 20150004000 A KR20150004000 A KR 20150004000A
Authority
KR
South Korea
Prior art keywords
channel audio
listener
listening space
virtual
processing function
Prior art date
Application number
KR20130076844A
Other languages
English (en)
Inventor
박승민
김동준
임재용
Original Assignee
한국산업은행
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업은행 filed Critical 한국산업은행
Priority to KR20130076844A priority Critical patent/KR20150004000A/ko
Publication of KR20150004000A publication Critical patent/KR20150004000A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치가 개시된다. 본 발명에 따른 가상 오디오 신호처리 방법은, (a) 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 단계; (b) 입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득하는 단계; (c) 상기 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정하는 단계; 및 (d) 상기 결정된 음상정위 처리함수로 상기 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성하는 단계를 포함한다. 본 발명은 콘텐츠의 멀티채널 오디오 규격에 대응되는 가상의 오디오 시스템 구현을 위한 가상 오디오 신호처리 기술을 제공할 수 있다.

Description

가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치{The method for processing virtual audio signal and apparatus for processing virtual audio signal thereof}
본 발명은 가상 오디오 신호 처리 방법 및 가상 오디오 신호 처리 장치에 관한 것으로서, 보다 상세하게는 멀티미디어 콘텐츠의 멀티채널 오디오 규격에 대응되는 가상의 멀티채널 오디오 시스템을 구현하기 위한 가상 오디오 신호 처리 기술에 관한 것이다.
최근의 멀티미디어 콘텐츠(예를 들어, 3D 영화, 뮤직 비디오, 디지털 방송 콘텐츠, 게임 등)는 현장감 있는 사운드를 청취자에게 제공하기 위하여 다양한 규격의 멀티채널(예를 들어, 5.1 채널, 7.1 채널, 14.2 채널 등) 오디오 데이터를 포함하여 출시된다.
그런데, 콘텐츠 제작자가 의도한 본래의 멀티채널 사운드를 청취하기 위해서는 멀티채널 규격에 따른 오디오 시스템을 청취자가 갖추고 있어야 하고, 최근의 콘텐츠에는 다양한 멀티채널 오디오 규격이 적용되고 있기 때문에 청취자가 각각의 규격에 따른 오디오 시스템을 갖춘다는 것은 현실적으로 어렵다.
또한, 청취자가 멀티채널 오디오 규격에 따른 오디오 시스템을 구비하고 있더라도 멀티채널 오디오 스피커 배치에 대한 전문적인 지식이 없다면 최적의 청취 환경을 구현하기에는 어려움이 있다.
또한, 멀티미디어 콘텐츠 마다 멀티채널 오디오 규격이 다를 수 있기 때문에 규격이 바뀔 때마다 오디오 시스템의 배치를 바꾼다는 것은 현실적으로 불가능한 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 콘텐츠의 멀티채널 오디오 규격에 대응되는 가상의 오디오 시스템 구현을 위한 가상 오디오 신호처리 기술을 제공하기 위한 것이다.
또한, 본 발명은 복수의 멀티채널 오디오 규격들 각각에 대한 가상 스피커의 위치를 사전에 설정함으로써 콘텐츠의 멀티채널 오디오 규격이 바뀐 경우 자동적으로 바뀐 오디오 규격에 따라 가상 스피커의 위치가 변경되도록 하는 가상 오디오 신호 처리 기술을 제공하는 것이다.
또한, 본 발명은 청취자가 멀티채널 오디오 스피커 배치에 대한 전문적인 지식이 없더라도 최적의 청취 환경을 구현할 수 있도록 하는 가상 오디오 신호 처리 기술을 제공하는 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 가상 오디오 신호처리 방법은, (a) 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 단계; (b) 입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득하는 단계; (c) 상기 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정하는 단계; 및 (d) 상기 결정된 음상정위 처리함수로 상기 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성하는 단계를 포함할 수 있다.
여기서, 상기 (a) 단계는, (a1) 청취자의 청취 공간 정보를 획득하는 단계; 및 (a2) 상기 획득된 청취 공간 정보에 근거하여 상기 가상 스피커의 위치를 설정하는 단계를 포함할 수 있다.
여기서, 상기 (a1) 단계는, 스캔 신호를 청취 공간에 방사하는 단계; 상기 방사된 스캔 신호에 대한 반사파를 획득하는 단계; 및 상기 획득된 반사파를 분석하여 청취 공간 정보를 획득하는 단계를 포함할 수 있다.
여기서, 상기 (a1) 단계는, 청취 공간 정보를 입력할 수 있는 인터페이스를 통해 청취자로부터 청취 공간 정보를 입력 받는 단계를 포함할 수 있다.
여기서, 상기 청취 공간 정보는 스피커 어레이 위치 정보 및 청취자의 청취 위치 정보를 포함할 수 있다.
여기서, 상기 음상정위 처리함수는 표준화된 HRTF(Head-related transfer function)를 이용하여 결정될 수 있다.
여기서, 가상 오디오 신호처리 방법은, 복수의 청취자별 HRTF를 획득하는 단계를 더 포함하되, 상기 음상정위 처리함수는 상기 획득된 청취자별 HRTF를 이용하여 결정될 수 있다.
본 발명의 다른 측면에 따르면, 가상 오디오 신호처리 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며 디지털 정보 처리 장치에 의해 판독 가능한 프로그램이 기록된 기록 매체가 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 가상 오디오 신호처리 장치는, 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 가상 스피커 위치설정부; 입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득하는 콘텐츠 분석부; 상기 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정하는 음상정위 처리함수 결정부; 및 상기 결정된 음상정위 처리함수로 상기 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성하는 출력 사운드 신호 생성부를 포함할 수 있다.
여기서, 상기 가상 스피커 위치설정부는, 청취자의 청취 공간 정보를 획득하는 공간 정보 획득부를 포함하되, 상기 가상 스피커의 위치는 상기 획득된 청취 공간 정보에 근거하여 결정될 수 있다.
여기서, 공간 정보 획득부는, 스캔 신호를 청취 공간에 방사하는 신호 방사부; 및 상기 방사된 스캔 신호에 대한 반사파를 획득하는 반사파 획득부를 포함하되, 상기 청취 공간 정보는 상기 획득된 반사파를 분석하여 획득될 수 있다.
여기서, 공간정보 획득부는, 청취 공간 정보를 입력할 수 있는 인터페이스를 통해 청취자로부터 청취 공간 정보를 입력 받을 수 있다.
여기서, 상기 청취 공간 정보는 스피커 어레이 위치 정보 및 청취자의 청취 위치 정보를 포함할 수 있다.
여기서, 상기 음상정위 처리함수는 표준화된 HRTF(head-related transfer function)를 이용하여 결정될 수 있다.
여기서, 가상 오디오 신호처리 장치는, 복수의 청취자별 HRTF를 획득하는 HRTF 획득부를 더 포함하되, 상기 음상정위 처리함수는 상기 획득된 청취자별 HRTF를 이용하여 결정될 수 있다.
본 발명의 또 다른 측면에 따르면, 콘텐츠 플레이어는 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 가상 스피커 위치설정부; 콘텐츠를 수신 받는 콘텐츠 수신부; 상기 수신된 콘텐츠에서 비디오 데이터, 멀티채널 오디오 데이터, 및 멀티채널 오디오 규격 정보를 포함하는 부가 데이터를 분리하는 디먹스(Demux); 상기 분리된 비디오 데이터, 멀리채널 오디오 데이터 및 부가데이터를 디코딩하는 디코딩부; 상기 디코딩된 부가데이터에 포함된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위 처리함수 결정부; 상기 결정된 음상정위 처리함수로 상기 디코딩된 멀티채널 오디오 데이터를 처리하여 출력사운드 신호를 생성하는 출력 사운드 신호 생성부; 상기 생성된 출력 사운드 신호를 재생하는 스피커 어레이; 및 상기 디코딩된 비디오 데이터를 재생하는 디스플레이부를 포함할 수 있다.
본 발명은 콘텐츠의 멀티채널 오디오 규격에 대응되는 가상의 오디오 시스템 구현을 위한 가상 오디오 신호처리 기술을 제공할 수 있다.
또한, 본 발명은 복수의 멀티채널 오디오 규격들 각각에 대한 가상 스피커의 위치를 사전에 설정함으로써 콘텐츠의 멀티채널 오디오 규격이 바뀐 경우 자동적으로 바뀐 오디오 규격에 따라 가상 스피커의 위치가 변경되도록 하는 가상 오디오 신호 처리 기술을 제공할 수 있다.
또한, 본 발명은 청취자가 멀티채널 오디오 스피커 배치에 대한 전문적인 지식이 없더라도 최적의 청취 환경을 구현할 수 있도록 하는 가상 오디오 신호 처리 기술을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 오디오 신호처리 장치에서 수행되는 가상 오디오 신호처리 방법을 나타낸 순서도.
도 2는 복수의 멀티채널 오디오 규격들의 일 예를 나타낸 도면.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 멀티채널 가상 스피커의 배치도를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 가상 오디오 신호처리 장치(400)의 구성을 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른 가상 오디오 신호처리 기술이 적용된 콘텐츠 플레이어의 구성을 나타낸 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상 오디오 신호처리 장치에서 수행되는 가상 오디오 신호처리 방법을 나타낸 순서도이고, 도 2는 복수의 멀티채널 오디오 규격들의 일 예를 나타낸 도면이며, 도 3a 및 도 3b는 본 발명의 일 실시예에 따른 멀티채널 가상 스피커의 배치도를 나타낸 도면이다.
도 1을 참조하면, 단계 S110에서 가상 오디오 신호처리 장치(400)는 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정한다. 도 2에 도시된 바와 같이, 최근의 콘텐츠(예를 들어, 3D 영화, 게임 등)는 현장감 있는 사운드를 청취자에게 제공하기 위하여 다양한 규격의 멀티채널(예를 들어, 6 채널, 8 채널, 5.1 채널 등) 오디오 데이터를 포함한다. 이때, 멀티채널 오디오 규격이 6 채널인 경우 총 6개의 실제 스피커(Real Speaker)를 통해 멀티채널 오디오 데이터가 재생된다. 즉, 멀티채널 오디오 규격이 N 채널인 경우 실제 스피커는 N개가 필요하다. 본 발명에서는 실제 스피커 N개에 대응되는 가상 스피커(Virtual Speaker) N개가 구현된다. 예를 들어, 멀티채널 규격이 5.1 채널인 경우 구현되는 가상 스피커의 수는 6개가 되고, 멀티채널 규격이 14.2 채널인 경우 구현되는 가상 스피커의 수는 16개가 된다.
도 3a는 5.1 채널 가상 스피커의 배치도를 나타낸 것이다. 다만, 설명의 편의를 위해 5.1 채널 오디오 규격에서 서브우퍼는 생략하였다. 도 3a에서 참조번호 21 내지 25는 5.1 채널 오디오 규격에 따른 가상 스피커이고, 참조번호 30은 청취자이며, 참조번호 40은 실제 음원에 해당되는 스피커 어레이다. 가상스피커의 위치는 청취자(30)의 위치에 종속되어 설정된다. 도 3a에 도시된 바와 같이, 5.1 채널에서 가상 스피커는 청취자(30) 주변을 따라 위치한다. 센터 스피커(21)는 청취자(30)의 정면에 프론트 우측 스피커(22)와 프로트 좌측 스피커(23)는 청취자(30)의 정면 우측과 정면 좌측에 위치한다. 그리고, 서라운드 스피커(24, 25)는 청취자(30)의 후방 우측과 좌측에 위치한다. 청취자(30)의 위치가 결정되면 가상 오디오 신호처리 장치(400)가 설치된 프로그램에 따라 가상 스피커의 위치를 설정할 수 있다. 또는, 가상 스피커의 위치는 청취자의 선택에 따라 설정될 수도 있다. 예를 들어, 가상 오디오 신호처리 장치(400)는 청취자가 가상 스피커의 위치를 선택할 수 있는 인터페이스를 통해 가상 스피커의 위치를 청취자로부터 입력 받아 설정할 수 있다.
도 3b는 7.1 채널 오디오 규격에서 서브우퍼를 제외한 가상 스피커의 배치도를 나타낸 것이다. 도 3a와 비교할 때, 후방 서라운드 가상 스피커(25, 27)이 추가되어 있다.
도 3a 및 4b는 멀티채널 오디오 규격의 일 예시일 뿐이며, 이 외에 다양한 멀티채널 오디오 규격에 상응하는 가상 스피커의 위치가 단계 S110을 통해 설정될 수 있다.
가상 스피커의 위치는 청취 공간의 크기에 종속적일 수 있다. 이에 따라, 단계 S110은 청취자의 청취 공간 정보를 획득하는 단계, 획득된 청취 공간 정보에 근거하여 가상 스피커의 위치를 설정하는 단계를 포함할 수 있다. 본 발명의 일 실시예에 따르면 가상 오디오 신호처리 장치(400)는 청취 공간 정보를 획득하기 위해, 스캔 신호를 청취 공간에 방사하고 방사된 스캔 신호에 대한 반사파를 획득한 후, 획득된 반사파를 분석하여 청취 공간 정보를 획득할 수 있다. 이때, 스캔 신호는 적외선 등의 전자기파일 수도 있고, 초음파 등의 음파일 수도 있다. 또한, 본 발명의 다른 실시예에 따르면 가상 오디오 신호처리 장치(400)는 청취 공간 정보를 입력할 수 있는 인터페이스를 통해 청취자로부터 청취 공간 정보를 입력 받을 수 있다. 청취자로부터 청취공간 정보를 입력 받는 경우 청취공간 정보는 청취 공간의 가로 길이, 세로 길이, 높이 등의 3차원 길이 정보이거나 몇 평 등의 면적에 대한 정보일 수 있다.
본 발명에 따른 청취 공간 정보는 스피커 어레이(40) 위치 정보 및 청취자(30)의 청취 위치 정보를 포함할 수 있다. 상술한 스캔 신호를 이용하여 청취공간 정보를 획득할 때, 청취자(30)의 위치 정보가 함께 획득될 수 있다.
또한, 본 발명의 다른 실시예에 따르면 가상 오디오 신호처리 장치는(400)는 청취 공간을 촬영하여 촬영된 영상의 프레임 분석을 통해 청취 공간 정보를 획득할 수 있다. 이때, 영상 프레임 분석을 통해 청취자(30)의 위치 정보가 함께 획득될 수 있다.
단계 S120에서 가상 오디오 신호처리 장치(400)는 입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득한 후, 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정한다. 즉, 가상 오디오 신호처리 장치(400)는 미리 저장된 복수의 음상정위 처리함수 중 입력된 콘텐츠의 멀티채널 오디오 규격에 대응되는 음상정위 처리함수를 선택한다. 입력된 콘텐츠의 멀티채널 오디오 규격이 N채널이고 스피커 어레이를 구성하는 스피커의 개수가 M개인 경우, 음상정위 처리함수는 MxN 행열 구조를 가지는 함수일 수 있다. 음상정위 처리함수는 MxN 행열 구조를 가지는 경우 행열의 엘리먼트(element)는 표준화된 HRTF(Head-related transfer function)를 이용하여 결정될 수 있다. 상기한 표준화된 HRTF는 국가별, 성별, 연령 등을 구분하여 표준화된 함수일 수 있다.
단계 S140에서, 가상 오디오 신호처리 장치(400)는 결정된 음상정위 처리함수로 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성한다. 이때, 생성된 출력 사운드 신호는 스피커 어레이(40)를 구성하는 실제 스피커의 동작을 지시한다. 즉, 스피커 어레이(40)가 동작하면 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상이 발생된다. 예를 들어, 도 3a에 도시된 바와 같이 획득된 멀티채널 오디오 규격이 5.1 채널인 경우, 스피커 어레이(40)가 동작하면 사전 설정된 참조번호 21 내지 25 위치에 음상이 발생되고 청취자(30)는 5.1 채널 입체음향 사운드를 청취하게 된다. 또는, 도 3b에 도시된 바와 같이 획득된 멀티채널 오디오 규격이 7.1 채널인 경우, 스피커 어레이(40)가 동작하면 사전 설정된 참조번호 21 내지 27 위치에 음상이 발생되고 청취자(30)는 7.1 채널 입체음향 사운드를 청취하게 된다.
본 발명의 다른 실시예에 따르면, 가상 오디오 신호처리 장치(400)는 복수의 청취자별 HRTF를 획득하는 단계를 더 수행할 수 있다. 이때, 음상정위 처리함수가 MxN 행열 구조를 가지는 경우 행열의 엘리먼트(element)는 획득된 청취자별 HRTF를 이용하여 결정될 수 있다. 본 실시예에 따르면, 청취자별 HRTF에 의해 음상정위 처리함수의 엘리먼트가 결정되기 때문에 음상정위 처리함수에는 청취자별 특성(예를 들어, 두상의 모양, 귀의 모양 등)이 반영되고, 이에 따라 청취자에게 최적의 청취 환경이 제공될 수 있다.
도 4는 본 발명의 일 실시예에 따른 가상 오디오 신호처리 장치(400)의 구성을 나타낸 블록도이다.
도 4의 설명에서는 도 1 내지 도 3b를 통해 이미 설명된 사항 중 도 4에 적용할 수 있거나 중복되는 사항은 생략하거나 간단히 설명할 것이지만, 생략되거나 간단히 설명된 내용도 도 4에 도시된 실시예에 적용될 수 있음은 물론이다.
도 4를 참조하면, 본 발명에 따른 가상 오디오 신호처리 장치(400)는 가상 스피커 위치설정부(410), 콘텐츠 분석부(420), 음상정위 처리함수 결정부(430) 및 출력 사운드 신호 생성부(440)를 포함한다. 또한, 가상 오디오 신호처리 장치(400)는 HRTF 획득부(450)를 더 포함할 수 있다.
가상 스피커 위치설정부(410)는 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 기능을 수행한다. 여기서, 가상 스피커 위치설정부(410)는 청취자의 청취 공간 정보를 획득하는 공간 정보 획득부(415)를 더 포함할 수 있다. 이때, 공간 정보 획득부(415)는 스캔 신호를 청취 공간에 방사하는 신호 방사부(417) 및 상기 방사된 스캔 신호에 대한 반사파를 획득하는 반사파 획득부(419)를 포함할 수 있고, 상기한 청취 공간 정보는 획득된 반사파를 분석하여 획득될 수 있다. 또한, 공간 정보 획득부(415)는 청취 공간 정보를 입력할 수 있는 인터페이스를 통해 청취자로부터 청취 공간 정보를 입력 받을 수 있다. 상기한 청취 공간 정보는 스피커 어레이 위치 정보 및 청취자의 청취 위치 정보를 포함할 수 있다.
콘텐츠 분석부(420)는 입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득하는 기능을 수행한다.
음상정위 처리함수 결정부(430)는 상기 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정하는 기능을 수행한다. 음상정위 처리함수는 MxN 행열 구조를 가지는 경우 행열의 엘리먼트(element)는 표준화된 HRTF(Head-related transfer function)를 이용하여 결정될 수 있다.
출력 사운드 신호 생성부(440)는 상기 결정된 음상정위 처리함수로 상기 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성하는 기능을 수행한다. 이때, 생성된 출력 사운드 신호는 스피커 어레이(40)를 구성하는 실제 스피커의 동작을 지시한다. 즉, 스피커 어레이(40)가 동작하면 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상이 발생된다. 스피커 어레이(40)는 복수의 실제 스피커로 구성된다. 스피커 어레이(40)는 바 타입(Bar type), 타워형 등 제한 없이 적용될 수 있다.
본 발명의 다른 실시예에 따르면, 가상 오디오 신호처리 장치(400)는 HRTF 획득부(450)를 더 포함할 수 있다. 이때, 음상정위 처리함수는 획득된 청취자별 HRTF를 이용하여 결정될 수 있다.
도 5는 본 발명의 일 실시예에 따른 가상 오디오 신호처리 기술이 적용된 콘텐츠 플레이어의 구성을 나타낸 도면이다.
도 5의 설명에서는 도 1 내지 도 4를 통해 이미 설명된 사항 중 도 5에 적용할 수 있거나 중복되는 사항은 생략하거나 간단히 설명할 것이지만, 생략되거나 간단히 설명된 내용도 도 5에 도시된 실시예에 적용될 수 있음은 물론이다.
도 5를 참조하면, 본 발명에 따른 콘텐츠 플레이어(500)는 콘텐츠 수신부(510), 디먹스(520), 디코딩부(530), 디스플레이부(540), 가상 스피커 위치 설정부(550), 음상정위 처리함수 결정부(560), 출력 사운드 신호 생성부(570) 및 스피커 어레이(580)을 포함한다.
가상 스피커 위치 설정부(550)는 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 기능을 수행한다.
콘텐츠 수신부(510)는 콘텐츠 전송단으로부터 콘텐츠를 수신 받는 기능을 수행한다. 상기한 콘텐츠는 유선 또는 무선망(예를 들어, 방송 통신망, DMB 망, 이동통신망 등)을 통해 전송될 수 있다.
디먹스(Demux, 520)는 상기 수신된 콘텐츠에서 비디오 데이터, 멀티채널 오디오 데이터, 및 부가 데이터를 분리하는 기능을 수행한다. 이때, 부가 데이터는 멀티채널 오디오 규격 정보를 포함한다.
디코딩부(530)는 상기 분리된 비디오 데이터, 멀리채널 오디오 데이터 및 부가데이터를 디코딩하는 기능을 수행한다. 이때, 디코딩부(530)는 비디오 데이터를 디코딩하는 비디오 디코더(532), 멀티채널 오디오 데이터를 디코딩하는 오디오 디코더(534) 및 부가 데이터를 디코딩하는 데이터 디코더(536)를 포함한다.
음상정위 처리함수 결정부(560) 상기 디코딩된 부가데이터에 포함된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 기능을 수행한다.
출력 사운드 신호 생성부(570)는 상기 결정된 음상정위 처리함수로 상기 디코딩된 멀티채널 오디오 데이터를 처리하여 출력사운드 신호를 생성하는 기능을 수행한다.
스피커 어레이(580)는 생성된 출력 사운드 신호를 재생하는 기능을 수행한다. 이때, 스피커 어레이(580)가 동작하면 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상이 발생된다.
디스플레이부(540)는 디코딩된 비디오 데이터를 재생하는 기능을 수행한다.
이상에서 설명한 본 발명에 따른 가상 오디오 신호처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송과 같이 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
21 : 가상 스피커
30 : 청취자
40 : 스피커 어레이
400 : 가상 오디오 신호처리 장치
410 : 가상 스피커 위치 설정부
415 : 공간정보 획득부
417 : 신호 방사부
419 : 반사파 획득부
420 : 콘텐츠 분석부
430 : 음상정위 처리함수 결정부
440 : 출력 사운드 신호 생성부
450 : HRTF 획득부
500 : 콘텐츠 플레이어

Claims (16)

  1. (a) 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 단계;
    (b) 입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득하는 단계;
    (c) 상기 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정하는 단계; 및
    (d) 상기 결정된 음상정위 처리함수로 상기 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성하는 단계를 포함하는 가상 오디오 신호처리 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는,
    (a1) 청취자의 청취 공간 정보를 획득하는 단계; 및
    (a2) 상기 획득된 청취 공간 정보에 근거하여 상기 가상 스피커의 위치를 설정하는 단계를 포함하는 것을 특징으로 하는 가상 오디오 신호처리 방법.
  3. 제2항에 있어서,
    상기 (a1) 단계는,
    스캔 신호를 청취 공간에 방사하는 단계;
    상기 방사된 스캔 신호에 대한 반사파를 획득하는 단계; 및
    상기 획득된 반사파를 분석하여 청취 공간 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 가상 오디오 신호처리 방법.
  4. 제2항에 있어서,
    상기 (a1) 단계는,
    청취 공간 정보를 입력할 수 있는 인터페이스를 통해 청취자로부터 청취 공간 정보를 입력 받는 단계를 포함하는 것을 특징으로 하는 가상 오디오 신호처리 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 청취 공간 정보는 스피커 어레이 위치 정보 및 청취자의 청취 위치 정보를 포함하는 것을 특징으로 하는 가상 오디오 신호처리 방법.
  6. 제1항에 있어서,
    상기 음상정위 처리함수는 표준화된 HRTF(Head-related transfer function)를 이용하여 결정되는 것을 특징으로 하는 가상 오디오 신호처리 방법.
  7. 제1항에 있어서,
    복수의 청취자별 HRTF를 획득하는 단계를 더 포함하되,
    상기 음상정위 처리함수는 상기 획득된 청취자별 HRTF를 이용하여 결정되는 것을 특징으로 하는 가상 오디오 신호처리 방법.
  8. 제1항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 명령어들의 조합이 유형적으로 구현되어 있으며 디지털 정보 처리 장치에 의해 판독 가능한 프로그램이 기록된 기록 매체.
  9. 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 가상 스피커 위치설정부;
    입력된 콘텐츠에서 멀티채널 오디오 규격 및 멀티채널 오디오 데이터를 획득하는 콘텐츠 분석부;
    상기 획득된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위(Sound image localization) 처리함수를 결정하는 음상정위 처리함수 결정부; 및
    상기 결정된 음상정위 처리함수로 상기 멀티채널 오디오 데이터를 처리하여 출력 사운드 신호를 생성하는 출력 사운드 신호 생성부를 포함하는 가상 오디오 신호처리 장치.
  10. 제9항에 있어서,
    상기 가상 스피커 위치설정부는,
    청취자의 청취 공간 정보를 획득하는 공간 정보 획득부를 포함하되,
    상기 가상 스피커의 위치는 상기 획득된 청취 공간 정보에 근거하여 결정되는 것을 특징으로 하는 가상 오디오 신호처리 장치.
  11. 제10항에 있어서,
    공간 정보 획득부는,
    스캔 신호를 청취 공간에 방사하는 신호 방사부; 및
    상기 방사된 스캔 신호에 대한 반사파를 획득하는 반사파 획득부를 포함하되, 상기 청취 공간 정보는 상기 획득된 반사파를 분석하여 획득되는 것을 특징으로 하는 가상 오디오 신호처리 장치.
  12. 제10항에 있어서,
    공간정보 획득부는,
    청취 공간 정보를 입력할 수 있는 인터페이스를 통해 청취자로부터 청취 공간 정보를 입력 받는 것을 특징으로 하는 가상 오디오 신호처리 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 청취 공간 정보는 스피커 어레이 위치 정보 및 청취자의 청취 위치 정보를 포함하는 것을 특징으로 하는 가상 오디오 신호처리 장치.
  14. 제9항에 있어서,
    상기 음상정위 처리함수는 표준화된 HRTF(head-related transfer function)를 이용하여 결정되는 것을 특징으로 하는 가상 오디오 신호처리 장치.
  15. 제9항에 있어서,
    복수의 청취자별 HRTF를 획득하는 HRTF 획득부를 더 포함하되,
    상기 음상정위 처리함수는 상기 획득된 청취자별 HRTF를 이용하여 결정되는 것을 특징으로 하는 가상 오디오 신호처리 장치.
  16. 복수의 멀티채널 오디오 규격들 각각에 상응하는 가상 스피커의 위치를 사전 설정하는 가상 스피커 위치설정부;
    콘텐츠를 수신 받는 콘텐츠 수신부;
    상기 수신된 콘텐츠에서 비디오 데이터, 멀티채널 오디오 데이터, 및 멀티채널 오디오 규격 정보를 포함하는 부가 데이터를 분리하는 디먹스(Demux);
    상기 분리된 비디오 데이터, 멀리채널 오디오 데이터 및 부가데이터를 디코딩하는 디코딩부;
    상기 디코딩된 부가데이터에 포함된 멀티채널 오디오 규격에 상응하는 사전 설정된 가상 스피커의 위치에 음상을 발생시키기 위한 음상정위 처리함수 결정부;
    상기 결정된 음상정위 처리함수로 상기 디코딩된 멀티채널 오디오 데이터를 처리하여 출력사운드 신호를 생성하는 출력 사운드 신호 생성부;
    상기 생성된 출력 사운드 신호를 재생하는 스피커 어레이; 및
    상기 디코딩된 비디오 데이터를 재생하는 디스플레이부를 포함하는 콘텐츠 플레이어.
KR20130076844A 2013-07-02 2013-07-02 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치 KR20150004000A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130076844A KR20150004000A (ko) 2013-07-02 2013-07-02 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130076844A KR20150004000A (ko) 2013-07-02 2013-07-02 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치

Publications (1)

Publication Number Publication Date
KR20150004000A true KR20150004000A (ko) 2015-01-12

Family

ID=52476392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130076844A KR20150004000A (ko) 2013-07-02 2013-07-02 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치

Country Status (1)

Country Link
KR (1) KR20150004000A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016163833A1 (ko) * 2015-04-10 2016-10-13 세종대학교산학협력단 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016163833A1 (ko) * 2015-04-10 2016-10-13 세종대학교산학협력단 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
CN114630145A (zh) * 2022-03-17 2022-06-14 腾讯音乐娱乐科技（深圳）有限公司 一种多媒体数据合成方法、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102182526B1 (ko) 빔형성 라우드스피커 어레이를 위한 공간적 오디오 렌더링
US20200366994A1 (en) Automatic discovery and localization of speaker locations in surround sound systems
EP3028273B1 (en) Processing spatially diffuse or large audio objects
Coleman et al. An audio-visual system for object-based audio: from recording to listening
KR102322104B1 (ko) 사운드 바를 위한 오디오 신호 처리 장치 및 방법
EP3127110B1 (en) Exploiting metadata redundancy in immersive audio metadata
US10271156B2 (en) Audio signal processing method
US20180091919A1 (en) Method and device for processing binaural audio signal
WO2015138856A1 (en) Low frequency rendering of higher-order ambisonic audio data
KR101839504B1 (ko) 객체 종속 프로세싱을 위한 오디오 프로세서
US20200280815A1 (en) Audio signal processing device and audio signal processing system
US20120105603A1 (en) Display system with dynamic 3d sound reproduction and related method
CN113424556A (zh) 声音再现/模拟系统和用于模拟声音再现的方法
US11483669B2 (en) Spatial audio parameters
EP3257270B1 (en) Apparatus and method for processing stereo signals for reproduction in cars to achieve individual three-dimensional sound by frontal loudspeakers
KR20150004000A (ko) 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치
Oldfield et al. An object-based audio system for interactive broadcasting
WO2013057906A1 (ja) オーディオ信号再生装置およびオーディオ信号再生方法
EP4167600A2 (en) A method and apparatus for low complexity low bitrate 6dof hoa rendering
KR20140090469A (ko) 영상표시장치의 동작 방법
KR20200100664A (ko) 입체 음향 콘텐츠를 전달하는 3차원 오디오 디코더에서의 모노포닉 신호의 처리
Cobos et al. Subjective quality assessment of multichannel audio accompanied with video in representative broadcasting genres
Pöres Monitoring and Authoring of 3D Immersive Next-Generation Audio Formats
CN114128312B (zh) 用于低频效果的音频渲染
US20240129681A1 (en) Scaling audio sources in extended reality systems

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right