KR20130014187A - 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치 - Google Patents

오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치 Download PDF

Info

Publication number
KR20130014187A
KR20130014187A KR1020110076148A KR20110076148A KR20130014187A KR 20130014187 A KR20130014187 A KR 20130014187A KR 1020110076148 A KR1020110076148 A KR 1020110076148A KR 20110076148 A KR20110076148 A KR 20110076148A KR 20130014187 A KR20130014187 A KR 20130014187A
Authority
KR
South Korea
Prior art keywords
information
image
audio
sound
audio object
Prior art date
Application number
KR1020110076148A
Other languages
English (en)
Other versions
KR101901908B1 (ko
Inventor
김선민
이영우
이윤재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110076148A priority Critical patent/KR101901908B1/ko
Priority to CN201280048236.1A priority patent/CN103858447B/zh
Priority to JP2014523837A priority patent/JP5890523B2/ja
Priority to EP12819640.9A priority patent/EP2737727B1/en
Priority to PCT/KR2012/005955 priority patent/WO2013019022A2/en
Priority to US13/561,645 priority patent/US9554227B2/en
Publication of KR20130014187A publication Critical patent/KR20130014187A/ko
Application granted granted Critical
Publication of KR101901908B1 publication Critical patent/KR101901908B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 영상 정보를 입력받고, 상기 3차원 영상 정보에 근거하여 오디오 오브젝트에, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서 입체감을 부여하기 위한 정보인 인덱스 정보를 생성하는 인덱스 예측부, 및 상기 인덱스 정보에 근거하여 상기 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로의 입체감을 부여하는 랜더링 부를 포함하며, 입체 음향 효과를 최대화시킬 수 있는 오디오 신호 처리 장치를 기재하고 있다.

Description

오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치{Method for processing audio signal and apparatus for processing audio signal thereof}
본원 발명은 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치에 관한 것이다.
더욱 상세하게는, 입체 음향을 생성할 수 있는 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치에 관한 것이다.
영상 기술의 발전에 힘입어 사용자는 3차원 입체 영상을 시청할 수 있게 되었다. 3차원 입체 영상은 양안 시차를 고려하여 좌시점 영상 데이터를 좌안에 노출시키고, 우시점 영상 데이터를 우안에 노출시킨다. 사용자는 3차원 영상 기술을 통하여 스크린으로부터 튀어나오거나 스크린 뒤로 들어가는 오브젝트를 실감나게 인식할 수 있다.
한편, 영상 기술의 발전과 더불어 음향에 대한 사용자의 관심이 증대되고 있으며, 특히, 입체 음향 기술이 눈부시게 발전하고 있다. 현재의 입체 음향 기술은 사용자의 주위에 복수 개의 스피커를 배치하여, 사용자가 정위감과 임장감을 느낄 수 있도록 한다. 예를 들어, 6개의 스피커를 이용하여 6개의 분리된 오디오 신호를 출력하는 5.1 채널 오디오 시스템을 이용하여, 입체 음향을 구현하고 있다. 그러나, 전술한 입체 음향 기술에서는 영상 오브젝트의 입체감 변화에 대응되는 입체 음향을 사용자에게 제공할 수 없다.
따라서, 영상 오브젝트의 입체감 변화에 대응되는 입체 음향을 생성할 수 있는 방법 및 장치를 제공할 필요가 있다. 또한, 입체 음향 기술에서는 오디오 오브젝트의 입체감을 증가시키는 것이 무엇보다 중요하다. 따라서, 입체감을 더욱더 증가시킬 수 있는 방법 및 장치를 제공할 필요가 있다.
본원 발명은, 영상 오브젝트의 입체감 변화에 대응되는 입체 음향을 생성할 수 있는 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치의 제공을 목적으로 한다.
또한, 본원 발명은 오디오 오브젝트의 입체감을 향상시킬 수 있는 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치의 제공을 목적으로 한다.
본 발명의 일 실시예에 따른 오디오 신호 처리 장치는 3차원 영상 정보를 입력받고, 상기 3차원 영상 정보에 근거하여 오디오 오브젝트에, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서 입체감을 부여하기 위한 정보인 인덱스 정보를 생성하는 인덱스 예측부, 및 상기 인덱스 정보에 근거하여 상기 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로의 입체감을 부여하는 랜더링 부를 포함한다.
또한, 상기 인덱스 예측부는 상기 좌우 방향으로의 음향 확장감 정보, 상기 전후 방향으로의 깊이 정보, 및 상기 상하 방향으로의 고도감 정보 중 적어도 하나를 포함하는 상기 인덱스 정보를 생성할 수 있다.
또한, 상기 3차원 영상 정보는 영상 프레임 별로 최대 디스패리티 값, 최소 디스패리티 값 및 상기 최대 또는 최소 디스패리티를 갖는 영상 오브젝트의 위치 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 영상 오브젝트의 위치 정보는 상기 3차원 영상 정보가 상기 영상 프레임 별로 입력되는 경우, 상기 일 프레임에 대응되는 하나의 영상 화면을 적어도 하나로 분할한 서브 프레임에 대한 정보를 포함할 수 있다.
또한, 상기 음향 확장감 정보는 상기 최대 디스패리티 값 및 상기 위치 정보를 이용하여, 상기 오디오 오브젝트의 상기 좌우 방향으로의 위치를 추정하고, 상기 추정된 위치에 근거하여 산출될 수 있다.
또한, 상기 깊이 정보는 상기 최대 또는 최소 디스패리티 값을 이용하여, 상기 오디오 오브젝트의 상기 전후 방향으로의 뎁스 값을 추정하고, 상기 추정된 뎁스 값에 근거하여 산출될 수 있다.
또한, 상기 고도감 정보는 상기 최대 디스패리티 값 및 상기 위치 정보를 이용하여, 상기 오디오 오브젝트의 상기 상하 방향으로의 위치를 추정하고, 상기 추정된 위치에 근거하여 산출될 수 있다.
또한, 상기 인덱스 예측부는 상기 오디오 오브젝트와 영상 오브젝트가 일치하지 않는 경우, 및 상기 오디오 오브젝트가 비효과음인 경우 중 적어도 하나의 경우, 상기 오디오 오브젝트의 입체감이 감소하도록 상기 인덱스 정보를 생성할 수 있다.
또한, 스테레오 오디오 신호를 입력받고, 상기 스테레오 오디오 신호에서 좌/우 신호 및 센터 채널 신호를 추출하며, 상기 추출된 신호들을 상기 랜더링 부로 전송하는 신호 추출부를 더 포함할 수 있다.
또한, 상기 인덱스 예측부는 상기 스테레오 오디오 신호 및 상기 좌/우 신호 및 센터 채널 신호 중 적어도 하나를 오디오 신호로써 입력받고, 상기 입력된 오디오 신호의 방향각 및 주파수 대역 별 에너지 중 적어도 하나를 분석하며, 상기 분석 결과에 근거하여 상기 효과음과 상기 비효과음을 구별하는 하는 음원 감지부, 상기 오디오 오브젝트와 영상 오브젝트가 일치하는지 여부를 판단하는 비교부, 및 상기 오디오 오브젝트와 상기 영상 오브젝트가 일치하지 않는 경우, 및 상기 오디오 오브젝트가 상기 비효과음인 경우 중 적어도 하나의 경우, 상기 오디오 오브젝트의 입체감이 감소하도록 상기 인덱스 정보를 생성하는 인덱스 생성부를 포함할 수 있다.
또한, 상기 음원 감지부는 상기 스테레오 오디오 신호 및 상기 좌/우 신호 및 센터 채널 신호 중 적어도 하나를 입력받고, 상기 스테레오 오디오 신호에 포함되는 오디오 오브젝트의 방향각을 추적하고, 상기 추적 결과에 근거하여 효과음과 상기 비효과음을 구별할 수 있다.
또한, 상기 음원 감지부는 추적된 상기 방향각의 변화량이 소정 값보다 크거나 같은 경우, 또는 추적된 상기 방향각이 좌우 방향으로 수렴하는 경우, 상기 오디오 오브젝트가 상기 효과음인 것으로 판단할 수 있다.
또한, 상기 음원 감지부는 추적된 상기 방향각의 변화량이 소정 값보다 작거나 같은 경우, 또는 상기 방향각이 중심 지점으로 수렴되는 경우, 상기 오디오 오브젝트가 정적 음원인 것으로 판단할 수 있다.
또한, 상기 음원 감지부는 상기 좌/우 신호와 상기 센터 채널 신호의 고주파수 영역의 에너지 비율을 분석하고, 상기 좌/우 신호의 에너지 비율이 상기 센터 채널 신호의 에너지 비율보다 낮은 경우, 상기 오디오 오브젝트가 상기 비효과음인 것으로 판단할 수 있다.
상기 음원 감지부는 상기 센터 채널 신호에 있어서, 음성 대역 주파수 구간과 비 음성 대역 주파수 구간의 에너지 비율을 분석하고, 상기 분석 결과에 근거하여 상기 오디오 오브젝트가 상기 비효과음인 음성 신호인지 여부를 판단할 수 있다.
또한, 상기 3차원 영상 정보는 일 영상 프레임 내에 존재하는 영상 오브젝트 별 디스패리티 값, 상기 영상 오브젝트의 위치 정보, 및 영상의 뎁스 맵 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 오디오 신호 처리 방법은 적어도 하나의 오디오 오브젝트를 포함하는 오디오 신호 및 3차원 영상 정보를 입력받는 단계, 상기 3차원 영상 정보에 근거하여 상기 오디오 오브젝트에, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서의 입체감을 부여하기 위한 정보인 인덱스 정보를 생성하는 단계, 및 상기 인덱스 정보에 근거하여 상기 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로 입체감을 부여하는 단계를 포함한다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치를 상세히 나타내는 일 도면이다.
도 3은 본 발명의 실시예에 따른 오디오 신호 처리 장치에서 이용되는 3차원 영상 정보를 설명하기 위한 일 도면이다.
도 4는 본 발명의 실시예에 따른 오디오 신호 처리 장치에서 이용되는 3차원 영상 정보를 설명하기 위한 다른 도면이다.
도 5는 본 발명의 실시예에 따른 오디오 신호 처리 장치에서 생성되는 인덱스 정보를 설명하기 위한 도면이다.
도 6은 도 1의 인덱스 예측부를 상세히 나타내는 일 도면이다.
도 7은 비 효과음을 설명하기 위한 일 도면이다.
도 8은 효과음을 설명하기 위한 일 도면이다.
도 9는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치를 설명하기 위한 플로우차트이다.
도 10은 도 9의 920 단계를 상세히 설명하는 일 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치를 상세히 설명한다.
먼저, 설명의 편의를 위하여 본 명세서에서 사용되는 용어를 간단하게 정의한다.
영상 오브젝트는 영상 신호 내에 포함된 사물이나, 사람, 동물, 식물등의 피사체를 지칭한다.
오디오 오브젝트는 오디오 신호에 포함된 음향 성분들 각각을 지칭한다. 하나의 오디오 신호에는 다양한 오디오 오브젝트가 포함될 수 있다. 예를 들어, 오케스트라의 공연 실황을 녹음하여 생성된 오디오 신호에는 기타, 바이올린, 오보에 등의 다수개의 악기로부터 발생한 다수개의 오디오 오브젝트가 포함된다.
음원은 오디오 오브젝트를 생성한 대상(예를 들면, 악기, 사람의 성대)을 지칭한다. 본 명세서에서는 오디오 오브젝트를 실제로 생성한 대상과 사용자가 오디오 오브젝트를 생성한 것으로 인식하는 대상을 모두 음원으로 지칭한다. 일 예로, 사용자가 영화를 시청하던 중 사과가 스크린으로부터 사용자 쪽으로 날라오고 있다면, 사과가 날아올 때 발생하는 소리가 오디오 신호에 포함될 것이다. 여기서, 사과가 날아올 때 발생하는 소리 자체가 오디오 오브젝트가 된다. 상기 오디오 오브젝트는 실제로 사과가 던져서 나는 소리를 녹음한 것일 수도 있고, 미리 녹음된 오디오 오브젝트를 단순히 재생하는 것일 수도 있다. 그러나, 어떤 경우라 하더라도 사용자는 사과가 상기 오디오 오브젝트를 발생시켰다고 인식할 것이므로, 사과 또한 본 명세서에서 정의하는 음원에 포함될 수 있다.
3차원 영상 정보는 영상을 3차원으로 디스플레이하기 위해서 필요한 정보를 포함한다. 예를 들어, 3차원 영상 정보는 영상의 뎁스(depth)를 표현할 수 있는 정보, 및 영상 오브젝트가 하나의 화면상에 위치하는 위치 정보 중 적어도 하나를 포함할 수 있다. 영상의 깊이를 표현할 수 있는 정보는 영상 오브젝트와 기준 위치간의 거리를 나타내는 정보이다. 기준 위치는 영상이 출력되는 디스플레이 장치의 표면일 수 있다. 구체적으로, 영상의 깊이를 표현할 수 있는 정보로는 영상 오브젝트의 디스패리티(disparity)가 포함될 수 있다. 여기서, 디스패리티는 양안의 시차인 좌안 영상과 우안 영상 간의 거리를 의미한다.
도 1은 본 발명의 일 실시예에 따른 오디오 신호 처리 장치를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(100)는 인덱스 예측부(110) 및 랜더링 부(150)를 포함한다.
인덱스 예측부(index estimation unit)(110)는 3차원 영상 정보를 입력받고, 3차원 영상 정보에 근거하여 오디오 오브젝트에 적용할 인덱스 정보를 생성한다. 3차원 영상 정보는 적어도 한 개의 영상 프레임 단위로 입력될 수 있다. 예를 들어, 24Hz의 영상의 경우 1초에 24개의 영상 프레임이 포함되며, 1초에 24 번의 영상 프레임 별 3차원 영상 정보가 입력될 수 있다. 또한, 3차원 영상 정보는 짝수 프레임마다 입력될 수 있으며, 상기 예에서는 1초에 12번의 영상 프레임별 3차원 영상 정보가 입력될 수 있다.
여기서, 인덱스 정보는 오디오 오브젝트에, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서 입체감을 부여하기 위한 정보이다. 인덱스 정보를 이용하면, 오디오 오브젝트 별로 최대 좌, 우, 상, 하, 전, 후 방향의 6 방향으로의 입체감을 표현할 수 있다. 인덱스 정보는 하나의 프레임에 포함되는 적어도 하나의 오디오 오브젝트에 대응되어 생성될 수 있다. 또한, 인덱스 정보는 하나의 프레임에서의 대표적인 오디오 오브젝트에 매칭되어 생성될 수 있다.
인덱스 정보는 이하에서 도 3 내지 도 5를 참조하여 상세히 설명한다.
랜더링 부(rendering unit)(150)는 인덱스 예측부(110)에서 생성된 인덱스 정보에 근거하여, 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로의 입체감을 부여한다.
도 2는 본 발명의 다른 실시예에 따른 오디오 신호 처리 장치를 상세히 나타내는 일 도면이다.
도 2를 참조하면, 오디오 신호 처리 장치(200)는 도 1의 오디오 신호 처리 장치(100)에 비하여, 신호 추출부(280) 및 믹싱부(290) 중 적어도 하나를 더 포함할 수 있다. 인덱스 예측부(210) 및 랜더링 부(250)는 각각 도 1의 인덱스 예측부(110) 및 랜더링 부(150)와 동일 대응되므로, 도 1에서와 중복되는 설명은 생략한다.
신호 추출부(280)는 스테레오 오디오 신호(Lin, Rin)를 입력받고, 스테레오 오디오 신호(Lin, Rin)에서 좌/우 영역에 대응되는 좌/우 신호(S_R/S_L) 및 중앙 영역에 대응되는 센터 채널 신호(S_C)를 분리한다. 그리고, 상기 분리된 신호들인 좌/우 신호(S_R/S_L) 및 센터 채널 신호(S_C)를 랜더링 부(250)로 전송한다. 여기서, 스테레오(stereo) 오디오 신호는 좌 채널(L-channel) 오디오 신호(Lin)와 우 채널(R_channel) 오디오 신호(Rin)를 포함할 수 있다.
구체적으로, 신호 추출부(280)는 좌 채널(L-channel) 오디오 신호(Lin)와 우 채널(R_channel) 오디오 신호(Rin) 간의 간섭도(coherence function)와 유사도(similarity function)를 이용하여 센터 채널 신호(S_C)를 생성할 수 있다. 그리고, 좌 채널(L-channel) 오디오 신호(Lin)와 우 채널(R_channel) 오디오 신호(Rin)에 대응되는 좌/우 신호(S_R/S_L)를 생성할 수 있다. 구체적으로, 좌/우 신호(S_R/S_L)는 입력된 스테레오 오디오 신호(Lin, Rin)에서 센터 채널 신호(S_C)의 일부 또는 전부를 감산하여 생성할 수 있다.
인덱스 예측부(210)는 3차원 영상 정보에 근거하여, 좌우 방향으로의 음향 확장감 정보, 전후 방향으로의 깊이 정보, 및 상하 방향으로의 고도감 정보 중 적어도 하나를 인덱스 정보로써 생성할 수 있다. 여기서, 음향 확장감 정보, 깊이 정보, 및 고도감 정보는 오디오 신호에 포함되는 오디오 오브젝트에 매칭되는 값으로 생성될 수 있다. 여기서, 인덱스 예측부(210)가 인덱스 정보를 생성하기 위해서 입력받는 오디오 신호는 신호 신호 추출부(280)에서 생성되는 좌/우 신호(S_R/S_L) 및 센터 채널 신호(S_C), 및 스테레오 오디오 신호(Lin, Rin) 중 적어도 하나를 포함할 수 있다.
인덱스 예측부(210)가 입력받는 3차원 영상 정보는 3차원 영상 프레임에 포함되는 영상 오브젝트에 입체감을 주기위한 정보이다. 구체적으로, 3차원 영상 정보는 영상 프레임 별로 최대 디스패리티 값, 최소 디스패리티 값 및 최대 또는 최소 디스패리티를 갖는 영상 오브젝트의 위치 정보 중 적어도 하나를 포함할 수 있다. 또한, 3차원 영상 정보는 영상 프레임 내의 주(main) 영상 오브젝트의 디스패리티 값 및 주 영상 오브젝트의 위치 정보 중 적어도 하나를 포함할 수 있다. 또는, 3차원 영상 정보는 영상의 뎁스 맵(depth map)을 포함할 수 있다.
또한, 영상 오브젝트의 위치 정보는 3차원 영상 정보가 프레임 별로 입력되는 경우, 일 프레임에 대응되는 하나의 화면을 적어도 하나로 분할한 서브 프레임에 대한 정보를 포함할 수 있다. 영상 오브젝트의 위치 정보는 도 3, 도 4 및 도 5를 참조하여 상세히 설명한다.
도 3은 본 발명의 실시예에 따른 오디오 신호 처리 장치에서 이용되는 3차원 영상 정보를 설명하기 위한 일 도면이다.
도 3을 참조하면, 일 프레임에 대응되는 하나의 화면(300)을 9개의 서브 프레임들로 분할한 경우를 예로 도시하였다. 영상 오브젝트의 위치 정보는 도시된 서브 프레임에 대한 정보로 표현될 수 있다. 예를 들어, 각각의 서브 프레임들에 대응되는 서브 프레임 번호, 예를 들어, 1 내지 9,를 할당하고, 영상 오브젝트가 위치한 영역에 해당하는 서브 프레임 번호를 영상 오브젝트의 위치 정보로 설정할 수 있다.
구체적으로, 영상 오브젝트가 서브 프레임 3 내에 위치한 경우 영상 오브젝트의 위치 정보는 'sub frame number = 3'과 같이 표현될 수 있으며, 영상 오브젝트가 서브 프레임 4, 5, 7 및 8에 걸쳐서 위치하는 경우 영상 오브젝트의 위치 정보는'sub frame number = 4, 5, 7, 8'와 같이 표현될 수 있다.
도 4는 본 발명의 실시예에 따른 오디오 신호 처리 장치에서 이용되는 3차원 영상 정보를 설명하기 위한 다른 도면이다.
인덱스 예측부(210)는 연속되는 프레임에 각각 대응되는 3차원 영상 정보를 입력받는다. 도 4의 (a)는 연속되는 프레임들 중 일 프레임에 대응되는 영상을 나타내며, 도 4의(b)는 연속되는 프레임들 중 일 프레임에 후속하는 프레임에 대응되는 영상을 나타낸다. 도 4의 (a) 및 (b) 에서는, 도 3에서 전술한 하나의 프레임을 16개의 서브 프레임으로 분할한 경우를 예로 들어 도시하였다. 도 4의 (a) 및 (b)에 도시된 영상 화면(410, 460)의 x 축은 영상의 좌우 방향을 나타내며, y 축은 영상의 상하 방향을 나타낸다. 또한, 서브 프레임은 'x_y' 값으로 나타낼 수 있다. 예를 들어, 도 4의 423 서브 프레임의 위치 값은 '3_3' 으로 표현될 수 있다.
디스패리티가 커질수록 양안 시차가 커져서 사용자는 물체가 가까이 있는 것으로 인식하게 되며, 디스패리티가 작아질수록 양안 시차가 작아져서 사용자는 물체가 멀리 있는 것으로 인식할 수 있다. 예를 들어, 2차원 영상의 경우 양안 시차가 존재하지 않아서 뎁스 값이 0 이 될 수 있다. 그리고, 사용자에게 가까이 있는 물체일수록 양안 시차가 커져서 큰 뎁스값을 가질 수 있다.
도 4의 (a)를 참조하면, 일 프레임에 대응되는 영상 화면(410)에 있어서, 영상 오브젝트(421)에 최대 디스패리티가 부여될 수 있으며, 영상 오브젝트(421)에 부여된 최대 디스패리티 값이 3차원 영상 정보에 포함될 수 있다. 또한, 최대 디스패리티 값을 갖는 영상 오브젝트(421)의 위치 정보인 소정 프레임(423)의 위치를 나타내는 정보, 예를 들어, 'sub frame number = 3_3', 가 3차원 영상 정보에 포함될 수 있다.
도 4의 (b)를 참조하면, 영상 화면(410)이 디스플레이되는 시점을 기준으로, 인접한 후속 시점에서 영상 화면(460)이 디스플레이 될 수 있다.
후속 프레임에 대응되는 영상 화면(460)에 있어서, 영상 오브젝트(471)에 최대 디스패리티가 부여될 수 있으며, 영상 오브젝트(471)에 부여된 최대 디스패리티 값이 3차원 영상 정보에 포함될 수 있다. 또한, 최대 디스패리티 값을 갖는 영상 오브젝트(471)의 위치 정보인 소정 서브 프레임들(473)을 나타내는 정보, 예를 들어, 'sub frame number = 2_2, 2_3, 3_2, 3_3', 가 3차원 영상 정보에 포함될 수 있다.
또한, 도 4의 (a)에 영상 오브젝트(421)가 후속 시점에서 영상 오브젝트(471)로 디스플레이 될 수 있다. 즉, 사용자는 연속하여 디스플레이되는 영상 화면들(410, 460) 통하여, 움직이는 자동차의 영상을 시청할 수 있다. 또한, 영상 오브젝트(471)인 자동차가 움직이면서 소리가 발생하게 되므로, 영상 오브젝트(471)인 자동차가 음원이 될 수 있다. 또한, 자동차가 움직이면서 발생하는 소리가 오디오 오브젝트가 된다.
인덱스 예측부(210)는 입력받은 3차원 영상 정보에 근거하여, 오디오 오브젝트에 대응되는 인덱스 정보를 생성한다. 인덱스 정보는 이하에서 도 5를 참조하여 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 오디오 신호 처리 장치에서 생성되는 인덱스 정보를 설명하기 위한 도면이다.
인덱스 정보는 전술한 바와 같이 음향 확장감 정보, 깊이 정보 및 고도감 정보 중 적어도 하나를 포함할 수 있다. 음향 확장감 정보는 영상 화면의 좌우 방향으로 오디오 오브젝트에 입체감을 부여하기 위한 정보이며, 깊이 정보는 영상 화면을 기준으로 전후 방향으로 오디오 오브젝트에 입체감을 부여하기 위한 정보이다. 또한, 고도감 정보는 영상 화면의 상하 방향으로 오디오 오브젝트에 입체감을 부여하기 위한 정보이다. 구체적으로, 좌우 방향은 도시된 x 축 방향이 되며, 상하 방향은 도시된 y 축 방향이 되고, 전후 방향은 도시된 z 축 방향이 될 수 있다.
도 5에 도시된 영상 화면(500)은 도 4의 (a)에 도시된 영상 화면(410)에 동일 대응된다. 또한, 점선으로 표시된 영상 오브젝트(530)는 도 4의 (b)에 도시된 영상 오브젝트(471)에 동일 대응된다. 도 4 및 5에 도시된 예와 같이, 자동차가 움직이면서 소리를 발생하는 영상의 경우, 일 프레임에서의 오디오 오브젝트는 영상 오브젝트(510)와 일치한다. 이하에서는, 오디오 오브젝트와 영상 오브젝트가 일치하는 경우, 인덱스 정보를 생성하는 동작을 상세히 설명한다.
음향 확장감 정보는 3차원 영상 정보에 포함되는 최대 디스패리티 값 및 영상 오브젝트의 위치 정보를 이용하여, 오디오 오브젝트의 좌우 방향으로의 위치를 추정하고, 추정된 위치에 근거하여 산출될 있다.
구체적으로, 3차원 영상 정보가 영상 오브젝트(510)의 최대 디스패리티 값 및 위치 정보를 포함하는 경우, 인덱스 예측부(210)는 3차원 영상 정보를 이용하여 영상 오브젝트(510)에 대응되는 오디오 오브젝트의 좌우 방향으로의 위치를 추정할 수 있다. 그리고, 추정된 위치에서 인식되는 오디오 오브젝트가 생성될 수 있도록 음향 확장감 정보를 생성한다. 예를 들어, 영상 오브젝트(510)의 좌우 방향으로의 위치가 X1 지점이므로, X1 지점에서 오디오 오브젝트가 생성될 수 있도록 음향 확장감 정보를 생성할 수 있다. 또한, 영상 오브젝트(510)의 최대 디스패리티 값을 고려하여, 영상 오브젝트(510)가 사용자로부터 얼마나 가까운 거리에 있는지 판단할 수 있다. 따라서, 사용자로부터의 거리가 가까워질수록 오디오 출력 또는 소리의 크기가 증가하도록 음향 확장감 정보를 생성할 수 있다.
도 5의 예에서와 같이, 오디오 오브젝트에 대응되는 영상 오브젝트(510)가 영상 화면(500)의 우측에 배치되는 경우, 인덱스 예측부(210)는 좌 채널(left channel)의 신호에 비하여 우 채널(right channel)의 신호가 증폭되어 출력되도록 음향 확장감 정보를 생성한다.
깊이 정보는 3차원 영상 정보에 포함되는 최대 또는 최소 디스패리티 값을 이용하여 오디오 오브젝트의 전후 방향으로의 뎁스 값을 추정하고, 상기 추정된 뎁스 값에 근거하여 산출될 수 있다.
인덱스 예측부(210)는 오디오 오브젝트의 뎁스 값을 영상 오브젝트의 뎁스 값에 비례하여 설정할 수 있다.
구체적으로, 3차원 영상 정보가 영상 오브젝트(510)의 최대 또는 최소 디스패리티 값을 포함하는 경우, 인덱스 예측부(210)는 3차원 영상 정보를 이용하여 영상 오브젝트(510)에 대응되는 오디오 오브젝트의 깊이 정보, 즉 뎁스,를 추정할 수 있다. 그리고, 추정된 오디오 오브젝트의 뎁스값에 따라서, 오디오 출력 또는 소리 크기가 증가하도록 깊이 정보를 생성할 수 있다.
고도감 정보는 3차원 영상 정보에 포함되는 최대 디스패리티 값 및 위치 정보를 이용하여, 영상 오브젝트(510)에 대응되는 오디오 오브젝트의 상하 방향으로의 위치를 추정하고, 추정된 위치에 근거하여 산출될 수 있다.
구체적으로, 3차원 영상 정보가 영상 오브젝트(510)의 최대 디스패리티 값 및 위치 정보를 포함하는 경우, 인덱스 예측부(210)는 3차원 영상 정보를 이용하여 영상 오브젝트(510)에 대응되는 오디오 오브젝트의 상하 방향으로의 위치를 추정할 수 있다. 그리고, 추정된 위치에서 인식되는 오디오 오브젝트가 생성될 수 있도록 고도감 정보를 생성한다.
예를 들어, 영상 오브젝트(510)의 상하 방향으로의 위치가 Y1 지점이므로, Y1 지점에서 오디오 오브젝트가 생성될 수 있도록 고도감 정보를 생성할 수 있다. 또한, 영상 오브젝트(510)의 최대 디스패리티 값을 고려하여, 영상 오브젝트(510)가 사용자로부터 얼마나 가까운 거리에 있는지 판단할 수 있다. 따라서, 사용자로부터의 거리가 가까워질수록 오디오 출력 또는 소리 크기가 증가하도록 고도감 정보를 생성할 수 있다.
랜더링 부(250)는 입력되는 좌/우 신호(S_R/S_L) 및 센터 채널 신호(S_C)들 별로, 오디오 신호에 포함되는 오디오 오브젝트에 입체감을 부여할 수 있다. 구체적으로, 랜더링 부(250)는 고도 랜더링 부(elevation rendering unit)(251) 및 패닝 및 뎁스 제어부(panning and depth control unit)(253)를 포함할 수 있다.
고도 랜더링 부(250)는 인덱스 생성부(210)에서 생성된 인덱스 정보에 근거하여, 오디오 오브젝트가 소정 고도에 정위될 수 있도록, 오디오 오브젝트를 포함하는 오디오 신호를 생성할 수 있다. 구체적으로, 고도 랜더링 부(250)는 인덱스 정보에 포함되는 고도감 정보에 근거하여, 오디오 오브젝트의 상하 방향 위치에 따라서, 오디오 신호가 가상 고도감을 재현할 수 있도록 오디오 신호를 생성한다.
예를 들어, 고도 랜더링 부(250)는 오디오 오브젝트에 대응되는 영상 오브젝트가 영상 화면의 상단에 위치하는 경우 상단 위치까지 고도감을 재현하며, 오디오 오브젝트에 대응되는 영상 오브젝트가 영상 화면의 하단에 위치하는 경우 하단 위치까지 고도감을 재현할 수 있다. 또한, 고도 랜더링 부(250)는 영상 오브젝트가 영상 화면의 중간에서 위쪽으로 계속하여 이동하는 경우, 고도감 효과를 강조하기 위해서 영상 화면의 위쪽을 넘어서까지 가상 고도감을 재현할 수 있다.
또한, 가상 고도감을 재현하기 위해서, 고도 랜더링 부(250)는 머리 전달 함수(HRTF: head related transfer function)를 이용하여 오디오 신호를 랜더링할 수 있다.
패닝 및 뎁스 제어부(253)는 인덱스 생성부(210)에서 생성된 인덱스 정보에 근거하여, 오디오 오브젝트가 좌우 방향으로의 소정 지점에 정위되고 소정 뎁스를 갖도록, 오디오 오브젝트를 포함하는 오디오 신호를 생성할 수 있다. 구체적으로, 패닝 및 뎁스 제어부(253)는 인덱스 정보에 포함되는 음향 확장감 정보 및 깊이 정보에 근거하여, 사용자가 좌우 방향으로의 소정 지점에 위치하며 뎁스 값에 대응되는 오디오 출력 또는 소리 크기를 인식할 수 있도록, 오디오 신호를 생성할 수 있다.
예를 들어, 영상 오브젝트(510)에 대응되는 오디오 오브젝트의 깊이 값이 큰 경우, 사용자로부터 가깝게 위치하는 소리가 된다. 따라서, 패닝 및 뎁스 제어부(253)는 전술한 예에서 오디오 신호의 출력을 증가시킬 수 있다. 또는, 영상 오브젝트(510)에 대응되는 오디오 오브젝트의 깊이 값이 작은 경우, 사용자로부터 멀리 위치하는 소리가 된다. 따라서, 패닝 및 뎁스 제어부(253)는 전술한 예에서 사용자가 먼 곳에서 발생하는 소리를 인식할 수 있도록, 오디오 신호의 초기 반사음(early reflection)을 조절하거나, 잔향(reverberation)을 조절할 수 있다.
또한, 패닝 및 뎁스 제어부(253)는 음향 확장감 정보에 근거하여 판단하였을 때, 영상 오브젝트에 대응되는 오디오 오브젝트의 위치가 좌 또는 우 측에 배치되는 경우, 좌 채널(left channel)의 신호 또는 우 채널(right channel)의 신호가 증폭되어 출력되도록, 오디오 신호를 랜더링 한다.
또한, 도 5를 참조하면, 영상 오브젝트(510)를 포함하는 일 프레임에 후속하여 영상 오브젝트(530)를 포함하는 다른 프레임이 출력된다. 그에 대응되어, 랜더링 부(250)는 연속되는 오디오 프레임들에 대응되는 오디오 신호를 랜더링한다. 도 5의 예에서, 영상 오브젝트(510, 530)인 자동차는 영상 화면(500)의 우측 상단에서 좌측 하단으로 이동하며, 그에 따라서 오디오 오브젝트 또한 우측 상단에서 좌측 하단으로 이동하게 된다. 랜더링 부(250)가 프레임 별로 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향으로 입체감을 부여할 수 있다. 그에 따라서, 사용자는 512 방향과 같이 위에서 아래로 떨어지는 소리, 511 방향과 같이 우측에서 좌측으로 이동하는 소리, 및 뒤에서 앞으로 튀어나오는 소리를 인식할 수 있게 된다.
도 6은 도 1의 인덱스 예측부를 상세히 나타내는 일 도면이다. 도 6에 도시된 인덱스 예측부(610)는 도 1의 인덱스 예측부(110) 또는 도 2의 인덱스 예측부(210)에 대응될 수 있다. 따라서, 도 1 및 도 2에서와 중복되는 설명은 생략한다.
인덱스 예측부(610)는 오디오 오브젝트와 영상 오브젝트가 일치하지 않는 경우, 및 오디오 오브젝트가 비효과음인 경우 중 적어도 하나의 경우, 오디오 오브젝트의 입체감이 감소하도록 인덱스 정보를 생성할 수 있다.
구체적으로, 오디오 오브젝트가 영상 오브젝트와 일치하는 않는 경우는, 영상 오브젝트가 소리를 발생시키지 않는 경우이다. 도 4 및 5의 예에서와 같이, 영상 오브젝트가 자동차인 경우, 영상 오브젝트 자체가 소리를 발생시키는 오디오 오브젝트와 일치하게 된다. 또 다른 예로, 사람이 손을 흔드는 영상의 경우, 영상 오브젝트는 사람의 손이 된다. 그러나 사람의 손이 흔들릴 때 어떠한 소리가 발생하는 것은 아니므로, 이러한 경우 영상 오브젝트와 오디오 오브젝트는 불일치하며, 인덱스 예측부(610)는 오디오 오브젝트의 입체감이 최소화되도록 인덱스 정보를 생성한다. 구체적으로, 깊이 정보에서 뎁스 값은 기본 오프셋값으로 설정하며, 음향 확장감 정보는 좌 및 우 채널에서 출력되는 오디오 신호의 크기가 동일해지도록 설정될 수 있다. 또한, 고도감 정보는 상측 및 우측 위치를 고려하지 않고 소정 오프셋 고도에 대응되는 오디오 신호가 출력되도록 설정될 수 있다.
또한, 오디오 오브젝트가 비효과음인 경우는 오디오 오브젝트의 위치 변화량이 작은 경우와 같은 정적 음원인 경우가 있다. 예를 들어, 사람의 음성, 고정된 위치에서 연주되는 피아노 반주음, 또는 배경 음악 등은 정적 음원이며 발생 위치가 급격히 변화하지 않는다. 따라서, 이러한 비효과음의 경우에는 입체감이 최소화되도록 인덱스 정보를 생성한다. 비효과음과 효과음은 이하에서 도 7 및 도 8을 참조하여 상세히 설명한다.
도 6을 참조하면, 인덱스 예측부(210)는 음원 감지부(620), 비교부(630), 및 인덱스 생성부(640)를 포함할 수 있다.
음원 감지부(620)는 스테레오 오디오 신호(Lin, Rin) 및 좌/우 신호(S_R/S_L) 및 센터 채널 신호(S_C) 중 적어도 하나를 오디오 신호로써 입력받고, 상기 입력된 오디오 신호의 방향각 또는 방향 벡터 및 주파수 대역 별 에너지 중 적어도 하나를 분석하고, 상기 분석 결과에 근거하여 상기 효과음과 상기 비효과음을 구별할 수 있다.
비교부(630)는 오디오 오브젝트와 영상 오브젝트가 일치하는지 여부를 판단한다.
인덱스 생성부(640)는 오디오 오브젝트와 영상 오브젝트가 일치하지 않는 경우, 및 오디오 오브젝트가 비효과음인 경우 중 적어도 하나의 경우, 오디오 오브젝트의 입체감이 감소하거나 최소화도록 인덱스 정보를 생성한다.
도 7은 비 효과음을 설명하기 위한 일 도면이다. 도 7의 (a)는 비효과음을 생성하는 오디오 오브젝트와 그에 대응되는 좌우각 및 글로벌 앵글을 설명하기 위한 도면이다. 도 7의 (b)는 시간의 경과에 따른, 비효과음에 대응되는 오디오 신호의 파형 변화를 나타낸다. 그리고, 도 7의 (c)는 프레임 번호에 따른 비효과음의 글로벌 앵글 변화를 나타낸다.
도 7의 (a)를 참조하면, 비 효과음으로는 사람(732)의 음성, 또는 악기(722, 726)의 소리 등을 예로 들 수 있다.
이하에서는 비효과음이 발생하는 방향의 각도를 좌우각(panning angle)이라 할 수 있다. 그리고, 비효과음이 수렴되는 각도를 글로벌 앵글(global angle)이라 할 수 있다. 도 7의 (a)를 참조하면, 음원이 악기(722, 726)에서 발생되는 음악인 경우, 글로벌 앵글은 중심 지점(C)으로 수렴된다. 즉, 사용자가 기타(722) 소리를 듣는 경우, 중심 지점(C)에서 721 방향으로 형성되는 좌우각을 갖는 정적 음원(static source)을 인식한다. 또한, 사용자가 피아노(726) 소리를 듣는 경우, 중심 지점(C)에서 725 방향으로 형성되는 좌우각을 갖는 정적 음원(static source)을 인식한다.
음원의 좌우각 및 글로벌 앵글은 오디오 오브젝트를 포함하는 오디오 신호의 방향 벡터(direction vector)를 이용하여 추정할 수 있다. 상기 좌우각 및 글로벌 앵글의 추정은 이하에서 설명할 각 추척부(621)에서 수행될 수 있으며, 또는 오디오 신호 처리 장치(100, 200) 내의 컨트롤러(controller)(미도시)에서 수행될 수 있다. 또한, 비효과음의 경우, 좌우각의 변화량 및 글로벌 앵글의 변화량이 작다.
도 7의 (b)를 참조하면, x 축은 오디오 신호의 샘플링 수(sampling number)를 나타내며, y 축은 오디오 신호의 파형(waveform)을 나타낸다. 비효과음의 경우 악기에서 출력되는 소리의 강약에 따라서, 오디오 신호의 진폭이 일정 구간동안 감소 또는 증가되게 된다. 751 부분은 악기에서 소리가 강하게 출력되는 경우에 대응되는 오디오 신호의 파형이 될 수 있다.
도 7의 (c)를 참조하면, x 축은 오디오 신호의 프레임 수(frame number)를 나타내며, y 축은 글로벌 앵글을 나타낸다. 도 7의 (c)를 참조하면, 악기의 소리 또는 음성과 같은 비효과음은 글로벌 앵글의 변화량이 작다. 즉, 음원이 정적이어서, 사용자는 급격하게 변화하지 않는 오디오 오브젝트를 인식하게 된다.
도 8은 효과음을 설명하기 위한 일 도면이다. 도 8의 (a)는 효과음을 생성하는 오디오 오브젝트 및 그에 대응되는 좌우각 및 글로벌 앵글을 설명하기 위한 도면이다. 도 8의 (b)는 시간의 경과에 따른, 효과음에 대응되는 오디오 신호의 파형 변화를 나타낸다. 그리고, 도 8의 (c)는 프레임 번호에 따른 효과음의 글로벌 앵글 변화를 나타낸다.
도 8의 (a)를 참조하면, 효과음으로는 오디오 오브젝트가 지속적으로 이동하면서 발생하는 소리가 있다. 예를 들어, 811 지점에 위치했던 비행기가 소정 방향(813)으로 이동해 812 지점에 위치하는 동안 발생하는 소리가 있다. 즉, 비행기, 자동차 등의 오디오 오브젝트가 움직이면서 발생하는 소리 등이 있다.
도 8의 (a)를 참조하면, 비행기가 이동하면서 발생하는 소리와 같은 효과음의 경우, 글로벌 앵글은 도시된 813 방향과 같이 이동하게 된다. 즉, 효과음의 경우 글로벌 앵글이 소정 중심 지점이 아닌 좌우 방향의 주위(surround)를 향한다. 따라서 사용자가 효과음을 듣는 경우, 좌우로 이동하는 동적 음원(dynamic source)을 인식한다.
도 8의 (b)를 참조하면, x 축은 오디오 신호의 샘플링 수(sampling number)를 나타내며, y 축은 오디오 신호의 파형(waveform)을 나타낸다. 효과음의 경우, 오디오 오브젝트에서 발생되는 소리의 강약 변화가 적으며, 오디오 신호의 진폭 변화가 실시간으로 나타나게 된다. 즉, 도 7의 (b)의 경우와 달리, 진폭이 전체적으로 커지는 구간 또는 진폭이 전체적으로 감소하는 구간이 존재하지 않는다.
도 8의 (c)를 참조하면, x 축은 오디오 신호의 프레임 수(frame number)를 나타내며, y 축은 글로벌 앵글을 나타낸다. 도 8의 (c)를 참조하면, 효과음은 글로벌 앵글의 변화량이 크다. 즉, 음원이 동적이어서, 사용자는 변화하는 오디오 오브젝트를 인식하게 된다.
구체적으로, 음원 감지부(620)는 스테레오 오디오 신호(Lin, Rin)를 입력받고, 스테레오 오디오 신호(Lin, Rin)에 포함되는 오디오 오브젝트의 방향각을 추적하고, 상기 추적 결과에 근거하여 효과음과 비효과음을 구별할 수 있다. 여기서, 방향각은 전술한 글로벌 앵글 또는 좌우각 등이 될 수 있다.
구체적으로, 음원 감지부(620)는 각 추적부(angle tracking unit)(621) 및 정적 소스 감지부(static source detection unit)(623)를 포함할 수 있다.
각 추적부(621)는 연속되는 오디오 프레임에 포함되는 오디오 오브젝트의 방향각을 추적한다. 여기서, 방향각은 전술한 글로벌 앵글, 좌우각, 및 전후각 중 적어도 하나를 포함할 수 있다. 그리고, 추적된 결과를 정적 소스 감지부(623)로 통지한다.
구체적으로, 각 추적부(621)는 스테레오 오디오 신호에서 좌 채널(L-channel)의 스테레오 오디오 신호와 우 채널( R-channel)의 스테레오 오디오 신호 간의 에너지 비율에 의해서 좌 우 방향에서의 방향각을 추적할 수 있다. 또는, 각 추적부(621)는 좌/우 신호(S_R/S_L) 및 센터 채널 신호(S_C) 간의 에너지 비율에 의해서 앞 뒤(front-back) 방향에서의 방향각인 전후각을 추적할 수 있다.
정적 소스 감지부(623)는 각 추적부(621)의 추적 결과에 근거하여, 비효과음과 효과음을 구별한다.
구체적으로, 정적 소스 감지부(623)는 각 추적부(621)에서 추적된 방향각이 도 7의 (a)에서 도시된 바와 같이 중심 지점으로 수렴하는 경우, 또는 추적된 상기 방향각의 변화량이 소정 값보다 작거나 같은 경우, 오디오 오브젝트가 비효과음인 것으로 판단할 수 있다.
또한, 정적 소스 감지부(623)는 각 추적부(621)에서 추적된 방향각이 도 8의 (a)에서 도시된 바와 같이 좌우 방향으로 수렴하는 경우, 또는 추적된 상기 방향각의 변화량이 소정 값보다 크거나 같은 경우, 오디오 오브젝트가 효과음인 것으로 판단할 수 있다.
또한, 정적 소스 감지부(623)는 좌/우 신호(S_R/S_L) 및 센터 채널 신호(S_C) 간의 고주파수 영역의 에너지 비율을 분석하고, 좌/우 신호(S_R/S_L)의 에너지 비율이 센터 채널 신호(S_C)의 에너지 비율보다 낮은 경우, 오디오 오브젝트가 상기 비효과음인 것으로 판단할 수 있다. 또한, 좌/우 신호(S_R/S_L)의 에너지 비율이 센터 채널 신호(S_C)의 에너지 비율보다 높은 경우, 오디오 오브젝트가 좌 또는 우측으로 이동하는 것으로 판단할 수 있으므로, 이 경우에는 효과음인 경우로 판단할 수 있다.
또한, 정적 소스 감지부(623)는 센터 채널 신호(S_C)에 있어서, 음성 대역 주파수 구간과 비 음성 대역 주파수 구간의 에너지 비율을 분석하고, 상기 분석 결과에 근거하여 오디오 오브젝트가 비효과음인 음성 신호인지 여부를 판단할 수 있다.
또한, 비교부(630)는 각 추적부(621)에서 산출된 방향에 따라서 오디오 오브젝트의 좌 또는 우의 위치를 판단한다. 그리고, 오디오 오브젝트의 위치를 3차원 영상 정보에 포함되는 영상 오브젝트의 위치 정보와 비교하여, 일치 여부를 판단한다. 비교부(630)는 영상 오브젝트와 오디오 오브젝트의 위치가 일치하는지 여부에 대한 정보를 인덱스 생성부(640)로 전송한다.
인덱스 생성부(640)는 음원 감지부(620) 및 비교부(630)에서 전송되는 결과에 따라서, 효과음인 경우 및 영상 오브젝트와 오디오 오브젝트가 일치하는 경우 중 적어도 하나에는 오디오 오브젝트에 전술한 6방향으로의 입체감이 증가되도록 인덱스 정보를 생성한다. 그리고, 비효과음인 경우 및 영상 오브젝트와 오디오 오브젝트가 일치하지 않는 경우 중 적어도 하나에는 오디오 오브젝트에 입체감을 부여하지 않거나, 기본 오프셋 값에 따른 입체감이 부여되도록 인덱스 정보를 생성한다.
전술한 바와 같이, 본 발명의 실시예에 따른 오디오 신호 처리 장치는 영상 화면의 입체감 변화에 대응되어 입체감을 갖는 오디오 신호를 생성할 수 있다. 그에 따라서, 사용자가 소정 영상 및 오디오를 같이 시청하는 경우, 최대한의 입체감 효과를 느낄 수 있도록 할 수 있다.
또한, 본 발명의 실시예에 따른 오디오 신호 처리 장치는 6방향으로의 입체감을 갖는 오디오 오브젝트를 생성할 수 있다. 그에 따라서, 오디오 신호의 입체감을 향상시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치를 설명하기 위한 플로우차트이다. 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은 도 1 내지 도 8을 참조하여 설명한 본 발명에 따른 오디오 신호 처리 장치와 그 동작 구성이 동일하다. 따라서, 도 1 내지 도 8에서와 중복되는 설명은 생략한다. 또한, 본 발명의 일 실시예에 따른 오디오 신호 처리 방법은 도 1, 도 2 및 도 6의 오디오 신호 처리 장치를 참조하여 설명한다.
본 발명의 일 실시예에 따른 오디오 신호 처리 방법(900)은 적어도 하나의 오디오 오브젝트를 포함하는 오디오 신호 및 3차원 영상 정보를 입력받는다(910 단계). 910 단계의 동작은 인덱스 예측부(110, 210)에서 수행될 수 있다.
910 단계에서 입력받은 3차원 영상 정보에 근거하여 상기 오디오 오브젝트 별로, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서의 입체감을 부여하기 위한 정보인 인덱스 정보를 생성한다(920 단계). 920 단계의 동작은 인덱스 예측부(110, 210)에서 수행될 수 있다.
920 단계에서 생성된 인덱스 정보에 근거하여, 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로의 입체감을 부여한다(930 단계). 930 단계의 동작은 랜더링 부(150, 250)에서 수행될 수 있다.
도 10은 도 9의 920 단계를 상세히 설명하는 일 도면이다. 920 단계는 도 10에 도시된 1020 단계와 동일 대응된다. 이하, 1020 단계는 오디오 신호를 랜더링하는 단계라 칭한다.
오디오 신호를 랜더링 하는 단계(1020)는 도시된 1021, 1022 및 1023 단계를 포함한다.
구체적으로, 오디오 오브젝트와 영상 오브젝트가 불일치하는 경우, 및 오디오 오브젝트가 비효과음인 경우 중 적어도 하나의 경우에 해당하는지 여부를 판단한다(1021 단계). 1021 단계의 동작은 인덱스 예측부(110, 210, 610), 구체적으로, 음원 감지부(620) 또는 비교부(630) 중 적어도 하나,에서 수행될 수 있다.
1021 단계의 판단 결과 상기 적어도 하나의 경우에 해당하면, 오디오 오브젝트의 입체감이 감소하도록 인덱스 정보를 생성한다(1022 단계). 1021 단계의 동작은 인덱스 예측부(110, 210, 610), 구체적으로, 인덱스 생성부(640),에서 수행될 수 있다.
1021 단계의 판단 결과 상기 적어도 하나의 경우에 해당하지 않으면, 오디오 오브젝트가 좌우, 상하, 전후 방향의 6방향 중 적어도 하나의 방향으로 입체감을 갖도록 인덱스 정보를 생성한다(1023 단계). 1023 단계의 동작은 인덱스 예측부(110, 210, 610), 구체적으로, 인덱스 생성부(640),에서 수행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100, 200: 오디오 신호 처리 장치
110, 210, 610: 인덱스 예측부
150, 250: 랜더링 부
251: 고도 랜더링 부
253: 패닝 및 뎁스 제어부
280: 신호 분리부
290: 믹싱 제어부
620: 음원 감지부

Claims (21)

  1. 3차원 영상 정보를 입력받고, 상기 3차원 영상 정보에 근거하여 오디오 오브젝트에, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서 입체감을 부여하기 위한 정보인 인덱스 정보를 생성하는 인덱스 예측부; 및
    상기 인덱스 정보에 근거하여 상기 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로의 입체감을 부여하는 랜더링 부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  2. 제1항에 있어서, 상기 인덱스 예측부는
    상기 좌우 방향으로의 음향 확장감 정보, 상기 전후 방향으로의 깊이 정보, 및 상기 상하 방향으로의 고도감 정보 중 적어도 하나를 포함하는 상기 인덱스 정보를 생성하는 것을 특징으로 하는 오디오 신호 처리 장치.
  3. 제1항에 있어서, 상기 3차원 영상 정보는
    영상 프레임 별로 최대 디스패리티 값, 최소 디스패리티 값 및 상기 최대 또는 최소 디스패리티를 갖는 영상 오브젝트의 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 출력장치.
  4. 제3항에 있어서, 상기 영상 오브젝트의 위치 정보는
    상기 3차원 영상 정보가 상기 영상 프레임 별로 입력되는 경우, 상기 일 프레임에 대응되는 하나의 영상 화면을 적어도 하나로 분할한 서브 프레임에 대한 정보를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  5. 제4항에 있어서, 상기 음향 확장감 정보는
    상기 최대 디스패리티 값 및 상기 위치 정보를 이용하여, 상기 오디오 오브젝트의 상기 좌우 방향으로의 위치를 추정하고, 상기 추정된 위치에 근거하여 산출되는 것을 특징으로 하는 오디오 신호 처리 장치.
  6. 제4항에 있어서, 상기 깊이 정보는
    상기 최대 또는 최소 디스패리티 값을 이용하여, 상기 오디오 오브젝트의 상기 전후 방향으로의 뎁스 값을 추정하고, 상기 추정된 뎁스 값에 근거하여 산출되는 것을 특징으로 하는 오디오 신호 처리 장치.
  7. 제4항에 있어서, 상기 고도감 정보는
    상기 최대 디스패리티 값 및 상기 위치 정보를 이용하여, 상기 오디오 오브젝트의 상기 상하 방향으로의 위치를 추정하고, 상기 추정된 위치에 근거하여 산출되는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제1항에 있어서, 상기 인덱스 예측부는
    상기 오디오 오브젝트와 영상 오브젝트가 일치하지 않는 경우, 및 상기 오디오 오브젝트가 비효과음인 경우 중 적어도 하나의 경우, 상기 오디오 오브젝트의 입체감이 감소하도록 상기 인덱스 정보를 생성하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제1항에 있어서,
    스테레오 오디오 신호를 입력받고, 상기 스테레오 오디오 신호에서 좌/우 신호 및 센터 채널 신호를 추출하며, 상기 추출된 신호들을 상기 랜더링 부로 전송하는 신호 추출부를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제9항에 있어서, 상기 인덱스 예측부는
    상기 스테레오 오디오 신호 및 상기 좌/우 신호 및 센터 채널 신호 중 적어도 하나를 오디오 신호로써 입력받고, 상기 입력된 오디오 신호의 방향각 및 주파수 대역 별 에너지 중 적어도 하나를 분석하며, 상기 분석 결과에 근거하여 상기 효과음과 상기 비효과음을 구별하는 하는 음원 감지부;
    상기 오디오 오브젝트와 영상 오브젝트가 일치하는지 여부를 판단하는 비교부; 및
    상기 오디오 오브젝트와 상기 영상 오브젝트가 일치하지 않는 경우, 및 상기 오디오 오브젝트가 상기 비효과음인 경우 중 적어도 하나의 경우, 상기 오디오 오브젝트의 입체감이 감소하도록 상기 인덱스 정보를 생성하는 인덱스 생성부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  11. 제10항에 있어서, 상기 음원 감지부는
    상기 스테레오 오디오 신호 및 상기 좌/우 신호 및 센터 채널 신호 중 적어도 하나를 입력받고, 상기 스테레오 오디오 신호에 포함되는 오디오 오브젝트의 방향각을 추적하고, 상기 추적 결과에 근거하여 효과음과 상기 비효과음을 구별하는 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제11항에 있어서, 상기 음원 감지부는
    추적된 상기 방향각의 변화량이 소정 값보다 크거나 같은 경우, 또는 추적된 상기 방향각이 좌우 방향으로 수렴하는 경우, 상기 오디오 오브젝트가 상기 효과음인 것으로 판단하는 것을 특징으로 하는 오디오 신호 처리 장치.
  13. 제11항에 있어서, 상기 음원 감지부는
    추적된 상기 방향각의 변화량이 소정 값보다 작거나 같은 경우, 또는 상기 방향각이 중심 지점으로 수렴되는 경우, 상기 오디오 오브젝트가 정적 음원인 것으로 판단하는 것을 특징으로 하는 오디오 신호 처리 장치.
  14. 제10항에 있어서, 상기 음원 감지부는
    상기 좌/우 신호와 상기 센터 채널 신호의 고주파수 영역의 에너지 비율을 분석하고, 상기 좌/우 신호의 에너지 비율이 상기 센터 채널 신호의 에너지 비율보다 낮은 경우, 상기 오디오 오브젝트가 상기 비효과음인 것으로 판단하는 것을 특징으로 하는 오디오 신호 처리 장치.
  15. 제10항에 있어서, 상기 음원 감지부는
    상기 센터 채널 신호에 있어서, 음성 대역 주파수 구간과 비 음성 대역 주파수 구간의 에너지 비율을 분석하고, 상기 분석 결과에 근거하여 상기 오디오 오브젝트가 상기 비효과음인 음성 신호인지 여부를 판단하는 것을 특징으로 하는 오디오 신호 처리 장치.
  16. 제1항에 있어서, 상기 3차원 영상 정보는
    일 영상 프레임 내에 존재하는 영상 오브젝트 별 디스패리티 값, 상기 영상 오브젝트의 위치 정보, 및 영상의 뎁스 맵 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  17. 적어도 하나의 오디오 오브젝트를 포함하는 오디오 신호 및 3차원 영상 정보를 입력받는 단계;
    상기 3차원 영상 정보에 근거하여 상기 오디오 오브젝트에, 좌우 방향, 상하 방향, 및 전후 방향 중 적어도 하나의 방향에서의 입체감을 부여하기 위한 정보인 인덱스 정보를 생성하는 단계; 및
    상기 인덱스 정보에 근거하여 상기 오디오 오브젝트에 좌우 방향, 상하 방향 및 전후 방향 중 적어도 하나의 방향으로 입체감을 부여하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  18. 제17항에 있어서, 상기 인덱스 정보를 생성하는 단계는
    상기 좌우 방향으로의 음향 확장감 정보, 상기 전후 방향으로의 깊이 정보, 및 상기 상하 방향으로의 고도감 정보 중 적어도 하나를 포함하는 상기 인덱스 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  19. 제18항에 있어서, 상기 인덱스 정보를 생성하는 단계는
    상기 최대 디스패리티 값 및 상기 위치 정보를 이용하여, 상기 오디오 오브젝트의 상기 좌우 방향으로의 위치를 추정하고, 상기 추정된 위치에 근거하여 상기 좌우 방향에서의 인덱스 정보를 생성하는 단계;
    상기 최대 디스패리티 값 및 최소 디스패리티 값을 이용하여, 상기 오디오 오브젝트의 상기 전후 방향으로의 뎁스 값을 추정하고, 상기 추정된 뎁스 값에 근거하여 상기 전후 방향으로의 인덱스 정보를 생성하는 단계; 및
    상기 최대 디스패리티 값 및 상기 위치 정보를 이용하여, 상기 오디오 오브젝트의 상기 상하 방향으로의 위치를 추정하고, 상기 추정된 위치에 근거하여 상기 상하 방향으로의 인덱스 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  20. 제17항에 있어서,
    상기 오디오 오브젝트와 영상 오브젝트가 일치하는지 판단하는 단계를 더 포함하며,
    상기 인덱스 정보를 생성하는 단계는
    상기 오디오 오브젝트와 상기 영상 오브젝트가 일치하지 않는 경우, 상기 오디오 오브젝트의 입체감이 감소하도록 상기 인덱스 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  21. 제17항에 있어서,
    상기 오디오 오브젝트가 비효과음인지 판단하는 단계를 더 포함하며,
    상기 인덱스 정보를 생성하는 단계는
    상기 오디오 오브젝트가 상기 비효과음인 경우, 상기 오디오 오브젝트의 입체감이 감소하도록 상기 인덱스 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
KR1020110076148A 2011-07-29 2011-07-29 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치 KR101901908B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110076148A KR101901908B1 (ko) 2011-07-29 2011-07-29 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
CN201280048236.1A CN103858447B (zh) 2011-07-29 2012-07-26 用于处理音频信号的方法和设备
JP2014523837A JP5890523B2 (ja) 2011-07-29 2012-07-26 オーディオ信号処理装置及びオーディオ信号処理方法
EP12819640.9A EP2737727B1 (en) 2011-07-29 2012-07-26 Method and apparatus for processing audio signals
PCT/KR2012/005955 WO2013019022A2 (en) 2011-07-29 2012-07-26 Method and apparatus for processing audio signal
US13/561,645 US9554227B2 (en) 2011-07-29 2012-07-30 Method and apparatus for processing audio signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110076148A KR101901908B1 (ko) 2011-07-29 2011-07-29 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치

Publications (2)

Publication Number Publication Date
KR20130014187A true KR20130014187A (ko) 2013-02-07
KR101901908B1 KR101901908B1 (ko) 2018-11-05

Family

ID=47597241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110076148A KR101901908B1 (ko) 2011-07-29 2011-07-29 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치

Country Status (6)

Country Link
US (1) US9554227B2 (ko)
EP (1) EP2737727B1 (ko)
JP (1) JP5890523B2 (ko)
KR (1) KR101901908B1 (ko)
CN (1) CN103858447B (ko)
WO (1) WO2013019022A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128567A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717787B1 (ko) * 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9892743B2 (en) * 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
BR112015024692B1 (pt) * 2013-03-29 2021-12-21 Samsung Electronics Co., Ltd Método de provisão de áudio realizado por um aparelho de áudio, e aparelho de áudio
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof
US10187737B2 (en) 2015-01-16 2019-01-22 Samsung Electronics Co., Ltd. Method for processing sound on basis of image information, and corresponding device
US10176644B2 (en) * 2015-06-07 2019-01-08 Apple Inc. Automatic rendering of 3D sound
CN106657178B (zh) * 2015-10-29 2019-08-06 中国科学院声学研究所 一种基于http服务器的三维音效在线处理方法
KR20170106063A (ko) * 2016-03-11 2017-09-20 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN106162447A (zh) * 2016-06-24 2016-11-23 维沃移动通信有限公司 一种音频播放的方法和终端
CN106803910A (zh) * 2017-02-28 2017-06-06 努比亚技术有限公司 一种音频处理装置及方法
CN108777832B (zh) * 2018-06-13 2021-02-09 上海艺瓣文化传播有限公司 一种基于视频对象追踪的实时3d声场构建和混音系统
CN109168125B (zh) * 2018-09-16 2020-10-30 东阳市鑫联工业设计有限公司 一种3d音效系统
US11356791B2 (en) 2018-12-27 2022-06-07 Gilberto Torres Ayala Vector audio panning and playback system
KR102217262B1 (ko) 2020-07-20 2021-02-18 주식회사 파파플랜트 라이브커머스 서비스 제공 시스템 및 방법
KR20230006181A (ko) 2021-07-02 2023-01-10 블링크코퍼레이션 주식회사 지자체 소상공인을 위한 라이브 서비스 제공 시스템 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
US20060120534A1 (en) * 2002-10-15 2006-06-08 Jeong-Il Seo Method for generating and consuming 3d audio scene with extended spatiality of sound source
JP2004151229A (ja) * 2002-10-29 2004-05-27 Matsushita Electric Ind Co Ltd 音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
WO2006121957A2 (en) * 2005-05-09 2006-11-16 Michael Vesely Three dimensional horizontal perspective workstation
EP1784020A1 (en) * 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
KR101235832B1 (ko) * 2008-12-08 2013-02-21 한국전자통신연구원 실감 멀티미디어 서비스 제공 방법 및 장치
JP5345025B2 (ja) * 2009-08-28 2013-11-20 富士フイルム株式会社 画像記録装置及び方法
US20110116665A1 (en) * 2009-11-17 2011-05-19 King Bennett M System and method of providing three-dimensional sound at a portable computing device
KR101690252B1 (ko) 2009-12-23 2016-12-27 삼성전자주식회사 신호 처리 방법 및 장치
KR101844511B1 (ko) 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
ES2909532T3 (es) * 2011-07-01 2022-05-06 Dolby Laboratories Licensing Corp Aparato y método para renderizar objetos de audio

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128567A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법

Also Published As

Publication number Publication date
EP2737727A4 (en) 2015-07-22
WO2013019022A3 (en) 2013-04-04
KR101901908B1 (ko) 2018-11-05
CN103858447A (zh) 2014-06-11
US20130028424A1 (en) 2013-01-31
WO2013019022A2 (en) 2013-02-07
EP2737727B1 (en) 2017-01-04
CN103858447B (zh) 2016-12-07
JP5890523B2 (ja) 2016-03-22
EP2737727A2 (en) 2014-06-04
JP2014522181A (ja) 2014-08-28
US9554227B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
KR101901908B1 (ko) 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
KR101844511B1 (ko) 입체 음향 재생 방법 및 장치
KR101764175B1 (ko) 입체 음향 재생 방법 및 장치
KR102226420B1 (ko) 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치
CN116156411A (zh) 用于交互式音频环境的空间音频
US10547962B2 (en) Speaker arranged position presenting apparatus
TW201412092A (zh) 多媒體處理系統及音訊信號處理方法
KR20200087130A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
Brinkmann et al. Audio quality assessment for virtual reality
KR101516644B1 (ko) 가상스피커 적용을 위한 혼합음원 객체 분리 및 음원 위치 파악 방법
JP2011234177A (ja) 立体音響再生装置及び再生方法
WO2023199813A1 (ja) 音響処理方法、プログラム、及び音響処理システム
JP2013110552A (ja) 映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant