KR20150005438A - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20150005438A
KR20150005438A KR20140072324A KR20140072324A KR20150005438A KR 20150005438 A KR20150005438 A KR 20150005438A KR 20140072324 A KR20140072324 A KR 20140072324A KR 20140072324 A KR20140072324 A KR 20140072324A KR 20150005438 A KR20150005438 A KR 20150005438A
Authority
KR
South Korea
Prior art keywords
audio signal
output
channel
information
output information
Prior art date
Application number
KR20140072324A
Other languages
English (en)
Other versions
KR102161157B1 (ko
Inventor
서정일
박태진
강경옥
유재현
이용주
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20150005438A publication Critical patent/KR20150005438A/ko
Application granted granted Critical
Publication of KR102161157B1 publication Critical patent/KR102161157B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 신호 처리 방법 및 장치가 개시된다. 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 단계; 상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 단계; 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 단계; 상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및 상기 생성한 출력 오디오 신호를 처리하는 단계를 포함할 수 있다.

Description

오디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL}
입력 오디오 신호와 전달함수를 이용하여 오디오 신호 재생 단말에 적합한 출력 오디오 신호를 생성하는 오디오 신호 처리 방법 및 장치에 관한 것이다.
최근 UHDTV(Ultra High Definition TeleVision)와 같은 고임장감(Immersive) 방송기술이 개발됨에 따라 5.1채널 이상의 스피커들로 구성되는 10.2채널, 또는 22.2채널 오디오 재생포맷이 등장하고 있다. 이에 따라, 고차 멀티채널 오디오(High-order Multichannel Audio) 콘텐츠를 제작하기 위해 필요한 3차원 음장 재현(Sound Field Reconstruction) 기술에 대한 관심은 높아지고 있다.
또한, 10.2채널 및 22.2채널과 같은 고차 멀티채널 오디오 콘텐츠를 5.1채널과 같이 보다 적은 수의 스피커들로 재생하기 위해 오디오 신호 처리 장치는 입력 멀티채널 오디오 신호를 재생 스피커의 채널 신호로 다운믹스(downmix)하여야 한다. 다운믹스 과정은 다운믹스 매트릭스(downmix matrix)를 이용하여 입력 채널과 출력 채널 간의 선형조합(linear combination) 과정으로 처리된다. 그러나 다운믹스 매트릭스를 이용할 경우, 위상에 대한 고려가 없기 때문에 음질이 손상된다.
예를 들어, 입력 채널과 출력 채널 간의 위상이 반전되는 경우 소리가 없어지는 현상이 발생하게 된다. 또한, 오디오 신호 재생 단말의 스피커들이 5.1채널과 같은 표준 포맷이 아니거나 또는 스피커들의 위치가 표준위치를 벗어나 있는 경우와 같은 Flexible Rendering 환경은 다운믹스 매트릭스 과정을 통해 일반화하여 표현하기 어렵다. 따라서, 출력 스피커 포맷은 Flexible Rendering 환경에서 적응적으로 처리하기가 어렵다는 문제점이 있다. 이에 따라, 음장 재현(Soundfield Reconstruction) 기술을 이용하여 임의의 스피커 포맷에서도 균일한 가상음원 재현이 가능한 기술들이 소개되고 있다.
입력 오디오 신호의 채널을 오디오 신호 재생 단말에 적합하게 변환하거나 또는 오디오 신호 재생 단말의 출력 정보에 따라 적응적으로 원음장을 재현하는 오디오 신호 처리 방법 및 장치에 관한 것이다.
일실시예에 따른 오디오 신호 처리 방법에 있어서, 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 단계; 상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 단계; 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 단계; 상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및 상기 생성한 출력 오디오 신호를 처리하는 단계를 포함할 수 있다.
다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 결정하는 단계는, 상기 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 상기 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다.
또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 계산하는 단계는, 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 전달함수를 계산할 수 있다.
또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 생성하는 단계는, 상기 계산한 전달함수를 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.
또 다른 일실시예에 따른 오디오 신호 처리 방법에 있어서, 상기 생성하는 단계는, 상기 계산한 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.
일실시예에 따른 오디오 신호 처리 장치에 있어서, 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 설정부; 상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 결정부; 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 계산부; 상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 생성부; 및 상기 생성한 출력 오디오 신호를 처리하는 처리부를 포함할 수 있다.
다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 결정부는, 상기 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 상기 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다.
또 다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 계산부는, 상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말과 연결된 스피커의 채널정보 및 위치정보를 포함하는 출력 정보를 이용하여 전달함수를 계산할 수 있다.
또 다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 생성부는, 상기 계산한 전달함수를 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.
또 다른 일실시예에 따른 오디오 신호 처리 장치에 있어서, 상기 생성부는, 상기 계산한 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 추출하고, 상기 추출한 음장합성 필터함수와 상기 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성할 수 있다.
입력 오디오 신호의 채널을 오디오 신호 재생 단말에 적합하게 변환하거나 또는 오디오 신호 재생 단말의 포맷에 따라 적응적으로 원음장을 재현하는 오디오 신호 처리 방법 및 장치에 관한 것이다.
도 1은 일실시예에 따라 오디오 재생 단말의 채널에 적합하게 입력 오디오 신호를 다운믹스하는 오디오 신호 처리 장치를 도시한 도면이다.
도 2는 일실시예에 따라 오디오 신호 재생 단말의 출력(스피커)의 위치가 변경되더라도 원음장의 재현이 가능한 출력 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.
도 3은 일실시예에 따라 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합하게 변환한 출력 멀티채널 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.
도 4은 일실시예에 따라 다운믹스 매트릭스를 이용하여 22.2채널 오디오 신호를 5.1채널로 다운믹스하는 과정을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따라 오디오 재생 단말의 채널에 적합하게끔 입력 오디오 신호를 다운믹스하는 오디오 신호 처리 장치를 도시한 도면이다.
이하에서 설명되는 오디오 신호 처리 장치(100)는 입력 오디오 신호를 출력 오디오 신호로 변환하는 장치를 의미할 수 있다. 오디오 신호 처리 장치(100)는 별개로 존재하거나 또는 단말 내에 포함되어 있을 수 있다. 예를 들어, 오디오 신호 처리 장치(100)는 오디오 신호 재생 단말에 포함되어 있거나 또는 오디오 신호 처리 장치(100)는 입력 오디오 신호를 제공하는 오디오 신호 제공 단말에 포함되어 있을 수도 있다.
이하에서 설명되는 입력 오디오 신호는 오디오 신호 처리 장치(100)로 입력되는 모든 오디오 신호를 의미할 수 있다. 일례로, 입력 오디오 신호는 입력 멀티채널 오디오 신호 또는 입력 객체음원 오디오 신호를 포함할 수 있다. 이에 대응하여, 출력 오디오 신호는 출력 다운믹스 오디오 신호 또는 출력 멀티채널 오디오 신호를 포함할 수 있다.
오디오 신호 처리 장치(100)의 다운믹스 환경 결정부(110)는 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 결정할 수 있다. 예를 들어, 사용자는 오디오 신호 처리 장치(100) 또는 오디오 신호 재생 단말의 인터페이스를 통해 오디오 신호 재생 단말의 출력환경 정보를 입력할 수 있다. 예를 들어, 오디오 신호 재생 단말의 출력환경 정보는 오디오 신호 재생 단말의 스피커의 채널정보, 및 위치정보를 포함할 수 있다. 일실시예에 따르면, 다운믹스 환경 결정부(110)는 오디오 신호 재생 단말의 출력환경 정보를 수신하여 다운믹스 채널 수와 각 채널 별 위치정보를 결정할 수 있다.
오디오 신호 처리 장치(100)의 가상 마이크로폰 어레이 결정부(120)는 오디오 신호 재생 단말의 출력환경 정보에 적합하게 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다. 가상 마이크로폰 어레이 결정부(120)는 결정된 출력 정보를 기초로 사용자의 청취 공간에 가상 마이크로폰을 배치할 수 있다. 일례로, 가상 마이크로폰 어레이의 출력 정보는 가상 마이크로폰의 개수 정보 및 위치 정보를 포함할 수 있다. 예를 들어, 오디오 신호 재생 단말의 채널이 2차원 구조를 구성하는 경우, 가상 마이크로폰 어레이는 2차원 구조(원 형태)로 배치될 수 있다. 또는, 오디오 신호 재생 단말의 채널이 NHK 22.2채널과 같이 3차원 구조를 구성하는 경우, 가상 마이크로폰 어레이는 3차원 구조(구 형태)로 배치될 수 있다.
오디오 신호 처리 장치(100)의 전달함수 계산부(130)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향의 입자속도와 관련된 함수를 의미할 수 있다.
오디오 신호 처리 장치(100)의 스피커 신호 계산부(140)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 오디오 신호 처리 장치(100)는 전달함수와 음향입자의 속도 벡터 중에서 반경 성분을 이용하여 음장합성 필터함수를 계산할 수 있다.
스피커 신호 계산부(140)는 입력 오디오 신호와 음장합성 필터함수를 이용하여 출력 다운믹스 오디오 신호를 생성할 수 있다. 구체적으로, 스피커 신호 계산부(140)는 입력 멀티채널 오디오 신호를 주파수 영역으로 변환한 후 음장합성 필터함수와 컨벌루션(convolution) 연산을 수행하여 출력 다운믹스 오디오 신호를 생성할 수 있다. 이 때, 스피커 신호 계산부(140)는 입력 멀티채널 오디오 신호를 각 채널 별로 분리하여 음장합성 필터함수와 컨벌루션 연산을 수행할 수 있다. 이에 따라, 스피커 신호 계산부(140)는 각 채널 별로 연산을 수행하고, 수행한 결과를 중첩하여 합침으로써 출력 다운믹스 오디오 신호를 생성할 수 있다. 또한, 도 1에 도시된 바와 같이 스피커 신호 계산부(140)는 입력 멀티채널의 채널 별 위치 정보를 고려하여 출력 다운믹스 오디오 신호를 생성할 수 있다. 구체적으로 스피커 신호 계산부(140)는 입력 멀티채널 오디오 신호의 각 채널 별 신호를 음원으로 가정하고, 입력 멀티채널 오디오 신호가 재생되어야 할 위치(음원의 위치)를 고려하여 출력 다운믹스 오디오 신호를 생성할 수 있다.
오디오 신호 처리 장치(100)는 오디오 신호 재생 단말이 지원하는 채널에 적합하게끔 입력 멀티채널 오디오 신호를 다운믹스할 수 있다. 일례로, 입력 멀티채널 오디오 신호가 22.2채널이고, 오디오 신호 재생 단말이 5.1채널을 지원하는 단말인 경우, 오디오 신호 처리 장치(100)는 22.2 채널 오디오 신호를 5.1 채널로 다운믹스할 수 있다. 이에 따라, 오디오 신호 처리 장치(100)는 5.1채널의 출력 다운믹스 오디오 신호를 제공할 수 있다.
도 2는 일실시예에 따라 오디오 신호 재생 단말의 출력(스피커)의 위치가 변경되더라도 원음장의 재현이 가능한 출력 멀티채널 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.
이하에서 설명되는 오디오 신호 처리 장치(200)의 오디오 신호 처리 방법은 앞서 설명한 과정과 유사하다.
오디오 신호 처리 장치(200)의 출력 스피커 환경 설정부(210)는 오디오 신호 재생 단말의 출력 정보를 수신할 수 있다. 예를 들어, 사용자는 오디오 신호 처리 장치(200) 또는 오디오 신호 재생 단말의 인터페이스를 통해 오디오 신호 재생 단말의 출력 정보를 입력할 수 있다.
출력 스피커 환경 결정부(210)는 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 결정할 수 있다. 일실시예에 따르면, 출력 스피커 환경 결정부(210)는 오디오 신호 재생 단말의 출력환경 정보(오디오 신호 재생 단말에 연결된 스피커의 개수, 및 각 스피커의 위치)를 수신하여 각 스피커의 채널, 및 각 스피커의 위치정보를 설정할 수 있다.
오디오 신호 처리 장치(200)의 가상 마이크로폰 어레이 결정부(220)는 오디오 신호 재생 단말의 출력 환경에 적합하게 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다. 가상 마이크로폰 어레이 결정부(220)는 결정된 출력 정보를 기초로 사용자의 청취 공간에 가상 마이크로폰을 배치할 수 있다.
전달함수 계산부(230)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향의 입자속도와 관련된 함수를 의미할 수 있다.
오디오 신호 처리 장치(200)의 스피커 신호 계산부(240)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 객체음원 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합한 출력 멀티채널 오디오 신호로 변환하는 함수를 의미할 수 있다.
스피커 신호 계산부(240)는 입력 객체음원 오디오 신호와 음장합성 필터함수를 이용하여 출력 멀티채널 오디오 신호를 계산할 수 있다. 구체적으로, 스피커 신호 계산부(240)는 입력 객체음원 신호를 주파수 영역으로 변환한 후 음장합성 필터함수와 컨벌루션(convolution) 연산을 수행하여 오디오 신호 재생 단말의 출력 환경에 적합한 출력 멀티채널 오디오 신호를 계산할 수 있다. 또한, 도 2에 도시된 바와 같이 오디오 신호 처리 장치(200)는 입력 객체음원의 위치 정보를 고려하여 출력 멀티채널 오디오 신호를 계산할 수 있다. 즉, 오디오 신호 처리 장치(200)는 입력 객체음원 오디오 신호가 재생되어야 할 위치를 고려하여 출력 멀티채널 오디오 신호를 계산할 수 있다.
오디오 신호 처리 장치(200)는 입력 객체음원 오디오 신호를 오디오 신호 재생 단말에 적합하게 렌더링할 수 있다. 이에 따라, 오디오 신호 처리 장치(200)는 오디오 신호 재생 단말의 스피커의 위치가 변경되더라도 원음장의 재현이 가능한 출력 멀티채널 오디오 신호를 사용자에게 제공할 수 있다.
도 3은 일실시예에 따라 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합하게 변환한 출력 멀티채널 오디오 신호를 제공하는 오디오 신호 처리 방법을 도시한 도면이다.
이하에서 설명되는 오디오 신호 처리 장치(300)의 오디오 신호 처리 방법은 앞서 설명한 과정과 유사하다.
오디오 신호 처리 장치(300)의 출력 스피커 환경 결정부(310)는 오디오 신호 재생 단말의 출력 정보를 수신할 수 있다. 예를 들어, 사용자는 오디오 신호 처리 장치(300) 또는 오디오 신호 재생 단말의 인터페이스를 통해 오디오 신호 재생 단말의 출력 정보를 입력할 수 있다.
출력 스피커 환경 결정부(310)는 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 결정할 수 있다. 일실시예에 따르면, 출력 스피커 환경 설정부(310)는 오디오 신호 재생 단말의 출력환경 정보(오디오 신호 재생 단말에 연결된 스피커의 개수, 및 각 스피커의 위치)를 수신하여 각 스피커의 채널, 및 각 스피커의 위치정보를 결정할 수 있다.
오디오 신호 처리 장치(300)의 가상 마이크로폰 어레이 결정부(320)는 오디오 신호 재생 단말의 출력 환경에 적합하게 사용자의 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정할 수 있다. 가상 마이크로폰 어레이 결정부(320)는 결정된 출력 정보를 기초로 사용자의 청취 공간에 가상 마이크로폰을 배치할 수 있다.
오디오 신호 처리 장치(300)의 전달함수 계산부(330)는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 계산할 수 있다. 전달함수는 음향입자의 속도와 관련된 함수를 의미할 수 있다. 전달함수는 오디오 신호 재생 단말의 스피커의 위치에서 가상 마이크로폰의 배치된 위치로 방출되는 음향의 입자속도와 관련된 함수를 의미할 수 있다.
오디오 신호 처리 장치(300)의 스피커 신호 계산부(340)는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 멀티채널 오디오 신호를 오디오 신호 재생 단말의 출력 환경에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다.
스피커 신호 계산부(340)는 입력 멀티채널 오디오 신호와 음장합성 필터함수를 이용하여 출력 멀티채널 오디오 신호를 계산할 수 있다. 구체적으로, 스피커 신호 계산부(340)는 입력 멀티채널 오디오 신호를 주파수 영역으로 변환한 후 음장합성 필터함수와 컨벌루션(convolution) 연산을 수행하여 오디오 신호 재생 단말의 출력 환경에 적합한 출력 멀티채널 오디오 신호를 계산할 수 있다. 스피커 신호 계산부(340)는 각 채널 별로 연산을 수행하고, 수행한 결과를 중첩하여 합침으로써 출력 멀티채널 오디오 신호를 계산할 수 있다. 또한, 스피커 신호 계산부(340)는 입력 멀티채널 오디오 신호의 각 채널 별 신호를 음원으로 가정하고, 입력 멀티채널 신호가 재생되어야 할 위치(음원의 위치)를 고려하여 출력 멀티채널 오디오 신호를 계산할 수 있다.
일실시예에 따르면, 오디오 신호 처리 장치(200)는 오디오 신호 재생 단말이 지원하는 채널에 적합하게 입력 멀티채널 오디오 신호를 변환할 수 있다. 예를 들어, 오디오 신호 처리 장치(200)는 N채널의 입력 오디오 신호를 M채널의 출력 오디오 신호로 변환할 수 있다.
도 4는 일실시예에 따라 다운믹스 매트릭스를 이용하여 22.2채널 오디오 신호를 5.1채널로 다운믹스하는 과정을 도시한 도면이다.
오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보를 이용하여 가상 마이크로폰 어레이의 출력 정보를 추출할 수 있다. 구체적으로, 오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보에 대응하도록 가상 마이크로폰의 출력 정보를 추출할 수 있다. 예를 들어, 오디오 신호 재생 단말의 채널정보가 2차원 구조를 포함하는 경우, 가상 마이크로폰 어레이의 채널정보는 2차원 구조(원 형태)로 추출될 수 있다. 이에 따라 오디오 신호 처리 장치는 사용자의 청취 공간에 원 형태로 가상 마이크로폰 어레이를 배치시킬 수 있다.
가상 마이크로폰 어레이(제어 서클)의 반지름은 주파수에 따라 변할 수 있다. 구체적으로, 가상 마이크로폰 어레이의 반지름은 하기 수학식 1과 같이 표현할 수 있다.
Figure pat00001
λ 는 음파의 파장을 의미할 수 있고, c는 음파의 속도를 의미할 수 있다. 또한, f 는 주파수를 의미할 수 있다.
오디오 신호 처리 장치는 오디오 신호 재생 단말의 출력 정보와 청취 공간에 배치한 가상 마이크로폰의 출력 정보를 이용하여 전달함수를 결정할 수 있다. 전달함수는 음향입자의 속도와 관련된 전달함수를 의미할 수 있다. 구체적으로, 전달함수는 오디오 신호 재생 단말의 스피커의 위치로부터 가상 마이크로폰이 배치된 위치로 방출되는 음향입자의 속도와 관련된 전달함수를 의미할 수 있다. 구체적으로, 전달함수는 하기 수학식 2와 같이 표현할 수 있다.
Figure pat00002
Figure pat00003
은 m번째 가상 마이크로폰의 위치,
Figure pat00004
은 오디오 신호 재생 단말의 n번째 스피커의 위치를 의미할 수 있다.
Figure pat00005
는 웨이브 넘버(wave number,
Figure pat00006
)를 의미할 수 있다. 또한,
Figure pat00007
는 익스포넨셜 펑션(exponential function)를 의미할 수 있다. 추가적으로,
Figure pat00008
,
Figure pat00009
,
Figure pat00010
을 의미할 수 있다.
Figure pat00011
은 수학식 1에서 나타낸 바와 같이 주파수 f일 때의 m번째 가상 마이크로폰의 반지름을 나타낸다. 따라서 전달함수는 주파수에 따라 변화할 수 있다.
전달함수는 입력 오디오 신호를 수신하기 전에 결정될 수 있다. 따라서, 오디오 신호 처리 장치는 사전에 전달함수를 결정한 후 내부 저장 장치에 저장하여 활용할 수 있다. 이에 따라, 오디오 신호 처리 장치는 실시간으로 입력 오디오 신호를 출력 오디오 신호로 변환하여 처리할 수 있다.
오디오 신호 처리 장치는 전달함수를 이용하여 음장합성 필터함수를 계산할 수 있다. 음장합성 필터함수는 사용자의 위치에 관계없이 N차원의 음상을 제공하기 위해 입력 오디오 신호를 오디오 신호 재생 단말의 출력 정보에 적합한 출력 오디오 신호로 변환하는 함수를 의미할 수 있다. 구체적으로, 음장합성 필터함수는 하기 수학식 3과 같이 표현할 수 있다.
Figure pat00012
Figure pat00013
은
Figure pat00014
번째 채널의 출력 오디오 신호를 위한 음장합성 필터함수를 의미할 수 있다. 오디오 신호 처리 장치는 입력 오디오 신호와 음장합성 필터함수의 컨벌루션을 각 채널 별로 수행할 수 있다. 이에 따라, 오디오 신호 처리 장치는 채널 별로 수행한 결과를 중첩하여 더함으로써 출력 오디오 신호를 생성할 수 있다.
Figure pat00015
은 수학식 2에 표현된 전달함수를 의미할 수 있다. 또한,
Figure pat00016
는
Figure pat00017
의 허미션 트랜즈포즈 행렬(Hermitian Transpose Matrix)를 의미할 수 있고,
Figure pat00018
는 아이덴티티(identity) 행렬을 의미할 수 있다. 또한,
Figure pat00019
는 정규화 파라미터(regularization parameter)를 의미할 수 있고,
Figure pat00020
은 음향입자의 속도 벡터의 반경(inner radial)을 의미할 수 있다.
일실시예에 따르면, 도 4에 도시된 바와 같이 오디오 신호 처리 장치는 미리 정의된 22.2채널의 입력 멀티채널 오디오 신호를 5.1채널로 다운믹스하는 다운믹스 매트릭스를 이용하여 22.2채널의 입력 오디오 신호를 5.1채널로 다운믹스할 수 있다. 이에 따라, 오디오 신호 처리 장치는 다운믹스한 5.1 채널의 출력 멀티채널 오디오 신호를 출력하거나 또는 오디오 신호 재생 단말에 전달할 수 있다.
다른 실시예에 따르면, 오디오 신호 처리 장치는 N채널의 입력 오디오 신호를 M채널의 출력오디오 신호로 변환할 수 있다. 도 4를 참조하면, 오디오 신호 처리 장치는 오디오 신호 재생 단말의 스피커 별(채널 별)로 각각 컨벌루션 연산을 수행하여 스피커 별(채널 별)로 출력 오디오 신호를 생성할 수 있다. 이에 따라, 오디오 신호 처리 장치는 채널 별로 생성한 출력 오디오 신호를 중첩하여 더함으로써 출력 오디오 신호를 생성할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (1)

  1. 오디오 신호 재생 단말의 출력환경 정보를 이용하여 출력 정보를 설정하는 단계;
    상기 설정한 출력 정보에 대응하여 청취공간에 배치되는 가상 마이크로폰 어레이의 출력 정보를 결정하는 단계;
    상기 결정한 가상 마이크로폰 어레이의 출력 정보와 오디오 신호 재생 단말의 출력 정보를 이용하여 전달함수를 계산하는 단계;
    상기 계산한 전달함수와 입력 오디오 신호를 이용하여 출력 오디오 신호를 생성하는 단계; 및
    상기 생성한 출력 오디오 신호를 처리하는 단계
    를 포함하는 오디오 신호 처리 방법.
KR1020140072324A 2013-07-05 2014-06-13 오디오 신호 처리 방법 및 장치 KR102161157B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130078949 2013-07-05
KR1020130078949 2013-07-05

Publications (2)

Publication Number Publication Date
KR20150005438A true KR20150005438A (ko) 2015-01-14
KR102161157B1 KR102161157B1 (ko) 2020-09-29

Family

ID=52477286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072324A KR102161157B1 (ko) 2013-07-05 2014-06-13 오디오 신호 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102161157B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368878B2 (en) 2013-06-11 2019-08-06 Orthotaxy System for positioning a surgical device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319823A (ja) * 2005-05-16 2006-11-24 Sony Corp 音響装置、音響調整方法および音響調整プログラム
JP2011193164A (ja) * 2010-03-12 2011-09-29 Nippon Hoso Kyokai <Nhk> マルチチャンネル音響信号のダウンミックス装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319823A (ja) * 2005-05-16 2006-11-24 Sony Corp 音響装置、音響調整方法および音響調整プログラム
JP2011193164A (ja) * 2010-03-12 2011-09-29 Nippon Hoso Kyokai <Nhk> マルチチャンネル音響信号のダウンミックス装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10368878B2 (en) 2013-06-11 2019-08-06 Orthotaxy System for positioning a surgical device
US10441294B2 (en) 2013-06-11 2019-10-15 Depuy Ireland Unlimited Company System for the treatment of a planned volume of a body part

Also Published As

Publication number Publication date
KR102161157B1 (ko) 2020-09-29

Similar Documents

Publication Publication Date Title
US10820134B2 (en) Near-field binaural rendering
KR102653560B1 (ko) 다채널 오디오 신호 처리 장치 및 방법
CN109644314B (zh) 渲染声音程序的方法、音频回放系统和制造制品
CN109313907B (zh) 合并音频信号与空间元数据
EP3320692B1 (en) Spatial audio processing apparatus
KR102294767B1 (ko) 고채널 카운트 멀티채널 오디오에 대한 멀티플렛 기반 매트릭스 믹싱
RU2661775C2 (ru) Передача сигнальной информации рендеринга аудио в битовом потоке
JP5865899B2 (ja) 立体音響の再生方法及び装置
US11749252B2 (en) Signal processing device, signal processing method, and program
US20230100071A1 (en) Rendering reverberation
CN105637902A (zh) 使用2d设置对高保真度立体声响复制音频声场表示进行解码以便音频回放的方法和装置
EP3402221B1 (en) Audio processing device and method, and program
CN112823534B (zh) 信号处理设备和方法以及程序
JP2009071406A (ja) 波面合成信号変換装置および波面合成信号変換方法
KR102161157B1 (ko) 오디오 신호 처리 방법 및 장치
JP6463955B2 (ja) 三次元音響再生装置及びプログラム
KR102161169B1 (ko) 오디오 신호 처리 방법 및 장치
JP5743003B2 (ja) 波面合成信号変換装置および波面合成信号変換方法
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP3547305B1 (en) Reverberation technique for audio 3d
KR20090026009A (ko) 기존 오디오 포맷의 오디오 장면 정보를 유지하는 ｗｆｓ재생 방법 및 그 장치
CN114128312A (zh) 用于低频效果的音频渲染
JPWO2017188141A1 (ja) オーディオ信号処理装置、オーディオ信号処理方法、およびオーディオ信号処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant