KR20110053600A - 다채널 사운드 신호 생성 장치 - Google Patents

다채널 사운드 신호 생성 장치 Download PDF

Info

Publication number
KR20110053600A
KR20110053600A KR1020090110186A KR20090110186A KR20110053600A KR 20110053600 A KR20110053600 A KR 20110053600A KR 1020090110186 A KR1020090110186 A KR 1020090110186A KR 20090110186 A KR20090110186 A KR 20090110186A KR 20110053600 A KR20110053600 A KR 20110053600A
Authority
KR
South Korea
Prior art keywords
sound
signal
channel
panning
signals
Prior art date
Application number
KR1020090110186A
Other languages
English (en)
Other versions
KR101567461B1 (ko
Inventor
손창용
김도형
이강은
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090110186A priority Critical patent/KR101567461B1/ko
Priority to US12/805,121 priority patent/US9154895B2/en
Publication of KR20110053600A publication Critical patent/KR20110053600A/ko
Application granted granted Critical
Publication of KR101567461B1 publication Critical patent/KR101567461B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Abstract

다채널 사운드 신호 생성 장치가 제공된다. 상기 다채널 사운드 신호 생성장치는 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 상기 다채널 사운드 신호의 믹싱 특성 또는 공간 특성을 고려하여 상기 다채널 사운드 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정하고, 상기 다채널 사운드 신호를 상기 N개의 사운드 신호로 분리하는 사운드 분리기(sound separator), 및 상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하는 사운드 합성기를 포함할 수 있다.
Figure P1020090110186
다채널 사운드 신호, 가상 채널, 사운드 분리, 사운드 합성

Description

다채널 사운드 신호 생성 장치{APPARATUS FOR GENERATING MULTI-CHANNEL SOUND SIGNAL}
아래의 실시예들은 사운드 신호 생성 장치에 관한 것으로서, 보다 구체적으로 음향정보기기 등의 출력 장치에서 오디오 신호를 생성하는 다채널 입체음향 사운드 생성 장치에 관한 것이다.
디지털 비디오/오디오, 컴퓨터 애니메이션, 그래픽 등의 다양한 정보를 자연스럽게 통합할 수 있는 기술의 발전은 통신, 방송, 가전 분야에서 사용자의 몰입감을 증대시키려는 노력으로 이어져 왔다.
정보의 실감성을 높이기 위한 방법의 하나로 3차원 오디오/비디오 장치 및 관련 신호 처리기술이 부각되고 있으며, 음원의 위치를 임의의 3차원 공간에 정확하게 연출할 수 있는 3차원 오디오 기술은 오디오 컨텐츠의 가치를 획기적으로 높일 수 있을 뿐만 아니라 영상 및 비디오에 포함된 3차원적인 정보의 실감성을 배가시키는 중요한 요소이기도 하다.
청취자에게 3차원적인 공간감과 방향감을 제공하기 위한 실감 오디오 기술은 지난 수십 년 동안 연구되어 왔으며, 최근 디지털 프로세서들이 고속화되고 여러 음향 장치가 획기적으로 발전함에 따라 실감 오디오 기술의 구현성이 높아지게 되면서 큰 관심을 받고 있다.
적은 스피커 시스템만으로도 현장감과 입체감이 향상된 풍부한 음향을 제공할 수 있는 다채널 사운드 신호 생성 장치가 제공된다.
동일한 음원간의 간섭이 심화되어 음원 위치화 성능을 저하시키는 원인을 제거한 다채널 사운드 신호 생성 장치가 제공된다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치는 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 상기 다채널 사운드 신호의 믹싱 특성 또는 공간 특성을 고려하여 상기 다채널 사운드 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정하고, 상기 다채널 사운드 신호를 상기 N개의 사운드 신호로 분리하는 사운드 분리기(sound separator), 및 상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하는 사운드 합성기를 포함한다. 여기서, 상기 N은 시간에 따라 가변일 수 있다.
이때, 상기 사운드 분리기는, 상기 다채널 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor), 및 에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)를 포함할 수 있다.
이때, 상기 사운드 합성기는, 미리 설정된 위치에서 측정된 머리 전달 함 수(HRTF)를 이용하여 상기 M개의 사운드 신호를 생성하는 바이노럴 합성기(Binaural synthesizer)를 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 다채널 사운드 신호 생성 장치는 소스 사운드 신호(source sound signal)를 프라이머리 신호(primary signal) 및 앰비언스 신호(ambience signal)로 분리하는 프라이머리-앰비언스 분리기(primary-ambience separator), 상기 소스 사운드 신호에 기초하여, 상기 프라이머리 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정하는 채널 추정기(channel estimator), 상기 프라이머리 신호를 상기 N개의 사운드 신호로 분리하는 소스 분리기(source separator), 및 상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하고, 상기 M개의 사운드 신호 중 적어도 하나와 상기 앰비언스 신호를 합성하는 사운드 합성기를 포함한다.
여기서, 상기 N은, 상기 소스 사운드 신호에 믹싱된 소스의 수에 따라 결정될 수 있다.
이때, 상기 채널 추정기는, 상기 소스 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor), 및 에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)를 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 다채널 사운드 신호 생성 장치는 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 상기 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보를 이용하여 상기 다채널 사운드 신호를 N개의 사운드 신호로 분리하는 사운드 분리기(sound separator), 및 상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하는 사운드 합성기를 포함한다.
이때, 상기 사운드 분리기는, 상기 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보를 이용하여 상기 다채널 사운드 신호가 분리되어 생성될 상기 사운드 신호의 개수 N을 결정할 수 있다.
이때, 상기 다채널 사운드 신호에 믹싱된 소스 신호의 상기 위치 정보는, 상기 다채널 사운드 신호로부터 추출된 패닝 계수일 수 있다.
이때, 상기 사운드 분리기는, 상기 다채널 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor), 및 에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)를 포함할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 다채널 사운드 신호 생성 장치는 5.1 서라운드 사운드의 SL 신호 및 SR 신호로부터 프라이머리 신호 PL, 프라이머리 신호 PR, 앰비언스 신호 AL, 및 앰비언스 신호 AR을 생성하는 프라이머리-앰비언스 분리기(primary-ambience separator), 상기 프라이머리 신호 PL 및 상기 프라이머리 신호 PR로부터 생성될 사운드 신호의 개수 N을 결정하는 채널 추정기(channel estimator), 상기 프라이머리 신호 PL 및 상기 프라이머리 신호 PR을 수신하고, 상기 N개의 사운드 신호로 생성하는 소스 분리기(source separator), 및 상기 N개의 사운드 신호를 합성하여 BL 신호 및 BR 신호를 생성하고, 상기 BL 신호와 상기 앰비언스 신호 AL을 합성하고, 상기 BR 신호와 상기 앰비언스 신호 AR을 합성하는 사운드 합성기를 포함한다.
이때, 상기 채널 추정기는, 상기 SL 신호 및 상기 SR 신호의 믹싱 특성 또는 공간 특성에 기초하여 상기 N을 결정할 수 있다.
이때, 상기 채널 추정기는, 상기 SL 신호 및 상기 SR 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor), 및 에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)를 포함할 수 있다.
본 발명의 실시예들은 적은 스피커 시스템만을 사용하더라도 원음과 같은 입체적이고 현장감 있는 풍부한 음향을 느낄 수 있다.
또한, 본 발명의 실시예들은 음원 간의 간섭을 줄여 음원 위치화 성능을 향상시킬 수 있다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에서 다채널 사운드를 재생하는 방법을 나타낸 구성도이다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치는 적은 스피커 시스템에서 현장감과 입체감이 향상된 다채널 사운드를 재생하는 장치이다.
특히, 오디오 컨텐츠를 저작하는 과정에서 사운드를 믹싱하거나 한정된 마이크로폰으로 녹음하여 만들어진 오디오 채널 수를 실제 음상이 존재하는 수로 분리/확장하여 출력 스피커 수를 늘려 줌으로써 공간감과 입체감을 향상시켜주는 가상채널 분리(Up-mixing) 기술과 제한된 스피커 시스템 환경에서 가상 스피커를 생성하여 음상을 위치시켜주는 가상채널 매핑 (Virtual speaker) 기술을 결합하여, 적은 스피커 시스템만을 사용하여 재생하더라도 다채널 사운드의 입체감을 느낄 수 있다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치는 멀티채널 인코딩 비트스트림(Bit stream)을 디코딩하여 얻은 멀티 채널 음원 소스들의 채널간 믹싱 특성을 고려하여 가변 채널로 음원 소스를 분리/확장하는 가상 채널 분리 과정과 가상 채널 분리된 가변 채널 음상들을 적은 스피커 시스템으로 재생하기 위하여 가상 스피커 공간에 정확하게 위치화시키는 과정을 포함할 수 있다.
도 1을 참조하면, 본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치(100)는 멀티 채널 인코딩 비트스트림을 디지털 디코더(110)를 통해 M개의 채널로 디코딩하고, 디코딩된 M개의 채널을 가상채널 분리모듈(120)를 통해 채널 간 믹싱 특성 및 공간 특성이 고려된 N개의 채널로 분리한다.
여기서 가상 채널 분리 모듈은(120)는 예를 들어, 오디오 컨텐츠를 저작하는 과정에서 사운드를 믹싱하거나 한정된 마이크로폰으로 녹음하여 만들어진 오디오 채널의 수를 실제 음상이 존재하는 수로 분리 또는 확장한다.
채널 간 믹싱 특성 및 공간 특성이 고려된 채널 분리를 위해 가상채널 분리모듈(120)은 주파수-도메인에서 채널 간 패닝된 정도를 추출하며, 추출된 패닝 계수를 사용한 가중 필터를 사용하여 음원 소스를 분리할 수 있다.
분리된 음원 소스는 실제 출력 스피커 수와 동일한 채널 신호로 재합성할 수 있다.
이때 가상채널 분리모듈(120)은 분리된 신호간의 비상관도를 개선한 가상채널 분리 방법을 이용하며, 여기서 지각되는 음원의 거리와 음상의 폭은 상관도 정도에 반비례한다.
가상채널 분리모듈(120)에 의해 N개의 채널로 분리된 사운드 신호는 가상 공간 매핑 및 간섭 제거 모듈(130)을 통해 다시 M 개의 채널로 매핑될 수 있으며, 최종적으로 스피커 시스템(140)을 통해 가상의 N 채널 음향을 생성할 수 있다.
가상 공간 매핑 및 간섭 제어 모듈(130)에서 가상 공간 매핑은 제한된 스피커 시스템 환경에서 원하는 공간 위치에 가상 스피커를 생성하여 음상을 위치시켜주는 것을 의미한다.
가상 공간 매핑에 대한 구체적인 실시예로는 뒤에서 기술하는 실시예 중의 하나인 5.1채널 스피커 시스템의 레프트 백(Left back)/라이트 백(Right back) 신호에 대해 머리전달함수(HRTF: Head-Related Transfer Function)를 바탕으로 가상 음원을 형성하고 크로스토크(crosstalk)를 제거한 후 레프트 서라운드(left surround)/라이트 서라운드(right surround) 신호에 합성하여 7.1 채널 오디오 신 호를 생성하는 경우를 들 수 있다.
또한, 본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치는 멀티채널 음향 소스들의 채널간 믹싱/공간 특성을 고려하여 가변 채널수로 소스를 적응적으로 분리하고, 가상채널 분리 과정과 가상채널 매핑 과정에서 사용되는 다운-믹싱 과정을 하나로 단일화하여 동일한 음원 간의 간섭이 심화되어 음원 위치화 성능을 저하시키는 원인을 제거할 수 있다.
뿐만 아니라 본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치는 채널 분리 할 대상 음향 소스간의 특성을 시변적으로 구하는 과정을 통하여 몇 개의 음상 소스가 믹싱되었는지를 예측하여 분리될 음향 채널 수를 판단하고, 이를 이용하여 매 처리 단위마다 가변 채널 수로 음상 소스를 분리할 수 있다.
가상 채널 분리 모듈(120)에서 분리된 음향 채널은 가상 공간 매핑 및 간섭 제거 모듈(130)을 통해 실제 출력 스피커의 수의 제약 때문에 채널간의 비상관도를 저해하는 재-합성하는 과정을 거치지 않고, 분리된 가변 채널 음상 소스의 수와 위치 정보에 따라 가상 공간에 정확한 음원 위치화(Multiple source binaural synthesizer)하는 다운-믹싱 과정과 간섭제거(Cross-talk canceller)를 수행하여 다채널 입체 음향 사운드를 생성할 수 있다.
이를 통해 적은 스피커 시스템만을 사용하여 재생하더라도 다채널 사운드의 현장감과 입체감을 느낄 수 있다.
도 2는 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(200)의 블록도이다. 도 2를 참조하면, 본 발명의 일실시예에 따른 다채널 사운드 신호 생 성장치(200)는 사운드 분리기(210) 및 사운드 합성기(230)를 포함한다.
사운드 분리기(sound separator)(210)는 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 다채널 사운드 신호의 믹싱 특성 또는 공간 특성을 고려하여 다채널 사운드 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정하고, 다채널 사운드 신호를 N개의 사운드 신호로 분리한다.
여기서 믹싱 특성이란 다채널 사운드가 믹싱되었던 환경의 특성을 의미하고, 공간 특성은 예를 들어 마이크의 배치와 같이 다채널 사운드가 녹음되었던 공간의 특성을 의미한다.
본 발명의 일실시예에 따른 다채널 사운드 분리기(210)는 예를 들어, 3채널로 녹음된 사운드 신호를 수신하면, 녹음된 사운드 신호가 원래 몇 개의 음원 소스로부터 3채널로 녹음된 것인지를 파악한다.
즉, 다채널 사운드 분리기(210)은 녹음 현장에서 원음이 몇 개의 음원 소스(예를 들어, 몇 개의 마이크)에 의해 공간에 어떻게 배치하여 녹음되었는지 등의 공간 특성 또는 믹싱 특성을 고려하여 원음이 5개의 마이크를 이용하여 녹음되었다면 생성될 사운드 신호의 개수 N을 5로 결정하고, 수신된 3채널 사운드 신호를 5개의 사운드 신호로 분리한다.
이때 다채널 사운드 신호 생성장치(200)에서 분리될 사운드 신호의 개수 N은 시간에 따라 가변적으로 결정되거나, 사용자로부터 임의로 입력 받도록 할 수도 있다.
사운드 분리기(210)는 다채널 사운드 신호로부터 원래 몇 개의 음원 소스가 존재하였는지를 파악하기 위해 패닝 계수를 이용할 수 있다.
오디오 컨텐츠를 저작하는 과정에서 사운드를 믹싱하거나 한정된 마이크로폰으로 녹음하여 만들어진 오디오 음향 채널을 실제 음상이 존재하는 수로 분리/확장하여 출력 스피커 수를 늘려 주어 공간감과 입체감을 향상시켜기 위해서 주파수-도메인에서 채널간 패닝(Panning)된 정도를 추출하는 과정, 추출된 패닝 계수를 이용한 가중 필터를 사용하여 소스를 분리하는 과정 및 정해진 스피커 위치에 신호를 합성하기 위한 리-패닝 과정을 통하여 실제 출력 스피커 수와 동일한 채널 신호를 재생할 수 있다.
가상채널 분리 과정에서 음상을 분리한 후에 대상 실제 스피커(real speaker) 수에 따라 재-합성하거나 실제 출력 스피커 수만큼 음상을 분리하는 경우에 분리된 음상 채널 신호들은 실제 출력 스피커의 위치에 따라 리-패닝(re-panning) (하나의 음상 소스를 다른 크기로 양쪽 채널에 삽입함으로써 재생 시 방향감을 구현하는 Amplitude-Pan 방식) 과정을 거쳐 실제 출력 스피커 수와 동일한 채널 신호로 합성되어 재생될 수 있다.
이 과정에서 분리된 음향 채널 소스들의 비상관도(De-correlation) 정도가 저하되고, 이렇게 만들어진 채널 소스들은 가상 공간 매핑에 의한 다운-믹싱을 통해 재생되면 동일한 음원간의 간섭이 심화되어 음원 위치화(source localization) 성능이 저하될 수 있다.
도 3은 본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치에서 5.1 채널 오디오 컨텐츠를 5.1 채널 스피커(a)와 7.1채널 스피커(b)에서 재생한 경우에 재생한 사운드가 실제 청취자에게 느껴지는 공간감을 표현한 도면이다.
도 3을 참조하면 5.1채널 오디오 컨텐츠를 5.1채널 스피커 시스템에서 재생할 때 앰플리튜드 패닝(amplitude panning)에 의해 3개의 음원이 믹싱된 좌우 서라운드 채널 신호로 구성되어 재생한 사운드가 실제 청취자에게 느껴지는 공간감은 3a와 같이 나타낼 수 있다.
이에 반해 본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치는 3b와 같이 5.1채널 오디오 컨텐츠를 좌우 서라운드 채널 신호로부터 3개의 음원을 분리하고, 정해진 7.1채널 스피커에 음원의 방향감을 유지하며 공간감을 향상시켜 재생시키는 재-합성 과정을 수행할 수 있다.
이 경우 가상채널 분리/확장을 통해서 기존 5.1채널 스피커 시스템보다 현장감과 입체감이 향상된 7.1채널 사운드를 청취자에게 제공할 수 있다.
가상채널 분리기(210)에서 음원을 분리한 후 정해진 수의 스피커에 분리된 음원을 매핑할 때, 원래 믹싱된 원음의 방향감을 유지하여 재-합성하는 과정에서 음원 소스를 양쪽 채널 스피커에 다른 크기로 삽입함으로서 서라운드 채널 신호와 백-서라운드 채널 신호간의 상관도(correlation) 정도가 높아지는 현상이 초래될 수 있다.
여기서 출력 채널 신호간의 상관도는 가상채널 분리의 성능을 가늠하는 지표로써 다음과 같은 관계를 가질 수 있다.
상관도를 측정하는 방법으로 주파수 영역에서 정의되는 코히런스(Coherence) 함수는 각 주파수별 상관(Correlation) 정도를 관찰할 수 있는 편리 한 측정 툴이다. 두 디지털 시퀀스간의 코히런스 함수 γ(ω)는 아래의 수학식 1과 같이 정의될 수 있다.
[수학식 1]
Figure 112009070089388-PAT00001
여기서
Figure 112009070089388-PAT00002
는 두 디지털 시퀀스 xi(n)와 xj(n)의 correlation함수를 Fourier 변환한 auto 스펙트럼이다.
청각 이벤트(Auditory event)의 폭(Width)은 좌측 소스와 우측 소스 신호간의 ICC(Inter-Channel Coherence)가 감소하면 1에서 3으로 증가한다.
따라서 신호간의 ICC 값은 음상의 폭을 평가할 수 있는 객관적인 측정 방법이다. ICC값은 0에서 1까지 범위의 값을 가질 수 있다.
시간영역에서 멀티채널 오디오 출력신호 간의 상관 정도를 측정하는 방법은 아래의 수학식 2와 같이 상호 연관 함수(Cross Correlation Function)를 계산하는 것이다.
[수학식 2]
Figure 112009070089388-PAT00003
여기서 y1과 y2는 출력 신호를 나타내고, ㅿ t는 두 신호 y1 (t)와 y2 (t)간의 시간 오프셋(temporal offset)을 나타낸다.
상관도 정도의 측정은 일반적으로 시간 오프셋 변화에 따른 상호 연관(cross correlation) 값 중에서 가장 큰 절대값을 갖는 하나의 값(single number)(lag 0)값을 이용하여 판단한다.
일반적으로 상관도 정도는 시간 오프셋(lag 값)이 0일 때 피크(peak) 값을 갖지만 채널간 지연된 신호 특성을 갖는지를 살펴보기 위해 10~20ms 범위에 대한 시간 오프셋을 적용하여 상관측정을 수행할 수 있다.
이는 다이렉트 사운드(direct sound)가 도달한 이후에 20ms 정도 이상에서 제1 초기반사(first early reflections)는 주파수-주기 패턴(Frequency-periodic pattern)을 갖는 주파수 성분(frequency components)를 감쇠하고 증폭하는 "comb filter" 효과 때문에 음색변조(timbre(timbral) coloration)을 초래하여 음장 성능을 저해한다.
상관도 값은 -1에서 +1까지 연속적인 범위의 값을 가질 수 있으며, +1값은 two identical sound signals를 표현하고 -1값은 위상(phase)이 180도 틀어진 two identical signals을 표현한다. 상관도의 값이 제로에 매우 가까운 경우는 비상관 신호(uncorrelated signals)로 판단한다.
라우드 스피커 채널들 간의 상관도 정도에 따라 지각되는 음원의 거리와 음상의 폭에 있어서 음상의 폭은 상관도 정도에 반비례하며, 음원과의 거리감은 상관도가 1에서 -1로 변화함에 따라 더 멀어질 수 있다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치는 가상채널 분리된 채널 신호간의 비상관도(De-correlation) 정도를 높일 수 있는 구조를 가질 수 있다.
사운드 분리기(210)는 다채널 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor)(213) 및 에너지 히스토그램을 이용하여 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 주 패닝 계수의 개수를 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)(216)를 포함할 수 있다.
패닝 계수 추출기(213)에서 패닝 계수를 추출하는 방법 및 주 패닝 계수 추정기(216)에서 주 패닝 계수를 결정하는 방법은 아래의 수학식들을 통해 설명한다.
일반적으로 멀티채널 입체 음향 신호를 만드는데 사용되는 믹싱 방식은 하나의 소스를 다른 크기로 양쪽 채널에 삽입함으로써 재생 시 방향감을 구현하는 방식인 앰플리튜드 팬(Amplitude-Pan)을 사용한다.
이러한 멀티 채널 신호에서 믹싱되기 이전의 개별적인 음향 소스들을 추출하는 방식을 업-믹싱(혹은 언-믹싱)이라 부르며, 대체로 음향 신호가 믹싱되기 이전의 각각의 소스들이 모든 시간-주파수 영역에서 겹쳐지지 않는다는 가정(W-Disjoint Orthogonal)을 기반으로 시간-주파수 영역에서 주요 프로세싱이 이루어진다.
본 발명의 일실시예에서는 이러한 업-믹싱 기법을 후방의 서라운드 신호를 생성하는데 이용할 수 있다.
N개의 소스가 스테레오로 믹스되었다고 하면 아래의 수학식 3과 같이 신호 모델을 세울 수 있다.
[수학식 3]
Figure 112009070089388-PAT00004
여기서 s j (t) 는 각각의 원래 신호들, x 1(t) 는 믹싱된 왼쪽 채널의 신호, x 2(t) 는 믹싱된 오른쪽 채널의 신호,
Figure 112009070089388-PAT00005
는 얼마나 패닝이 되었는지를 나타내는 패닝계수(Panning-coefficient),
Figure 112009070089388-PAT00006
는 왼쪽 채널에 비해서 오른쪽 채널이 얼마나 지연(Delay) 되었는지를 나타내는 지연 계수(Delay-coefficient), 그리고 n 1(t)과 n 2(t) 는 각각의 채널에 삽입된 노이즈이다.
수학식 3과 같은 신호 모델은 양 채널간 지연을 고려한 모델이며, 신호 모델을 단순화하기 위해서 업-믹싱 대상신호를 앰플리튜드-패닝(Amplitude-panning)방식으로 스튜디오 믹싱된 음향 신호에 한정하면 지연 계수와 노이즈를 무시할 수 있고, 수학식 4와 같은 단순한 신호 모델을 구할 수 있다.
[수학식 4]
Figure 112009070089388-PAT00007
각각의 소스들이 얼마나 패닝되었는지를 나타내는 패닝 계수를 찾기 위하여 신호 모델을 푸리에 변환(Fourier-transform) 하면 수학식 5과 같이 나타낼 수 있다.
[수학식 5]
Figure 112009070089388-PAT00008
특정 주파수 ω0에서의 X1(ω0)와 X2(ω0)는 아래의 수학식 6와 같이 나타낼 수 있으므로,
[수학식 6]
Figure 112009070089388-PAT00009
X1(ω0)와 X2(ω0)양변을 나누어주고 정리하면 다음의 수학식 7와 같이 나타낼 수 있다.
[수학식 7]
Figure 112009070089388-PAT00010
수학식 7를 이용하여 모든 ω 와 τ에서의 패닝 계수를 구할 수 있다.
앞서 언급한 W-Disjoint Orthogonal 가정이 맞다면, 모든 시간-주파수 영역에서의 패닝 계수들은 믹싱할 때 사용한 패닝 계수들로만 구성 되어야 한다. 하지만, 실제로 그렇지 않으며 이는 실제 음향 소스들이 가정을 만족하지 않기 때문이 다.
이는 에너지 히스토그램을 이용하여 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 주 패닝의 개수를 N으로 결정하는 주 패닝 계수 추정기(216)에 의해 보완할 수 있다.
각각의 타임 프레임(Time-Frame)에서 모든 주파수의 패닝 계수를 구한 후, 각각의 패닝 계수들이 가지고 있는 에너지들을 합산하여 에너지 히스토그램을 구하면, 에너지가 집중되는 곳에 사운드 소스가 있다고 판단할 수 있다.
도 4는 본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에서의 에너지 히스토그램(Energy Histogram)의 테스트 결과를 나타낸 도면이다. 에너지 히스토그램(Energy Histogram)에서 하얀색 부분은 에너지가 많은 부분을 나타내며 도 4를 참조하면 예를 들어, 5초 동안의 에너지 히스토그램에서 전체적으로 0.2, 0.4, 0.8에서의 에너지가 높다는 것을 확인할 수 있다.
여기에 위상 차이를 고려하면, 해당 패닝 계수에서의 에너지 집중도를 높일 수 있다. 이는 음원 소스 간 간섭이 작으면 양쪽 채널의 위상 차이는 작아지며, 간섭이 크면 양쪽 채널의 위상차이가 커진다는 사실에 기반하고 있다.
위와 같은 과정을 통하여 몇 개의 음원 소스가 믹싱되었는지와 각각의 패닝 계수를 찾아낼 수 있다.
음원 소스의 개수와 패닝 계수가 결정된 다음, 믹싱된 신호에서 특정 방향으로 패닝된 소스를 추출하는 방법은 다음과 같다.
모든 타임 프레임에 걸쳐 각각의 주파수가 가진 α에 해당하는 웨이트 팩 터(Weight factor)의 값을 곱해주어 시간-주파수 영역에서 신호를 만들고, 이를 역푸리에 변환(Inverse-Fourier Transform)하여 원래의 시간영역으로 이동시킴으로써 수학식 8과 같이 원하는 음원 소스를 추출할 수 있다.
[수학식 8]
Figure 112009070089388-PAT00011
Figure 112009070089388-PAT00012
본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에서 실제 각 프레임 신호별로 패닝계수를 이용하여 채널 신호를 분리하는 기준은 수학식 8에서의 현재 패닝 계수(α)를 이용해 이루어지며, 원하는 패닝 계수(α0)는 주 패닝 계수 추정기(216)로부터 구해진 주 패닝 계수이다.
주 패닝 계수 추정기(216)는 현재 패닝 계수들의 에너지 히스토그램을 구하고, 이를 통해 분리해야 할 채널의 수 N을 결정한다. 주 패닝 계수 추정기(216)에서 결정된 채널의 수 N 및 주 패닝 계수는 차후 현재 패닝 계수와 함께 현재 입력 신호의 패닝 정도를 고려하여 신호를 분리하는데 이용된다.
여기서 웨이트 팩터(Weight factor)는 가우시안 윈도우를 사용할 수 있다. 특정 음원 소스를 추출하는데 있어서 오류와 왜곡과 같은 문제를 피하기 위해서는, 원하는 패닝 계수를 중심으로 부드럽게 감쇄되는 형태의 윈도우를 사용할 수 있으며, 일예로 윈도우의 폭을 조절할 수 있는 가우시안 형태의 윈도우를 사용할 수 있 다.
윈도우의 폭이 넓어지면 음원 소스는 부드럽게 추출되지만 원하지 않는 다른 음원 소스들도 같이 추출되며, 윈도우의 폭이 좁아지면 원하는 음원 소스 위주로 추출되지만 부드럽지 못하고 잡음이 많이 섞인 특성을 보이게 된다. 기본값 ν는 시간-주파수 영역에서의 값이 0이 되어 잡음이 발생하는 것을 방지하기 위하여 사용되었다.
앰플리튜드-패닝된 멀티채널 신호로부터 각각의 음원 소스를 추출하는 업-믹싱 방법은 패닝 계수를 기반으로 선형적으로 보간된 웨이트 팩터를 사용하여 보다 자연스럽게 소스를 추출한다.
하지만 앰플리튜드-패닝된 소스를 그 대상으로 한정하였기에 더 다양한 환경에 적합하고 스튜디오가 아닌 실제 환경에서 있을 수 있는 채널 간 지연시간을 고려하여 개선하는 것이 필요하다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치는 현장감이나 공간감에 대한 앰비언스 신호(Ambience Signal)에 대한 처리를 통하여 후방 서라운드에 대한 실제감과 넓은 공간 이미지(Wide Spatial Image)에 대한 성능을 개선할 수 있다.
사운드 합성기(230)는 N개의 사운드 신호를 M개의 사운드 신호로 합성한다. 사운드 합성기(230)는 사운드 분리기(210)에서 추출된 패닝 계수와 추출된 패닝 계수 중 도 4와 같이 주 패닝 계수 추정기(216)에서의 에너지 히스토그램에 의해 결정된 주 패닝 계수에 의해 생성되는 N 개의 사운드 신호를 스피커 시스템에 맞는 M 개의 사운도 신호로 합성한다.
또한, 사운드 합성기(230)는 미리 설정된 위치에서 측정된 머리 전달 함수(HRTF)를 이용하여 M개의 사운드 신호를 생성하는 바이노럴 합성기(Binaural synthesizer)(233)를 포함할 수 있다.
바이노럴 합성기(233)는 다채널의 오디오 신호를 공간적(입체적) 방향성을 유지하면서 두 채널로 믹싱하는 기능을 한다. 일반적으로 사람의 두 귀로 입체적 방향감을 인지하는 정보를 담고 있는 머리전달함수(HRTF)를 사용하여 바이노럴 사운드를 생성한다.
바이노럴 사운드는 사람이 두 귀만으로 소리의 방향을 인지할 수 있다는 사실에 착안하여 양쪽 귀에 들리는 소리를 두 개의 채널을 사용하여 스피커나 헤드폰으로 재현하는 기술로서, 가상음원과 사람의 귀 사이의 음향학적 전달함수인 머리전달함수가 주요 요소이다.
두 귀만을 가진 사람이 3차원 공간 상에서 방향을 인지할 수 있는 것은 바로 음원의 위치에 대한 정보를 담고 있는 머리전달함수 때문이다.
머리 전달 함수는 무향실 내에서 가짜 머리를 이용하여 여러 각도에서 배치한 스피커에서 나오는 음들을 녹음하여 푸리에(Fourier) 변환한 것이며, 소리가 들어오는 각도에 따라 달라지기 때문에 여러 위치에서 나오는 음들에 대해 머리 전달 함수를 측정하고 이를 데이터베이스로 구축하여 사용하게 된다.
머리전달함수를 가장 단순하게 대표적으로 표현하는 방향성 인자는 두 귀에 도달하는 사운드의 레벨차인 IID(Inter-aural Intensity Difference)와 두 귀에 도 달하는 사운드의 시간차 ITD (Inter-aural Time Difference)이며, 주파수 별로 그리고 3차원적 각 방향 별로 IID와 ITD가 저장되어 있다.
이와 같이 머리전달함수를 이용하여 2 채널의 바이노럴 사운드를 생성하여 D/A를 통해서 헤드폰이나 스피커로 출력한다. 스피커 재생 시에는 크로스톡 제거(Crosstalk Canceller) 기술이 필요하며, 이를 통해 실제 스피커는 그대로 있지만 좌우 스피커의 위치가 귀 바로 옆으로 다가오는 것처럼 느끼게 해줌으로써 이어폰으로 듣는 것과 같은 효과를 줄 수 있다.
사운드 합성기(230)는 예를 들어, 실제 원음 소스의 개수가 7개이고, 사운드 분리기(210)를 통해 원래 3 채널로 입력된 신호가 원음 소스의 개수인 7개의 사운드 소스로 분리된 뒤, 분리된 7개의 사운드 신호를 실제 스피커 시스템에 맞는 5개의 채널인 신호로 합성하도록 할 수 있다.
이러한 사운드 합성기(230)에서의 사운드 합성 방법은 7.1 채널로 인코딩된 사운드를 5.1 채널 스피커 시스템으로 재생하는 경우를 예를 들어 설명할 수 있다.
여기서 5.1 채널은 정면에 배치되는 레프트(Left, 이하 L) 채널, 라이트(Right, 이하 R) 채널, 센터(Center, 이하 C)채널, 후방에 배치되는 레프트 서라운드(Left Surround, 이하 SR) 채널, 라이트 서라운드(Light Surround, 이하 SL) 채널 및 0~120Hz의 주파수 신호를 재생하는 저주파향상채널((Low Frequency Effect, 이하 LFE)의 6채널을 의미한다.
또한, 7.1 채널은 5.1채널에 레프트 백(Left Back, 이하 BL)채널, 라이트 백(Right Back, 이하 BR) 채널이 더해진 8채널을 의미한다.
본 발명의 일실시예에 따른 사운드 합성기(230)는 도 5를 참조하여 설명한다.
도 5는 본 발명의 일실시예에 따른 사운드 합성기의 블록도이다.
도 5의 사운드 합성기는 가상 신호처리부(500), 디코더(510) 및 6개의 스피커들로 구성된다. 여기서 가상신호처리부(500)는 신호 보정부(520), 백서라운드 필터부(530)를 구비한다. 그리고 백서라운드 필터부(530)는 바이노럴 합성부(533)와 크로스토크 캔설러(536)를 구비한다.
7.1 채널중 레프트(L)채널, 라이트(R)채널, 센터(C)채널, 레프트 서라운드(SL)채널, 라이트 서라운드(SR)채널, 저주파향상채널(LFE) 채널은 시간 지연과 출력 레벨을 보정하여 그에 상응하는 5.1채널 스피커로 재생되고, 레프트 백(BL), 라이트 백(BR) 채널 신호는 백 서라운드 필터행렬을 통해 필터링되어 레프트 서라운드 스피커와 라이트 서라운드 스피커로 재생된다.
도 5를 참조하면, 디코더(510)는 DVD 재생기로부터 입력되는 7.1채널 오디오 비트스트림을 8채널 즉, 레프트(L)채널, 라이트(R)채널, 센터(C)채널, 레프트 서라운드(SL)채널, 라이트 서라운드(SR)채널, LFE 채널, 레프트 백(BL)채널, 라이트 백(BR) 채널로 분리한다.
백서라운드 필터부(530)는 디코더(510)에서 출력되는 레프트 백(BL)채널과 라이트 백(BR) 채널에 대해서 가상의 레프트 백 스피커와 가상의 라이트 백 스피커를 형성한다.
백서라운드 필터부(530)는 바이노럴합성부(533) 및 크로스토크 캔설러(536) 를 구비하여 디코더(510)에서 분리된 레프트 백 및 라이트 백 채널의 신호에 대해 소정의 위치에서 측정한 머리 전달 함수(HRTF)를 바탕으로 백서라운드 위치에 대한 가상 음원을 형성하고 그 가상 음원의 크로스토크를 캔설링한다.
또한 바이노럴 합성 행렬과 크로스토크 캔설러 행렬을 콘볼루션하여 백 서라운드 필터 행렬 K(z)을 생성한다.
신호보정부(520)는 디코더(510)에서 출력되는 레프트(Left), 라이트(Right), 센터(Center), 레프트 서라운드(Left Surround), 라이트 서라운드(Right Surround), LFE 채널의 신호에 대한 시간 지연 및 출력 레벨을 보정한다.
만약, 입력되는 7.1채널 사운드 중, 백 레프트 채널과 백라이트 채널 사운드는 백 라이트 서라운드 필터 행렬을 통과시켜 레프트 서라운드 스피커와 라이트 서라운드 스피커를 통해 재생하고 그 외의 5.1채널 사운드는 5.1채널 스피커를 통해 그대로 재생하게 되면 백 서라운드 필터 행렬을 통과한 사운드와 5.1채널 사운드 사이에 시간 지연과 출력 레벨의 차이로 인해 부자연스러운 소리가 나게 된다.
따라서, 신호 보정부(520)는 백서라운드 필터부(530)의 백 서라운드 필터 행렬이 가지고 있는 특성에 따라 5.1채널 사운드에 대해서 시간 지연과 출력 레벨을 보정한다.
또한 신호 보정부(520)는 백 서라운드 필터 행렬의 특성을 보정하는 것이므로 5.1채널 사운드의 각 채널마다 다르게 보정하지 않고 5.1채널 사운드에 대해서 모두 동일하게 시간 지연 및 출력 레벨을 보정한다. 즉, 각 채널 신호에 대해 필터 행렬 G(z)를 콘볼루션한다. 시간 지연 및 출력 레벨 필터 행렬 G(z)는 [수학 식9] 과 같이 설계될 수 있다.
[수학식 9]
G(z) = az-b
여기서, a는 출력 신호 레벨과 관련된 값으로 백 서라운드 필터 행렬의 입력과 출력 신호의 RMS 전력(Power)을 비교하여 결정하고, b는 백 서라운드 필터 행렬의 시간 지연 값으로 백 서라운드 필터 행렬의 임펄스 응답이나 위상(Phase) 특성 혹은 청취 실험을 통해서 구한다.
제1, 제2가산부(540, 550)는 신호 보정부(520)에서 생성된 레프트/라이트 서라운드 채널의 신호와 백 서라운드 필터부(530)에서 형성된 가상 레프트/라이트 백채널 신호를 더한다.
즉, 7.1채널 사운드는 신호 보정부(520)용 필터 행렬(G(z))과 백 서라운드 필터용 필터 행렬(K(z))를 통과 하여 5.1채널 사운드로 다운 믹싱된다. 레프트(L), 라이트(R), 센터(C), 저주파향상(LFE) 채널 신호는 신호 보정부(520)용 행렬 G(z)을 통과하여 각각 레프트 스피커, 라이트 스피커, 센터 스피커, 서브우퍼로 재생된다.
그리고 레프트 서라운드(SL), 라이트 서라운드(SR) 채널 신호는 신호 보정부(520)용 행렬 G(z)을 통과하여 왼쪽 오른쪽 2개의 출력 신호로 생성된다. 그리고 레프트 백(BL) 채널 및 라이트 백(BR) 채널 신호는 백서라운드 필터(530)용 행렬 K(z)을 통과하여 왼쪽 오른쪽 2개의 출력 신호로 생성된다.
최종적으로 제1가산부(540)는 레프트 서라운드(SL) 채널의 신호와 레프트 백(BL) 채널 신호를 더해서 레프트 서라운드 스피커로 출력한다. 그리고, 제2가산부(550)는 라이트 서라운드(SR) 채널 신호와 라이트 백(BR) 채널 신호를 더하여 라이트 서라운드 스피커로 출력한다.
또한 5.1채널 사운드에 대해서는 그대로 바이패스하여 5.1채널의 스피커를 통해서 재생한다. 결국, 7.1채널 사운드는 5.1채널 사운드로 다운 믹싱되어 5.1 채널 스피커들로 재생된다.
도 6은 도 5의 바이노럴 합성부(533)의 상세도이다.
도 6의 바이노럴 합성부는 제1, 제2, 제3, 제4콘볼루션부(601,602,603,604)와 제1, 제2합산부(610,620)로 구성된다.
앞에서 기술한 바와 같이, 음원과 고막 사이의 음향학적 전달함수를 머리 전달함수(HRTF) 라고 한다. 이러한 머리전달함수는 두 귀 간의 시간차와 두 귀간의 레벨차, 귓바퀴의 형상(pinna)을 포함하여 소리가 전달되어온 공간의 특성을 나타내는 많은 정보를 포함한다.
특히, 머리전달함수는 위와 아래의 음상 정위에 결정적인 영향을 미치는 귓바퀴에 대한 정보가 담겨 있다. 그러나 형상이 복잡한 귓바퀴는 모델링이 쉽지 않기 때문에 머리전달함수는 주로 더미 헤드(dummy head)를 이용하여 측정된다.
백서라운드(Back Surround) 스피커는 일반적으로 135도 - 150도 사이에 위치시킨다. 따라서 머리전달함수는 가상의 스피커를 135도 - 150도 사이에 정위시키기 위해서 정면에서 왼쪽과 오른쪽으로 135도 - 150도 사이에서 측정된다.
이때 왼쪽 135도 - 150도에 위치한 음원에서부터 더미 헤드의 왼쪽 귀와 오 른쪽 귀에 해당하는 머리전달함수를 각각 B11, B21이라고 하고, 오른쪽 135도-150도 사이에 위치한 음원에서부터 더미헤드의 왼쪽 귀와 오른쪽 귀에 해당하는 머리전달함수를 각각 B12, B22라고 한다.
도 6에 도시된 바와 같이 제1콘볼루션부(601)는 레프트 백 채널 신호(Lb)와 머리전달함수(B11)를 콘볼루션하고, 제2콘볼루션부(602)는 레프트 백 채널 신호(Lb)와 머리전달함수(B21)를 콘볼루션하고, 제3콘볼루션부(603)는 라이트 백 채널 신호(Rb)와 머리전달함수(B12)를 콘볼루션하고, 제4콘볼루션부(604)는 라이트 백 채널 신호(Rb)와 머리전달함수(B22)를 콘볼루션한다.
제1합산부(610)는 제1콘볼루션값과 제3콘볼루션값을 합하여 제1가상 레프트 채널 신호로 형성하고, 제2합산부(620)는 제2콘볼루션값과 제4콘볼루션값을 합하여 제2가상 라이트 채널 신호로 형성한다. 결국, 왼쪽 귀에 대한 머리전달함수를 거친 신호와 오른쪽 귀에 대한 머리전달함수를 거친 신호가 합해져 왼쪽 가상 스피커로 출력되고, 오른쪽 귀에 대한 머리전달함수를 거친 신호와 왼쪽 귀에 대한 머리전달함수를 거친 신호가 합해져 오른쪽 가상 스피커로 출력된다.
따라서 청취자는 헤드폰을 통해 바이노럴 합성된 2채널의 신호를 듣게 되면 음상이 왼쪽과 오른쪽으로 135도 - 150도 사이에 위치하는 것처럼 느끼게 된다.
도 7은 도 5의 크로스토크 캔설러(536)의 개념도이다.
바이노럴 합성 기술은 헤드폰으로 재생했을 때 가장 좋은 성능을 나타낸다. 두 개의 스피커를 통해서 재생을 하게 되면 도 7에서 보는 것과 같이 두 개의 스피커와 두 귀 사이에서 크로스토크(Crosstalk) 현상이 발생하여 정위감 성능이 저하 된다.
즉, 왼쪽 채널의 사운드는 왼쪽 귀에서만 들리고 오른쪽 채널의 사운드는 오른쪽 귀에서만 들려야 한다. 그러나 두 채널간에 크로스토크 현상이 발생하여 왼쪽 채널의 사운드가 오른쪽 귀에도 들리게 되고 오른쪽 채널의 사운드는 왼쪽 귀에도 들리게 되어 정위감 성능이 저하된다. 따라서 왼쪽(오른쪽) 스피커에서 재생되는 신호가 청취자의 오른쪽 귀(또는 왼 쪽 귀)에서 들리지 않도록 크로스 토크를 제거해야 한다.
도 7을 참조하면, 일반적으로 서라운드 스피커는 청취자 중심으로 정면에서 왼쪽 또는 오른쪽으로 90 - 110도에 설치되어 있으므로 크로스토크 캔설러를 설계하기 위해 먼저 90 - 110도 사이의 머리전달함수를 측정한다.
왼쪽 90도 - 110도에 위치한 스피커에서부터 더미헤드의 왼쪽 귀와 오른쪽 귀에 해당하는 머리전달함수를 각각 H11, H21 이라고 하고 오른쪽 90도 - 110도에 위치한 스피커에서부터 더미헤드의 왼쪽 귀와 오른쪽 귀에 해당하는 머리전달함수를 각각 H12, H22이라고 한다. 이 머리전달함수들(H11 , H12, H21, H22)을 이용하여 크로스토크 캔설용 행렬 C(z)는 [수학식 10]과 같이 머리전달함수 행렬의 역행렬로 설계한다.
[수학식 10]
Figure 112009070089388-PAT00013
도 8은 도 5의 백서라운드 필터(530)의 상세도이다.
바이노럴 합성부(533)는 가상의 스피커를 레프트 백 스피커와 라이트 백 스피커의 위치로 정위시키는 필터 행렬 형태이고, 크로스토크 캔설러(536)는 두 스피커와 두 귀 사이의 크로스토크 현상을 제거하는 필터 행렬 형태이다. 따라서 백 서라운드 필터 행렬 K(z)는 [수학 식 11]과 같이 바이노럴 합성용 행렬과 크로스토크 캔설용 행렬을 곱한다.
[수학식 11]
Figure 112009070089388-PAT00014
도 8에서 보는 것처럼 레프트 백 채널 신호(Lb) 및 라이트 백 채널 신호(Rb)를 백 서라운드 필터 행렬 K(z)와 콘볼루션(Convolution)하면 두 채널의 신호가 얻어 진다. 즉, 도 8에 도시된 바와 같이 제1콘볼루션부(801)는 레프트 백 채널 신호(Lb)와 필터 계수(K11)를 콘볼루션하고, 제2콘볼루션부(802)는 레프트 백 채널 신호(Lb)와 필터계수(K21)를 콘볼루션하고, 제3콘볼루션부(803)는 라이트 백 채널 신호(Rb)와 필터계수(K12)를 콘볼루션하고, 제4콘볼루션부(804)는 라이트 백채널 신호(Rb)와 필터계수(K22)를 콘볼루션한다.
제1합산부(810)는 제1콘볼루션값과 제3콘볼루션값을 합하여 가상의 레프트 백 음원으로 형성하고, 제2합산부(820)는 제2콘볼루션값과 제4콘볼루션값을 합하여 가상의 백 음원으로 형성한다.
이 두 채널의 신호를 각각 레프트 서라운드 스피커(Left Surround Speaker) 및 라이트 서라운드 스피커(Right Surround Speaker) 통해 재생하면 레프트 백 채널과 라이트 백 채널 사운드가 청취자의 뒤쪽에서(135도 - 150도)에서 들리는 것과 같은 효과가 있다.
도 9는 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(900)를 나타낸 도면이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(900)는 프라이머리-앰비언스 분리기(primary-ambience separator)(910), 채널 추정기(channel estimator)(930), 소스 분리기(source separator)(950) 및 사운드 합성기(970)를 포함한다.
프라이머리-앰비언스 분리기(primary-ambience separator)(910)는 소스 사운드 신호(source sound signal)(SL,SR)를 프라이머리 신호(primary signal)(PL,PR) 및 앰비언스 신호(ambience signal)(AL,AR)로 분리한다.
일반적으로 주파수-영역 업-믹싱 적용 방법은 시간-주파수 영역에서 앰비언스 성분(ambience components)으로 대부분 구성된 영역을 판단하는 정보를 추출하고, 이를 이용하여 비선형 매핑 함수(nonlinear mapping function)에 대한 웨이팅(Weighting) 값을 적용하여 앰비언스 신호를 합성하는 방법을 사용한다.
앰비언스 인덱스(Ambience index)정보를 추출하는 방법으로는 채널 간 코히런스 측정(Inter-channel coherence measure)방식을 사용한다. 앰비언스 추 출(Ambience extraction)방식은 패닝과 앰비언스 정보 추출 방식을 이용한 STFT-영역 접근을 이용한 업-믹싱 방법이다.
스테레오 신호를 대상으로 가상 채널을 분리하는 방법은 다음과 같다.
두 소스 신호 간의 앰플리튜드-패닝 정도를 추출하여 양쪽 채널에 믹싱된 신호로부터 믹싱 이전의 신호를 추출하는 업-믹싱 과정을 통하여 센터 채널을 생성한다.
두 소스 신호 간의 인터-코히런스(inter-coherence)를 통하여 앰비언스 정도를 추출하여 각 시간-주파수 영역 신호에 대한 비선형 웨이팅(nonlinear weighting) 값을 도출한다. 그 후 도출된 비선형 웨이팅 값을 이용하여 앰비언스 신호를 생성하는 업-믹싱 과정을 통하여 후방 채널을 생성한다.
채널 추정기(channel estimator)(930)는, 프라이머리-앰비언스 분리기(910)에서 분리된 소스 사운드 신호(SL, SR)에 기초하여, 프라이머리 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정한다.
여기서 프라이머리 신호가 분리되어 생성될 사운드 신호의 개수란 원음 소스의 믹싱 특성 또는 공간 특성에 따라 원음이 몇 개의 소스로 구성되었는지를 나타낸다.
채널 추정기(930)에서 결정될 사운드 신호의 개수 N은 소스 사운드 신호에 믹싱된 소스의 수에 따라 결정될 수 있다.
또한 채널 추정기(930)는 소스 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor)(933) 및 에너지 히스토그램을 이 용하여 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 주 패닝 계수의 개수를 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)(936)을 포함할 수 있다.
주 패닝 계수 추정기(936)는 패닝 계수 추출기(933)로부터 제공된 패닝 계수들에 대한 에너지 히스토그램을 이용하여 에너지 분포가 강하게 나타나는 부분을 판단함으로써 원음 소스의 패닝 계수 및 주 패닝 계수의 개수 N을 결정할 수 있다.
여기서 결정된 주 패닝 계수의 개수 N은 소스 사운드 신호가 몇 개의 채널로 분리되어야 바람직할지를 나타내며, 소스 분리기(950)로 제공되어 원음 소스를 분리하는데 이용된다.
소스 분리기(source separator)(950)는, 프라이머리-앰비언스 분리기(910)로부터 제공받은 프라이머리 신호(PL,PR)를 N개의 사운드 신호로 분리한다.
채널 추정기(930)와 소스 분리기(950)를 통해 이루어지는 채널 분리에 대하여 더욱 상세히 설명하면 다음과 같다.
프라이머리-앰비언스 분리기(primary-ambience separator)(910)로 입력되는 소스 사운드 신호(source sound signal)(SL,SR)는 동시에 채널 추정기(930)의 패닝 계수 추출기(933)로 입력되고, 패닝 계수 추출기(933)는 입력된 소스 사운드 신호(SL,SR)에 대한 현재 패닝 계수를 추출한다.
이때 패닝 계수 추출기(933)에 의해 추출된 패닝 계수는 주 패닝 계수 추정기(936)로 제공되고, 주 패닝 계수 추정기(936)는 제공된 패닝 계수들에 대한 에너 지 히스토그램을 이용하여 에너지 분포가 강하게 나타나는 부분을 판단함으로써 주 패닝 계수와 주 패닝 계수의 개수 N(분리되어야 할 채널 혹은 사운드의 수)를 결정하게 된다.
패닝 계수 추출기(933)로부터 추출된 현재 패닝 계수와 주 패닝 계수 추정기(936)를 통해 결정된 주 패닝 계수 및 주 패닝 계수의 개수 N은 소스 분리기(950)로 제공된다.
소스 분리기(950)는 주 패닝 계수 및 주 패닝 계수의 개수 N을 기반으로 현재 패닝 계수값을 이용하여 입력 신호의 패닝 정도를 고려하여 입력된 소스 사운드 신호를 분리한다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에서 실제 각 프레임 신호 별로 패닝계수를 이용하여 채널 신호를 분리하는 방법은 전술한 수학식 8의 설명을 참조한다.
채널 추정기(930)와 프라이머리-앰비언스 분리기(910)로 입력되는 사운드 신호 SL과 SR은 분리된 채널 신호 간(SL과 BL, SR과 BR)의 비상관 정도를 개선하기 위하여 프라이머리 신호(PL,PR)와 앰비언스 신호(AL,AR)를 분리하여 프라이머리-앰비언스 분리기(910)에서 소스 분리기(950)로 입력되는 프라이머리 컴포넌트에 대하여 채널 분리를 수행한 후에 백-서라운드에 프라이머리-앰비언스 분리기(910)로부터 제공되는 앰비언스 컴포넌트를 더해 줌으로써 더 넓은 공간감을 갖게 해주고 비상관 정도를 개선하여 지각적으로 음원의 거리와 음상의 폭을 넓일 수 있다.
사운드 합성기(970)는, N개의 사운드 신호를 M개의 사운드 신호로 합성하고, M개의 사운드 신호 중 적어도 하나와 앰비언스 신호를 합성한다.
도 10은 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(1000)의 블록도이다.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(1000)는 사운드 분리기(sound separator)(1010) 및 사운드 합성기(1030)를 포함한다.
사운드 분리기(sound separator)(1010)는 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보를 이용하여 다채널 사운드 신호를 N개의 사운드 신호로 분리한다.
여기서 사운드 분리기(1010)는 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보를 이용하여 다채널 사운드 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정한다.
이때 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보는 다채널 사운드 신호로부터 추출된 패닝 계수일 수 있다.
또한 사운드 분리기(1010)는 다채널 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor)(1013), 및 에너지 히스토그램을 이용하여 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 주 패닝 계수의 개수를 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)(1016)를 포함할 수 있다.
사운드 합성기(1030)는 N개의 사운드 신호를 M개의 사운드 신호로 합성한다.
사운드 분리 방법에서 음상을 분리한 후에 앞서 기술한 것과 같이 대상 실제 스피커(real speaker) 수에 따라 재-합성하거나 실제 출력 스피커 수만큼 음상을 분리하고 분리된 음상 채널 신호들을 실제 출력 스피커의 위치에 따라 리-패닝(re-panning)한다. 여기서 리-패닝이란 하나의 음상 소스를 다른 크기로 양쪽 채널에 삽입함으로써 재생시 방향감을 구현하는 진폭 패닝(Amplitude-Pan) 방식을 의미한다.
리-패닝에서 실제 출력 스피커 수와 동일한 채널 신호로 합성하는 과정에서, 분리된 음향 채널 소스들의 비상관도(De-correlation) 정도가 저하되고, 이렇게 만들어진 채널 소스들을 가상 공간 매핑을 통하여 다운-믹싱하여 재생을 하면 동일한 음원간의 간섭이 심화되어 음원 위치화(source localization) 성능을 저하시키게 된다.
본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에서는 단순히 업-믹싱 시스템만을 고려하는 것이 아니라 업-믹싱하여 가상 채널 매핑을 수행하기 때문에 업-믹싱된 채널 소스를 정해진 스피커 개수에 따라 재-합성할 필요가 없다. 또한 채널 분리할 대상 음향 소스간의 특성을 시변적으로 구하는 과정을 통하여 몇 개의 음상 소스가 믹싱되었는지를 예측하여 분리될 음향 채널 수를 판단하고, 이를 이용하여 매 처리 단위마다 가변 채널 수로 음상 소스를 분리하는 가상채널 분리 방법을 적용한다.
이때 분리된 음향 채널은 실제 출력 스피커의 수의 제약 때문에 채널간의 비상관도를 저해하는 재-합성하는 과정을 거치지 않고 분리된 가변 채널 음상 소스의 수와 위치 정보에 따라 가상 공간에 정확한 음원 위치화(Multiple source binaural synthesizer)하는 다운-믹싱 과정과 간섭제거(Cross-talk canceller)를 수행하여 다채널 입체 음향 사운드를 생성할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(1100)를 나타낸 도면이다.
도 11을 참조하면, 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(1100)는 본 발명에서 제시하는 가상채널 분리와 가상채널 매핑 및 간섭제거를 결합하여 5.1채널 소스와 스피커 시스템에서 가상 다채널 입체 음향을 재생하기 위하여 프라이머리-앰비언스 분리기(primary-ambience separator)(1110), 채널 추정기(channel estimator)(1130), 소스 분리기(source separator)(1150) 및 사운드 합성기(1170)를 포함하여 구성된다.
프라이머리-앰비언스 분리기(1110)는 5.1 서라운드 사운드의 SL 신호 및 SR 신호로부터 프라이머리 신호(PL,PR) , 앰비언스 신호(AL,AR)을 생성한다.
채널 추정기(1130)는 프라이머리 신호 PL, 및 PR로부터 생성될 사운드 신호의 개수 N을 결정한다. 이때 채널 추정기(1130)는 SL 신호 및 SR 신호의 믹싱 특성 또는 공간 특성에 기초하여 프라이머리 신호 PL, 및 PR로부터 생성될 사운드 신호의 개수 N을 결정할 수 있다.
또한 채널 추정기(1130)는 SL 신호 및 SR 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor)(1133) 및 에너지 히스토그램을 이용하여 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 주 패닝 계수의 개수를 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)(1136)를 포함할 수 있다.
소스 분리기(1150)는 프라이머리-앰비언스 분리기(1110)로부터 프라이머리 신호 PL, 및 PR을 수신하고, N개의 사운드 신호로 생성한다.
채널 추정기(1130)와 소스 분리기(1150)를 통해 이루어지는 채널 분리에 대하여는 도 9의 채널 추정기(930)와 소스 분리기(950)에 대한 설명을 참조하기로 한다.
사운드 합성기(1170)는 소스 분리기(1150)에서 생성된 N개의 사운드 신호를 합성하여 BL 신호 및 BR 신호를 생성하고, BL 신호와 앰비언스 신호 AL 을 합성하고, BR 신호와 앰비언스 신호 AR 을 합성한다.
사운드 합성기(1170)의 구체적인 실시예에 대하여는 도 5 내지 도 8의 설명 부분을 참조할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에 다채널 사운드를 재생하는 방법을 나타낸 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(200)의 블록도이다.
도 3은 본 발명의 일실시예에 따른 다채널 사운드 신호 생성 장치에서 5.1 채널 오디오 컨텐츠를 5.1 채널 스피커와 7.1채널 스피커에서 재상한 경우에 재생한 사운드가 실제 청취자에게 느껴지는 공간감을 표현한 도면이다.
도 4는 본 발명의 일실시예에 따른 다채널 사운드 신호 생성장치에서의 에너지 히스토그램(Energy Histogram)의 테스트 결과를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 사운드 합성기의 블록도이다.
도 6은 도 5의 바이노럴 합성부(533)의 상세도이다.
도 7은 도 5의 크로스토크 캔설러(536)의 개념도이다.
도 8은 도 5의 백서라운드 필터(530)의 상세도이다.
도 9는 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(900)를 나타낸 도면이다.
도 10은 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(1000)의 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 다채널 사운드 신호 생성장치(1100)를 나타낸 도면이다.

Claims (14)

  1. 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 상기 다채널 사운드 신호의 믹싱 특성 또는 공간 특성을 고려하여 상기 다채널 사운드 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정하고, 상기 다채널 사운드 신호를 상기 N개의 사운드 신호로 분리하는 사운드 분리기(sound separator); 및
    상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하는 사운드 합성기
    를 포함하는 다채널 사운드 신호 생성 장치.
  2. 제1항에 있어서,
    상기 N은 시간에 따라 가변인 다채널 사운드 신호 생성 장치.
  3. 제1항에 있어서, 상기 사운드 분리기는,
    상기 다채널 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor); 및
    에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)
    를 포함하는 다채널 사운드 신호 생성 장치.
  4. 제1항에 있어서, 상기 사운드 합성기는,
    미리 설정된 위치에서 측정된 머리 전달 함수(HRTF)를 이용하여 상기 M개의 사운드 신호를 생성하는 바이노럴 합성기(Binaural synthesizer)
    를 포함하는 다채널 사운드 신호 생성 장치.
  5. 소스 사운드 신호(source sound signal)를 프라이머리 신호(primary signal) 및 앰비언스 신호(ambience signal)로 분리하는 프라이머리-앰비언스 분리기(primary-ambience separator);
    상기 소스 사운드 신호에 기초하여, 상기 프라이머리 신호가 분리되어 생성될 사운드 신호의 개수 N을 결정하는 채널 추정기(channel estimator);
    상기 프라이머리 신호를 상기 N개의 사운드 신호로 분리하는 소스 분리기(source separator); 및
    상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하고, 상기 M개의 사운드 신호 중 적어도 하나와 상기 앰비언스 신호를 합성하는 사운드 합성기
    를 포함하는 다채널 사운드 신호 생성 장치.
  6. 제5항에 있어서, 상기 N은,
    상기 소스 사운드 신호에 믹싱된 소스의 수에 따라 결정되는 다채널 사운드 신호 생성 장치.
  7. 제5항에 있어서, 상기 채널 추정기는,
    상기 소스 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor); 및
    에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)
    를 포함하는 다채널 사운드 신호 생성 장치.
  8. 다채널 사운드 신호(multi-channel sound signal)를 수신하면, 상기 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보를 이용하여 상기 다채널 사운드 신호를 N개의 사운드 신호로 분리하는 사운드 분리기(sound separator); 및
    상기 N개의 사운드 신호를 M개의 사운드 신호로 합성하는 사운드 합성기
    를 포함하는 다채널 사운드 신호 생성 장치.
  9. 제8항에 있어서, 상기 사운드 분리기는,
    상기 다채널 사운드 신호에 믹싱된 소스 신호의 위치 정보를 이용하여 상기 다채널 사운드 신호가 분리되어 생성될 상기 사운드 신호의 개수 N을 결정하는
    다채널 사운드 신호 생성 장치.
  10. 제9항에 있어서, 상기 다채널 사운드 신호에 믹싱된 소스 신호의 상기 위치 정보는,
    상기 다채널 사운드 신호로부터 추출된 패닝 계수인 다채널 사운드 신호 생성 장치.
  11. 제8항에 있어서, 상기 사운드 분리기는,
    상기 다채널 사운드 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor); 및
    에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)
    를 포함하는 다채널 사운드 신호 생성 장치.
  12. 5.1 서라운드 사운드의 SL 신호 및 SR 신호로부터 프라이머리 신호 PL, 프라이머리 신호 PR, 앰비언스 신호 AL, 및 앰비언스 신호 AR을 생성하는 프라이머리-앰비언스 분리기(primary-ambience separator);
    상기 프라이머리 신호 PL 및 상기 프라이머리 신호 PR로부터 생성될 사운드 신호의 개수 N을 결정하는 채널 추정기(channel estimator);
    상기 프라이머리 신호 PL 및 상기 프라이머리 신호 PR을 수신하고, 상기 N개의 사운드 신호로 생성하는 소스 분리기(source separator); 및
    상기 N개의 사운드 신호를 합성하여 BL 신호 및 BR 신호를 생성하고, 상기 BL 신호와 상기 앰비언스 신호 AL을 합성하고, 상기 BR 신호와 상기 앰비언스 신호 AR을 합성하는 사운드 합성기
    를 포함하는 다채널 사운드 신호 생성 장치.
  13. 제12항에 있어서, 상기 채널 추정기는,
    상기 SL 신호 및 상기 SR 신호의 믹싱 특성 또는 공간 특성에 기초하여 상기 N을 결정하는 다채널 사운드 신호 생성 장치.
  14. 제12항에 있어서, 상기 채널 추정기는,
    상기 SL 신호 및 상기 SR 신호로부터 패닝 계수를 추출하는 패닝 계수 추출기(panning coefficient extractor); 및
    에너지 히스토그램을 이용하여 상기 추출된 패닝 계수로부터 주 패닝 계수를 추출하고, 상기 주 패닝 계수의 개수를 상기 N으로 결정하는 주 패닝 계수 추정기(prominent panning coefficient estimator)
    를 포함하는 다채널 사운드 신호 생성 장치.
KR1020090110186A 2009-11-16 2009-11-16 다채널 사운드 신호 생성 장치 KR101567461B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090110186A KR101567461B1 (ko) 2009-11-16 2009-11-16 다채널 사운드 신호 생성 장치
US12/805,121 US9154895B2 (en) 2009-11-16 2010-07-13 Apparatus of generating multi-channel sound signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090110186A KR101567461B1 (ko) 2009-11-16 2009-11-16 다채널 사운드 신호 생성 장치

Publications (2)

Publication Number Publication Date
KR20110053600A true KR20110053600A (ko) 2011-05-24
KR101567461B1 KR101567461B1 (ko) 2015-11-09

Family

ID=44011302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090110186A KR101567461B1 (ko) 2009-11-16 2009-11-16 다채널 사운드 신호 생성 장치

Country Status (2)

Country Link
US (1) US9154895B2 (ko)
KR (1) KR101567461B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130078917A (ko) * 2012-01-02 2013-07-10 삼성전자주식회사 사운드 파노라마 생성 장치 및 방법
WO2014112792A1 (ko) * 2013-01-15 2014-07-24 한국전자통신연구원 사운드 바를 위한 오디오 신호 처리 장치 및 방법
WO2016024847A1 (ko) * 2014-08-13 2016-02-18 삼성전자 주식회사 음향 신호를 생성하고 재생하는 방법 및 장치
US9966081B2 (en) 2016-02-29 2018-05-08 Electronics And Telecommunications Research Institute Method and apparatus for synthesizing separated sound source
KR102048739B1 (ko) * 2018-06-01 2019-11-26 박승민 바이노럴 기술을 이용한 감성사운드 제공방법과 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007207861B2 (en) * 2006-01-19 2011-06-09 Blackmagic Design Pty Ltd Three-dimensional acoustic panning device
AU2013235068B2 (en) 2012-03-23 2015-11-12 Dolby Laboratories Licensing Corporation Method and system for head-related transfer function generation by linear mixing of head-related transfer functions
EP2839461A4 (en) 2012-04-19 2015-12-16 Nokia Technologies Oy AUDIO SCENE APPARATUS
EP2848009B1 (en) * 2012-05-07 2020-12-02 Dolby International AB Method and apparatus for layout and format independent 3d audio reproduction
US9336792B2 (en) * 2012-05-07 2016-05-10 Marvell World Trade Ltd. Systems and methods for voice enhancement in audio conference
US9264812B2 (en) * 2012-06-15 2016-02-16 Kabushiki Kaisha Toshiba Apparatus and method for localizing a sound image, and a non-transitory computer readable medium
JP5734928B2 (ja) * 2012-07-31 2015-06-17 株式会社東芝 音場制御装置及び音場制御方法
DE102012017296B4 (de) * 2012-08-31 2014-07-03 Hamburg Innovation Gmbh Erzeugung von Mehrkanalton aus Stereo-Audiosignalen
US9344826B2 (en) * 2013-03-04 2016-05-17 Nokia Technologies Oy Method and apparatus for communicating with audio signals having corresponding spatial characteristics
WO2015029205A1 (ja) * 2013-08-30 2015-03-05 共栄エンジニアリング株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
KR102443054B1 (ko) * 2014-03-24 2022-09-14 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN106134223B (zh) * 2014-11-13 2019-04-12 华为技术有限公司 重现双耳信号的音频信号处理设备和方法
DE102015104699A1 (de) 2015-03-27 2016-09-29 Hamburg Innovation Gmbh Verfahren zur Analyse und Dekomposition von Stereoaudiosignalen
RU2722391C2 (ru) * 2015-11-17 2020-05-29 Долби Лэборетериз Лайсенсинг Корпорейшн Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала
CN113038354A (zh) 2015-11-17 2021-06-25 杜比实验室特许公司 用于参数化双耳输出系统和方法的头部跟踪
KR102601478B1 (ko) * 2016-02-01 2023-11-14 삼성전자주식회사 콘텐트를 제공하는 전자 장치 및 그 제어 방법
US10251012B2 (en) * 2016-06-07 2019-04-02 Philip Raymond Schaefer System and method for realistic rotation of stereo or binaural audio
EP3373595A1 (en) * 2017-03-07 2018-09-12 Thomson Licensing Sound rendering with home cinema system and television
FR3067511A1 (fr) * 2017-06-09 2018-12-14 Orange Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
US10602296B2 (en) * 2017-06-09 2020-03-24 Nokia Technologies Oy Audio object adjustment for phase compensation in 6 degrees of freedom audio
WO2020016685A1 (en) 2018-07-18 2020-01-23 Sphereo Sound Ltd. Detection of audio panning and synthesis of 3d audio from limited-channel surround sound
CN110267166B (zh) * 2019-07-16 2021-08-03 上海艺瓣文化传播有限公司 一种基于双耳效应的虚拟声场实时交互系统
CN112866896B (zh) * 2021-01-27 2022-07-15 北京拓灵新声科技有限公司 一种沉浸式音频上混方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430528B1 (en) 1999-08-20 2002-08-06 Siemens Corporate Research, Inc. Method and apparatus for demixing of degenerate mixtures
US7257231B1 (en) 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
US7474756B2 (en) 2002-12-18 2009-01-06 Siemens Corporate Research, Inc. System and method for non-square blind source separation under coherent noise by beamforming and time-frequency masking
US7542815B1 (en) 2003-09-04 2009-06-02 Akita Blue, Inc. Extraction of left/center/right information from two-channel stereo sources
US7412380B1 (en) 2003-12-17 2008-08-12 Creative Technology Ltd. Ambience extraction and modification for enhancement and upmix of audio signals
EP1741313B1 (en) 2004-04-16 2008-03-05 Dublin Institute of Technology A method and system for sound source separation
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
EP1761110A1 (en) 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
US8345899B2 (en) * 2006-05-17 2013-01-01 Creative Technology Ltd Phase-amplitude matrixed surround decoder
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
EP2210427B1 (en) 2007-09-26 2015-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for extracting an ambient signal

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130078917A (ko) * 2012-01-02 2013-07-10 삼성전자주식회사 사운드 파노라마 생성 장치 및 방법
US9462405B2 (en) 2012-01-02 2016-10-04 Samsung Electronics Co., Ltd. Apparatus and method for generating panoramic sound
WO2014112792A1 (ko) * 2013-01-15 2014-07-24 한국전자통신연구원 사운드 바를 위한 오디오 신호 처리 장치 및 방법
WO2016024847A1 (ko) * 2014-08-13 2016-02-18 삼성전자 주식회사 음향 신호를 생성하고 재생하는 방법 및 장치
US10349197B2 (en) 2014-08-13 2019-07-09 Samsung Electronics Co., Ltd. Method and device for generating and playing back audio signal
US9966081B2 (en) 2016-02-29 2018-05-08 Electronics And Telecommunications Research Institute Method and apparatus for synthesizing separated sound source
KR102048739B1 (ko) * 2018-06-01 2019-11-26 박승민 바이노럴 기술을 이용한 감성사운드 제공방법과 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치
WO2019231273A3 (ko) * 2018-06-01 2020-02-06 박승민 바이노럴 기술을 이용한 감성사운드 제공방법과 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US9154895B2 (en) 2015-10-06
US20110116638A1 (en) 2011-05-19
KR101567461B1 (ko) 2015-11-09

Similar Documents

Publication Publication Date Title
KR101567461B1 (ko) 다채널 사운드 신호 생성 장치
KR100644617B1 (ko) 7.1 채널 오디오 재생 방법 및 장치
RU2752600C2 (ru) Способ и устройство для рендеринга акустического сигнала и машиночитаемый носитель записи
US7231054B1 (en) Method and apparatus for three-dimensional audio display
US9635484B2 (en) Methods and devices for reproducing surround audio signals
JP5323210B2 (ja) 音響再生装置および音響再生方法
JP4850948B2 (ja) 空間効果を考慮に入れたバイノーラル合成のための方法
US8374365B2 (en) Spatial audio analysis and synthesis for binaural reproduction and format conversion
KR100608024B1 (ko) 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
US20150131824A1 (en) Method for high quality efficient 3d sound reproduction
US8605914B2 (en) Nonlinear filter for separation of center sounds in stereophonic audio
WO2009046223A2 (en) Spatial audio analysis and synthesis for binaural reproduction and format conversion
KR20150083734A (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
KR20100081999A (ko) 헤드폰 재생 방법, 헤드폰 재생 시스템, 컴퓨터 프로그램 제품
US20130089209A1 (en) Audio-signal processing device, audio-signal processing method, program, and recording medium
CN113170271A (zh) 用于处理立体声信号的方法和装置
EP2484127B1 (en) Method, computer program and apparatus for processing audio signals
KR20130080819A (ko) 다채널 음향 신호의 정위 방법 및 장치
EP1815716A1 (en) Apparatus and method of processing multi-channel audio input signals to produce at least two channel output signals therefrom, and computer readable medium containing executable code to perform the method
JP2003523675A (ja) 立体音響信号用の多チャンネル音再生システム
US9484008B2 (en) Method and apparatus for down-mixing of a multi-channel audio signal
Nagel et al. Dynamic binaural cue adaptation
US20200059750A1 (en) Sound spatialization method
JP4951985B2 (ja) 音声信号処理装置、音声信号処理システム、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 4