KR20110041062A - 가상 스피커 장치 및 가상 스피커 처리 방법 - Google Patents

가상 스피커 장치 및 가상 스피커 처리 방법 Download PDF

Info

Publication number
KR20110041062A
KR20110041062A KR1020090098072A KR20090098072A KR20110041062A KR 20110041062 A KR20110041062 A KR 20110041062A KR 1020090098072 A KR1020090098072 A KR 1020090098072A KR 20090098072 A KR20090098072 A KR 20090098072A KR 20110041062 A KR20110041062 A KR 20110041062A
Authority
KR
South Korea
Prior art keywords
signal
channel signal
virtual
transfer function
adder
Prior art date
Application number
KR1020090098072A
Other languages
English (en)
Inventor
이강은
김도형
손창용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090098072A priority Critical patent/KR20110041062A/ko
Priority to US12/805,414 priority patent/US20110091044A1/en
Publication of KR20110041062A publication Critical patent/KR20110041062A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

가상 스피커 장치 및 가상 스피커 처리 방법이 개시된다. 가상 스피커 장치는 가상으로 생성될 가상 스피커가 후방 왼쪽 가상 스피커 및 후방 오른쪽 가상 스피커인 경우 가장 근접한 서라운드 스피커를 이용한다.
채널, 가상 스피커, 크로스토크, 재생

Description

가상 스피커 장치 및 가상 스피커 처리 방법{VIRTUAL SPEAKER APPARATUS AND METHOD FOR POROCESSING VIRTUAL SPEAKER}
아래의 실시예들은 가상 스피커 장치 및 가상 스피커 처리 방법에 관한 것이다.
오디오 기술의 경향은 과거 질(quality) 중심으로 발전되었으나 현재 시스템 용량의 폭발적인 증가로 인하여 소비자들은 리얼리티 중심의 요구가 꾸준히 증가하고 있다. 오늘날 대부분의 오디오 재생 환경은 스테레오 및 5.1 채널 스피커 시스템을 구비하고 있으나 기존 구조하에 5.1 채널 이상으로 증가하는 채널 수를 재생하는데 한계가 있으므로 사용자가 5.1 채널 스피커 시스템을 통해 5.1 채널 이상의 오디오를 느낄 수 있는 가상 스피커 기술이 발전되고 있다.
본 발명의 일실시예에 따른 가상 스피커 장치는 제1 가상 채널 신호와 제2 가상 채널 신호를 합산하는 제1 가산기와, 상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산하는 제2 가산기와, 상기 제1 가산기로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링하는 제1 필터와, 상기 제2 가산기로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링하는 제2 필터와, 상기 제1 필터로부터 출력되는 신호와 상기 제2 필터로부터 출력되는 신호를 합산하는 제3 가산기 및 상기 제1 필터로부터 출력되는 신호에서 상기 제2 필터로부터 출력되는 신호를 감산하는 제4 가산기를 포함한다. 이때, 상기 제1 필터는 상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호를 합산한 값과 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비를 이용하여 필터링할 수 있다. 또한 상기 제2 필터는 상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호의 차이 값과 상기 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비를 이용하여 필터링할 수 있다.
본 발명의 일측면에 따르면, 상기 제1 가산기 및 상기 제2 가산기의 전단에 설치되고, 상기 제1 가상 채널 신호 및 상기 제2 가상 채널 신호를 FFT하는 FFT부 와, 상기 제3 가산기 및 상기 제4 가산기의 후단에 설치되고, 상기 제3 가산기로부터 출력되는 신호 및 상기 제4 가산기로부터 출력되는 신호를 IFFT하는 IFFT부와, 복수 개의 실제 스피커로 출력되는 신호들을 각각 지연시키는 복수 개의 지연기와, 상기 복수 개의 지연기 중 어느 하나의 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제1 신호를 가산하는 제5가산기 및 상기 복수 개의 지연기 중 어느 하나의 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제2 신호를 가산하는 제6 가산기를 더 포함하는 가상 스피커 장치를 제공할 수 있다. 이때, 상기 복수 개의 지연기는 전방 제1 방향 채널 신호를 지연시키는 제1 지연기와, 전방 제2 방향 채널 신호를 지연시키는 제2 지연기와, 전방 제3 방향 채널 신호를 지연시키는 제3 지연기와, 저주파 효과 채널 신호를 지연시키는 제4 지연기와, 서라운드 제1 방향 채널 신호를 지연시키는 제5 지연기 및 서라운드 제2 방향 채널 신호를 지연시키는 제6 지연기를 포함할 수 있다. 또한 상기 제5 가산기는 상기 제5 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제1 신호를 가산하고, 상기 가산된 결과를 서라운드 제1 방향 스피커로 출력하고, 상기 제6 가산기는 상기 제6 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제2 신호를 가산하고, 상기 가산된 결과를 서라운드 제2 방향 스피커로 출력할 수 있다.
또한 본 발명의 일측면에 따르면, 서라운드 제1 방향 채널 신호와 상기 제3 가산기로부터 출력되는 신호를 가산하는 제5 가산기와, 서라운드 제2 방향 채널 신호와 상기 제4 가산기로부터 출력되는 신호를 가산하는 제6 가산기 및 전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제5가산기로부터 출력되는 신호 및 상기 제6 가산기로부터 출력되는 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 IMDCT부를 더 포함하는 가상 스피커 장치를 제공할 수 있다.
또한 본 발명의 일측면에 따르면, 전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제3가산기로부터 출력되는 제1 신호 및 상기 제4 가산기로부터 출력되는 제2 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 IMDCT부와, IMDCT된 제1 신호를 위상 지연시키는 제1 지연기와, IMDCT된 제2 신호를 위상 지연시키는 제2 지연기와, IMDCT된 서라운드 제1 방향 채널 신호와 상기 제1 지연기로부터 출력되는 신호를 가산하는 제5 가산기 및 IMDCT된 서라운드 제2 방향 채널 신호와 상기 제2 지연기로부터 출력되는 신호를 가산하는 제6 가산기를 더 포함하는 가상 스피커 장치를 제공할 수 있다.
또한 본 발명의 일실시예에 따른 가상 스피커 처리 방법은 제1 가상 채널 신호와 제2 가상 채널 신호를 합산하는 제1 가산 단계와, 상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산하는 제2 가산 단계와, 상기 제1 가산 단계에 의해 합산된 결과 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링하는 제1 필터링 단계와, 상기 제2 가산 단계에 의해 감산된 결과 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링하는 제2 필터링 단계와, 상기 제1 필터링 단계에 의해 필터링된 제1 신호와 상기 제2 필터링 단계에 의해 필터링된 제2 신호를 합산하 는 제3 가산 단계 및 상기 제1 필터링 단계에 의해 필터링된 제1 신호에서 상기 제2 필터링 단계에 의해 필터링된 제2 신호를 감산하는 제4 가산 단계를 포함한다. 이때, 상기 제1 필터링 단계는 상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호를 합산한 값과 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비를 이용하여 필터링할 수 있다. 또한, 상기 제2 필터링 단계는 상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호의 차이 값과 상기 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비를 이용하여 필터링할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 제1 가산 단계 및 상기 제2 가산 단계의 이전 단계이며, 상기 제1 가상 채널 신호 및 상기 제2 가상 채널 신호를 FFT하는 FFT 단계와, 상기 제3 가산 단계 및 상기 제4 가산 단계의 이후 단계이며, 상기 제3 가산 단계의 결과 신호 및 상기 제4 가산 단계의 결과 신호를 IFFT하는 IFFT 단계와, 복수 개의 실제 스피커로 출력되는 신호들을 각각 지연시키는 복수 개의 지연 단계와, 상기 복수 개의 지연 단계 중 어느 하나의 지연 단계의 결과 신호와 상기 IFFT 단계의 제1 결과 신호를 가산하는 제5 가산 단계 및 상기 복수 개의 지연 단계 중 어느 하나의 지연 단계의 결과 신호와 상기 IFFT 단계의 제2 결과 신호를 가산하는 제6 가산 단계를 더 포함하는 가상 스피커 처리 방법을 제공할 수 있다. 이때, 상기 복수 개의 지연 단계는 전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 서라운드 제1 방 향 채널 신호 및 서라운드 제2 방향 채널 신호를 각각 지연시킬 수 있다.
또한 본 발명의 일측면에 따르면, 서라운드 제1 방향 채널 신호와 상기 제3 가산 단계의 결과 신호를 가산하는 제5 가산 단계와, 서라운드 제2 방향 채널 신호와 상기 제4 가산 단계의 결과 신호를 가산하는 제6 가산 단계 및 전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제5 가산 단계의 결과 신호 및 상기 제6 가산 단계의 결과 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 단계를 더 포함하는 가상 스피커 처리 방법을 제공할 수 있다.
또한 본 발명의 일측면에 따르면, 전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제3가산기로부터 출력되는 제1 신호 및 상기 제4 가산기로부터 출력되는 제2 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 단계와, IMDCT된 제1 신호를 위상 지연시키는 제1 지연 단계와, IMDCT된 제2 신호를 위상 지연시키는 제2 지연 단계와, IMDCT된 서라운드 제1 방향 채널 신호와 상기 제1 지연 단계의 결과 신호를 가산하는 제5 가산 단계 및 IMDCT된 서라운드 제2 방향 채널 신호와 상기 제2 지연 단계의 결과 신호를 가산하는 제6 가산 단계를 더 포함하는 가상 스피커 처리 방법을 제공할 수 있다.
본 발명의 실시예는 전체적으로 필터링 횟수가 적기 때문에 가상 스피커 회로의 복잡도를 줄일 수 있고, 저장해야 할 필터의 계수 값을 상당 수 줄일 수 있는 가상 스피커 장치 및 가상 스피커 처리 방법을 제공할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
일반적으로 가상 스피커(virtual speaker)는 물리적인 음원 외에 가상의 오디오 채널을 사용자가 느낄 수 있도록 해주는 기술이 적용된다. 이러한 가상 스피커 기술은 두 귀로 전달되는 소리를 비교함으로써 소리가 어느 쪽에 전달되는지를 파악하는 기술을 응용한다.
자유공간(free field)에서 음원의 공간 위치(spatial location)를 평가하기 위하여 사용되는 2가지 요소는 ITD(Inter-aural Time Difference) 및 IID(Inter-aural Intensity Difference)이다. ITD는 사운드 파형(sound wave)이 좌우 귀에 도달하는 시간차로 정의되고, IID는 좌우 귀에 도달하는 사운드 파형의 사운드 압력 레벨(sound pressure level) 차로 정의된다. 일반적으로 인지된 횡변위는 두 귀에 도달하는 사운드의 위상(phase) 차에 비례하지만 약 15khz의 파형 길이(wave length)가 사람 머리의 지름에 해당한다고 하였을 때 상기 주파수 이상에서 사람 머리의 지름인 한 파형 길이 이상을 차지하기 때문에 위신호(aliasing) 문제가 발생되므로 15khz이상에서 위상은 공간 위치를 파악하는데 더 이상 의미가 없다.
한편 15khz 이상에서 사람의 머리는 소리로부터 먼 쪽에 있는 귀를 가리기 시작하고, 가려지지 않는 쪽의 귀보다 적은 소리를 갖게 되므로 양쪽 귀에서 들리 는 소리의 강도 차이를 IID로 정의하고, 15khz보다 높은 대역의 신호는 ITD보다 IID에 더 많은 영향을 받는다.
IID와 ITD는 사람이 소리를 통해 위치를 인지하는데 대한 메커니즘을 이해하는데 많은 것을 설명할 수 있지만 IID와 ITD만을 이용한 위치(location)는 유일한 공간 위치(unique spatial position)을 제공하지 못하는 난신호 원뿔 구역(cone of confusion) 현상은 실제 머리카락, 귓바퀴 또는 어깨와 같은 사람의 신체에 의한 소리의 회절 또는 흡수 현상을 고려하지 않기 때문에 발생되는 현상이다. 이러한 실제 상황에서 발생되는 소리 현상을 수학적으로 정확히 이해하고 예측하기는 쉽지 않지만 스펙트럴 큐(spectral cue)를 이해하는데 있어서 첫 번째 단계로 많은 연구에서 물리적 모델과 경험적인 측정 또는 최근에는 시뮬레이션을 통해 귀의 방향-의존 주파수 응답(direction-dependent frequency response)을 얻을 수 있다. 이런 측정된 데이터를 Head-Related Transfer Function(HRTF)라고 하며, 자유 공간 상에서 방향 의존 음향 필터(direction dependent acoustic filter)를 종합할 수 있다. HRTF를 통한 바이노럴 합성(binaural synthesis)은 입력 신호를 HRTF 쌍을 이용하여 컨벌빙(convolving)함으로써 이루어진다.
Figure 112009063140524-PAT00001
여기서, x는 입력 신호이고, x는 바이노럴 신호의 컬럼 벡터(column vector)이고, h는 HRTF 쌍을 포함하는 컬럼 벡터이다. 합성된 x는 헤드폰(headphone)을 통한 재생 시스템에 더 적합하기 때문에 바이노럴 신호라고 한다. 상기 바이노럴 신호는 수학식 2와 같이 여러 개의 다른 위치로 매핑된 사운드(sound)의 합으로 표현될 수 있다.
Figure 112009063140524-PAT00002
여기서, hi는 xi를 위한 HRTF이다.
라우드스피커(loudspeaker)를 통해 바이노럴 신호를 전달하기 위해서는 2×2 매트릭스C를 갖는 전달함수로 알맞게 필터링하는 과정이 필요하다.
Figure 112009063140524-PAT00003
라우드스피커 신호 y 벡터를 라우드스피커 바이노럴 신호라고 하고, 필터C를 크로스토크 제거기(crosstalk canceller)라고 한다. 표준의 스테레오 청취 환경에서 청각 신호(ear signal)은 수학식 4를 통해 스피커 신호와 연관된다.
Figure 112009063140524-PAT00004
여기서, e와 A는 각각 청각 신호의 컬럼 벡터와 음향 전달 매트릭스(acoustical transfer matrix)이고, y는 스피커 신호의 컬럼 벡터를 나타낸다. 청각 신호는 귀 구멍(ear canal) 안쪽에서 머리 응답(head response)의 모든 방향성 특징을 포착할 수 있는 이상적인 트랜스듀서(ideal transducer)에 의해 측정된다고 간주한다. 또한 A xy 함수는 스피커X∈{L, R}의 전달함수를 제공하며, 스피커의 주파수 응답(frequency), 공중 전파(air propagation) 및 머리 응답을 포함한다. A는 수학식 5와 같이 인수분해될 수 있다.
Figure 112009063140524-PAT00005
여기서, H는 머리의 중앙에서 자유공간 응답으로 정규화(normalize)한 HRTF 매트릭스이고, S는 스피커와 공기의 전달 매트릭스(transfer matrix)로서 스피커의 주파수 응답과 공기중으로 청취자까지 전달되는 공중 전파(air propagation)를 설명해준다. Sx는 스피커X의 주파수 응답이고, Ax는 스피커X로부터 머리의 중앙까지 의 공중 전파의 전달함수를 표현하는 것이다.
사람의 귀까지 정확히 바이노럴 신호를 전달하기 위해서 크로스토크 제거기 C는 수학식 6과 같이 전달함수의 역이 되도록 한다.
Figure 112009063140524-PAT00006
여기서, H-1은 머리 전달 매트릭스(head transfer matrix)의 역이고, S- 1는 각 스피커의 응답의 역 필터이며, 수학식 7와 같이 표현된다.
Figure 112009063140524-PAT00007
여기서, 1/SX 아이템은 스피커 주파수 응답을 역으로 취한 것이고, 1/AX 아이템은 공중 전파를 역으로 취한 것이다.
실제적으로 잘 조절된 두 개의 고품질 라우드스피커(high quality loudspeaker)로부터 동일한 거리에 청취자가 위치한다면 상기 수학식들은 생략될 수 있다. 그러나 청취자가 동일한 거리가 아닌 위치로 이동된다면 두 라우드스피커로부터 도달되는 신호가 동시에 청취자로 도착하고, 같은 음압을 갖도록 가까이 있는 라우드스피커를 감쇄시키고, 시간 지연(time delay)을 줄 필요가 있다. 이러한 과정은 수학식 7에서 1/AX 아이템을 수정함으로써 수행될 수 있다.
코절 시스템(causal system)이 되기 위해 충분한 모델링 지연(modeling delay)을 갖는 크로스토크 제거기의 연결이 필요하고, 이산 시간 모델링 지연(discrete-time modeling delay) m을 추가하면, 수학식 8과 같다.
Figure 112009063140524-PAT00008
필요한 모델링 지연의 양은 특별한 구현과 관련이 있고, 앞으로 논재를 간단히 하기 위해서 모델링 지연과 스피커 함수 S-1 아이템은 생략하고, 오직 머리 전달 매트릭스만 고려하기로 한다. 따라서, 일반적인 표현식은 수학식 5은 수학식 9와 같이 간단히 표현된다.
Figure 112009063140524-PAT00009
여기서, 역 머리 전달 매트릭스(inverse head transfer matrix)는 수학식 10과 같다.
Figure 112009063140524-PAT00010
여기서, D는 매트릭스H의 결정자(determinant)이고, 역 결정자(inverse determinant) 1/D는 모든 조항(term)에 공통으로 적용되므로 역 필터(inverse filter)의 안정성(stability)을 결정하는 중요한 요소가 된다. 결정자가 특정 주파수에서 '0'이라면 머리 전달 매트릭스는 단일(singular)이고, 역 매트릭스(inverse matrix)는 존재하지 않는다.
크로스토크 제거기의 구현 방식은 대칭 청취(symmetric listening) 상황을 가정하고, 대칭 솔루션은 일반적인 솔루션의 특수한 경우이나 간단히 구현될 수 있는 장점을 가진다. 청취 상황이 대칭이라고 가정할 때 전달함수는 수학식 11과 같이 정의될 수 있다.
Figure 112009063140524-PAT00011
여기서, H i 는 동측(同側)의 전달함수이고, H c 는 대측(對側)의 전달함수이다. 수학식 10에서 대칭 변수로 대체하면 수학식 12와 같이 표현할 수 있다.
Figure 112009063140524-PAT00012
대칭 수식(symmetric formula)는 셔플러(shuffler)를 이용한 크로스토크 제거기를 제시할 수 있다. 상기 셔플러는 바이노럴 입력 신호의 합과 차를 만든 후 각각의 신호를 적당히 필터링한다. 상기 필터링된 신호는 다시 합과 차를 통하여 원상태로 돌려진다. 상기 셔플러에서 합과 차는 단위 매트릭스(unitary matrix) U로 표현될 수 있으며, 셔플러 매트릭스(shuffler matrix)라고 부른다.
Figure 112009063140524-PAT00013
매트릭스U의 컬럼은 대칭 2×2 매트릭스의 고유벡터(eigenvector)이기 때문에 셔플러 매트릭스U는 유사성 변환(similarity transformation)을 통하여 대칭 매트릭스H-1로 디지털라이즈(digitalize)된다.
Figure 112009063140524-PAT00014
따라서, 크로스토크 제거기는 동측과 대측 응답의 합과 차에 각각 역을 취한 셔플러 필터들Σ와 Δ는 수학식 15와 같이 구현될 수 있다.
Figure 112009063140524-PAT00015
도 1은 5.1 채널 스피커를 이용한 가상 7.1 채널 구성도의 일례를 나타내는 도면이다.
도 1을 참조하면, 가상 스테레오 시스템은 5.1 채널 라우드스피커(101~105)를 이용하기 때문에 어느 스피커를 이용하는 것이 가장 좋은 질을 갖는지에 대한 고려가 필요하며, 두 개의 가상 스피커(106, 107)을 생성하여 7.1 채널을 구현한다. 제1 스피커(101)는 청취자(100)의 전방 중앙인 0도의 위치에 설치된 스피커이고, 제2 스피커(102)는 청취자(100)의 전방 왼쪽인 -30도의 위치에 설치된 스피커이고, 제3 스피커(103)는 청취자(100)의 전방 오른쪽인 30도의 위치에 설치된 스피커이다. 제4 스피커(104)는 청취자(100)의 정면을 기준으로 -110도의 위치에 설치된 서라운드 왼쪽 스피커이고, 제5 스피커(105)는 청취자(100)의 정면을 기준으로 110도의 위치에 설치된 서라운드 오른쪽 스피커이다. 제1 가상 스피커(106)는 청취자(100)의 정면을 기준으로 후방 왼쪽인 -140도의 위치에 설치된 것으로 인식될 수 있는 가상 스피커로서 제4 스피커(104)와 제5스피커(105)를 이용하여 제1 가상 채널 신호가 재생되도록 한다. 제2 가상 스피커(107)는 청취자(100)의 후방 오른쪽 140도의 위치에 설치된 것으로 인식될 수 있는 가상 스피커로서 제4 스피커(104)와 제5 스피커(105)를 이용하여 제2 가상 채널 신호가 재생되도록 한다.
도 2는 비대칭 상태일 경우 7.1 채널의 후방 왼쪽, 오른쪽 가상 스피커 생성 장치의 블록 다이어그램을 나타내는 도면이다.
도 2를 참조하면, HRTF 위치화(localization)부(210)는 후방 왼쪽 방향(BL)과 후방 오른쪽 방향(BR)으로 사운드를 매칭시키는 HRTF 필터링을 이용하여 후방으로 방향성을 가진 신호xL, xR을 출력한다.
Figure 112009063140524-PAT00016
여기서, xL과 xR은 크로스토크 제거부(220)로 입력되고, 크로스토크 제거부(220)에 의해 크로스토크가 제거된 신호로 구성된 스피커 출력 yL, yR으로 출력된다. 가상 후방 청취 환경이 도 1에 도시된 것과 같이 두 개의 서라운드 스피커에 의한 대칭 상태임을 고려하면, 셔플러 크로스토크 회로를 사용할 수 있다. 셔플러를 이용하여 구성된 HRTF 위치 측정 및 크로스토크 제거 회로는 도 3에 도시된 것과 같이 표현될 수 있다.
도 3은 대칭 상태일 경우 7.1채널의 후방 왼쪽, 오른쪽 가상 스피커 생성 장치의 블록 다이어그램을 나타내는 도면이다.
도 3을 참조하면, HRTF 위치화(310)부는 후방 왼쪽 방향(BL)과 후방 오른쪽 방향(BR)으로 사운드를 매칭시키는 HRTF 필터링을 이용하여 후방으로 방향성을 가진 신호xL, xR을 출력한다.
크로스토크 제거부(320)의 Sigma(321)와 Delta(322)는 수학식 17과 같이 정의된다.
Figure 112009063140524-PAT00017
비대칭 상태인 경우의 크로스토크 제거부(220)와 비교하면, 대칭 상태인 경우의 크로스토크 제거부(320)에서 필터링이 2번 줄어든다. 여기서, 가상 후방 채널(virtual back channel)의 크로스토크 제거 과정의 구성을 더욱 간단히 하기 위하여 HRTF 위치화 과정과 크로스토크 제거 과정을 함께 조합하여 최소한의 필터링을 갖는 표현식으로 만들면, 크로스토크 제거부(320)의 최종 출력y는 수학식 18과 같이 표현된다.
Figure 112009063140524-PAT00018
여기서, 수학식 16을 수학식 18에 대입하면, 수학식 19와 같이 표현된다.
Figure 112009063140524-PAT00019
수학식 19에서 오른쪽 항의 세 번째와 네 번째 항목(term)을 조합하여 전개하면, 수학식 20과 같이 표현된다.
Figure 112009063140524-PAT00020
수학식 20에서 오른 쪽 항의 두 번째와 세 번째 항목을 조합하여 전개하면, 수학식 21과 같이 표현된다.
Figure 112009063140524-PAT00021
수학식 21을 분해하면, 수학식 22와 같이 표현된다.
Figure 112009063140524-PAT00022
여기서, H140near는 140도 방향의 음원으로부터 가까운 쪽 귀로 전달되는 머리 전달 함수이고, H140far는 140도 방향의 음원으로부터 먼 쪽 귀로 전달되는 머리 전달 함수이다. Sigma 및 Delta는 수학식 17에 도시된 값이다.
수학식 22는 도 4와 같은 가상 스피커 회로(400)로 표현된다.
도 4는 본 발명의 일실시예에 따른 가상 스피커 회로의 구성을 나타내는 도면이다.
도 4를 참조하면, 가상 스피커 회로(400)는 4개의 가산기(410, 420, 450, 460) 및 2개의 필터(430, 440)을 포함한다.
제1 가산기(410)는 제1 가상 채널 신호와 후방 제2 가상 채널 신호를 합산한다. 일례로 제1 가산기(410)는 도 1에 도시된 것과 같은 제1 가상 스피커(106)의 위치인 -140도 위치에서 느끼고 싶은 신호(BL)와 제2 가상 스피커(107)의 위치인 140도 위치에서 느끼고 싶은 신호(BR)를 합산할 수 있다(BL +BR). 상기 제1 가상 채널 신호는 제1 가상 스피커로 출력되도록 하기 위한 신호이고, 상기 제2 가상 채널 신호는 제2 가상 스피커로 출력되도록 하기 위한 신호일 수 있다.
제2 가산기(420)는 상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산한다. 일례로 제2 가산기(420)는 제1 가상 스피커(106)의 위치인 -140도 위치에서 느끼고 싶은 신호에서 제2 가상 스피커(107)의 위치인 140도 위치에서 느끼고 싶은 신호를 감산할 수 있다(BL -BR).
제1 필터(430)는 제1 가산기(410)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링한다. 일례로 제1 필터(430)는 상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호를 합산한 값과 가상 위치의 동측 전달함수와 대측 전달함수의 합산한 값과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합산한 값에 대한 비를 이용하여 필터링할 수 있다.
제2 필터(440)는 제2 가산기로부터 출력되는 신호를 가상 위치의 동측 전달 함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링한다. 일례로 제2 필터(440)는 상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호의 차이 값과 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비를 이용하여 필터링할 수 있다.
제3 가산기(450)는 제1 필터(430)로부터 출력되는 신호와 제2 필터(440)로부터 출력되는 신호를 합산한다. 일례로 제3 가산기(450)는 제1 필터(430)로부터 출력되는 신호와 제2 필터(440)로부터 출력되는 신호를 합산하고, 상기 합산된 결과 신호(yL)를 서라운드 왼쪽 스피커인 제5 스피커(105)로 출력할 수 있다.
제4 가산기(460)는 제1 필터(430)로부터 출력되는 신호에서 제2 필터(440)로부터 출력되는 신호를 감산한다.
이와 같이, 본 발명의 일실시예에 따른 가상 스피커 회로(400)는 도 2 또는 도 3에 도시된 것과 같은 비대칭 또는 대칭 HRTF 위치 측정부(210, 310)와 크로스토크 제거부(220, 320)가 캐스케이드(cascade)로 연결된 구조와 비교하면, 전체적으로 필터링 횟수가 적기 때문에 복잡도를 줄일 수 있고, 저장해야 할 필터의 계수 값을 상당 수 줄일 수 있다.
도 5는 본 발명의 일실시예에 따른 가상 스피커 장치의 일례를 나타내는 도면이다.
도 5를 참조하면, 가상 스피커 장치(500)에서 실제 스피커를 통해 재생되는 채널은 전방 왼쪽(FL: Front Left), 전방 오른쪽(FR: Front Right), 전방 중앙(FC: Front Center), 저주파 효과(LFE: Low Frequency Effect), 서라운드 왼쪽(SL: Surround Left) 및 서라운드 오른쪽(SR: Surround Right) 채널이다. 서라운드 왼쪽 스피커 및 서라운드 오른쪽 스피커를 이용하고, 가상 스피커 처리를 통해서 가상 스피커를 느낄 수 있는 채널은 후방 왼쪽(BL: Back Left) 및 후방 오른쪽(BR: Back Right) 채널이다.
가상 스피커 장치(500)는 제1 지연기(501), 제2 지연기(502), 제3 지연기(503), 제4 지연기(504), 제5 지연기(505), 제6 지연기(506), FFT부(510), 가상 스피커 회로(520), IFFT부(530), 제5 가산기(531), 제6 가산기(532)를 포함한다.
제1 지연기(501)는 전방 오른쪽 채널 신호(FR)를 지연시킨다. 즉, 제1 지연기(501)는 가상 스피커 처리된 신호들이 서라운드 왼쪽 스피커(SSL) 및 서라운드 오른쪽 스피커(SSR)로 출력되는 시간과 상기 전방 오른쪽 채널 신호(FR)가 전방 오른쪽 스피커(SFR)로 출력되는 시간이 동일하도록 하기 위해 상기 가상 스피커 처리되는 시간만큼 상기 전방 오른쪽 채널 신호(FR)를 지연시킨다.
제2 지연기(502)는 전방 왼쪽 채널 신호(FL)를 지연시킨다. 즉, 제2 지연기(502)는 가상 스피커 처리된 신호들이 서라운드 왼쪽 스피커(SSL) 및 서라운드 오른쪽 스피커(SSR)로 출력되는 시간과 상기 전방 왼쪽 채널 신호(FL)가 전방 왼쪽 스 피커(SFL)로 출력되는 시간이 동일하도록 하기 위해 상기 가상 스피커 처리되는 시간만큼 상기 전방 왼쪽 채널 신호(FL)를 지연시킨다.
제3 지연기(503)는 전방 중앙 채널 신호(FC)를 지연시킨다. 즉, 제3 지연기(503)는 가상 스피커 처리된 신호들이 서라운드 왼쪽 스피커(SSL) 및 서라운드 오른쪽 스피커(SSR)로 출력되는 시간과 상기 전방 중앙 채널 신호(FC)가 전방 중앙 스피커(SFC)로 출력되는 시간이 동일하도록 하기 위해서 상기 가상 스피커 처리되는 시간만큼 상기 전방 중앙 채널 신호(FC)를 지연시킨다.
제4 지연기(504)는 저주파 효과 채널 신호(LFE)를 지연시킨다. 즉, 제4 지연기(504)는 가상 스피커 처리된 신호들이 서라운드 왼쪽 스피커(SSL) 및 서라운드 오른쪽 스피커(SSR)로 출력되는 시간과 상기 저주파 효과 채널 신호(LFE)가 저주파 스피커(SLEF)로 출력되는 시간이 동일하도록 하기 위해서 상기 가상 스피커 처리되는 시간만큼 상기 저주파 효과 채널 신호(LFE)를 지연시킨다.
제5 지연기(505)는 서라운드 왼쪽 채널 신호(SL)를 지연시킨다. 즉, 제5 지연기(505)는 가상 스피커 처리된 신호들이 서라운드 왼쪽 스피커(SSL) 및 서라운드 오른쪽 스피커(SSR)로 출력되는 시간과 상기 서라운드 왼쪽 채널 신호(SL)가 서라운드 왼쪽 스피커(SSL)로 출력되는 시간이 동일하도록 하기 위해서 상기 가상 스피커 처리되는 시간만큼 상기 저주파 효과 채널 신호(SL)를 지연시킨다.
제6 지연기(506)는 서라운드 오른쪽 채널 신호(SR)를 지연시킨다. 즉, 제6 지연기(506)는 가상 스피커 처리된 신호들이 서라운드 왼쪽 스피커(SSL) 및 서라운드 오른쪽 스피커(SSR)로 출력되는 시간과 상기 서라운드 오른쪽 채널 신호(SR)가 서라운드 오른쪽 스피커(SSR)로 출력되는 시간이 동일하도록 하기 위해서 상기 가상 스피커 처리되는 시간만큼 상기 저주파 효과 채널 신호(SR)를 지연시킨다.
상기 가상 스피커 처리에서 사용되는 필터링을 위하여 시간 영역(temporal domain)을 주파수 영역(frequency domain)으로 변환하여 사용한다. 일반적으로 시간 영역에서 수행되는 컨볼루션(convolution) 방식보다 주파수 영역에서 수행되는 필터링이 더 빠르게 수행되기 때문에 각각 시간 영역과 주파수 영역을 변환하기 위해 가상 스피커 회로(520)의 전단과 후단에 FFT(Fast Fourier Transform)부(510)과 IFFT(Inverse Fast Fourier Transform)부(530)가 필요하다.
FFT부(510)는 후방 왼쪽 채널 신호(BL) 및 후방 오른쪽 채널 신호(BR)를 FFT(Fast Fourier Transform)한다.
가상 스피커 회로(520)는 제1 가산기(521), 제2 가산기(522), 제1 필터(523), 제2 필터(524), 제3 가산기(525) 및 제4 가산기(526)를 포함하며, FFT된 후방 왼쪽 채널 신호(BL) 및 후방 오른쪽 채널 신호(BR)를 이용하여 가상 스피커로 출력되는 것처럼 느끼지는 신호들을 처리한다.
제1 가산기(521)는 FFT부(510)로부터 출력되는 FFT된 후방 왼쪽 채널 신호와 FFT된 후방 오른쪽 채널 신호를 합산한다.
제2 가산기(522)는 FFT부(510)로부터 출력되는 FFT된 후방 왼쪽 채널 신호에서 FFT된 후방 오른쪽 채널 신호를 감산한다.
제1 필터(523)는 제1 가산기(521)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링한다.
제2 필터(524)는 제2 가산기(522)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링한다.
제3 가산기(525)는 제1 필터(523)로부터 출력되는 신호와 제2 필터(524)로부터 출력되는 신호를 합산한다.
제4 가산기(526)는 제1 필터(523)로부터 출력되는 신호에서 제2 필터(524)로부터 출력되는 신호를 감산한다.
IFFT부(530)는 제3 가산기(525)로부터 출력되는 신호 및 제4 가산기(526)로부터 출력되는 신호를 IFFT(Inverse FFT)한다.
제5 가산기(531)는 제5 지연기(505)로부터 출력되는 신호와 IFFT부(530)로부터 출력되는 제1 신호(yL)를 가산한다.
제6 가산기(532)는 제6 지연기(506)로부터 출력되는 신호와 IFFT부(530)로 부터 출력되는 제2 신호(yR)를 가산한다.
가상 스피커 회로(520)는 프레임 단위로 수행되고, 이전 프레임의 응답(response)을 현재 프레임에 반영해주기 위해서 도 6에 도시된 것과 같은 오버랩-부가 방식(overlap-add method)이 널리 사용된다.
도 6은 오버랩-부가 방식의 일례를 나타내는 도면이다.
도 6을 참조하면, 이전 프레임의 응답을 최대한 반영하기 위해서 오버랩핑(overlapping)하고, 입력과 출력에 사인 윈도우(sine window)로 윈도잉(windowing)하여 프레임 경계(frame boundary)를 스무딩(smoothing)한다.
일례로 오버랩-부가 방식을 이용한 구조에서 50% 오버랩핑한 경우 실제 데이터는 한 프레임의 데이터만큼의 지연(delay)가 발생될 수 있다. 그러므로, 제1 내지 제6 지연기(501~506)는 주파수 영역으로 변환되지 않는 신호(FL, FR, FC, LFE, SL, SR)와 비교하여 주파수 영역으로 변환되는 신호(BL, BR)의 한 프레임 샘플 수만큼 지연시킬 수 있다.
한편, 음원(audio source)인 오디오 디코더가 변환 영역(transform domain)에서 디코딩을 수행하는 종류인 경우 가상 스피커 처리를 위해 주파 영역으로의 변환이 필요하지 않다. 일반적으로 오디오 코덱(audio codec)은 대부분 주파수 영역에서 인코딩과 디코딩 과정을 수행한다. 특히 MDCT(Modified Discrete Cosine Transform)은 코딩 효율 측면에서 다른 FFT나 DCT와 비교하였을 때 더 우수하기 때문에 AAC, MP3, Dolby Digital, Dolby Digital Plus, AAC+ 등과 같이 다양한 오디 오 코덱이 MDCT 영역에서 인코딩과 디코딩을 수행한다.
도 7은 본 발명의 일실시예에 따른 가상 스피커 회로가 오디오 디코더와 결합된 가상 스피커 장치의 일례를 나타내는 도면이다.
도 7을 참조하면, 오디오 코덱(도면에 도시되지 않음)은 주파수 영역을 시간 영역으로 변환하기 직전 단계에서 가상 스피커 처리를 수행하기 위한 가상 스피커 회로(710)을 구비함으로써 도 5에 도시된 7.1 채널 스피커 시스템(500)과 달리 가상 스피커 처리 회로의 전단에 추가적으로 발생하는 주파수 영역 변환 과정과 가상 스피커 회로의 후단에 추가적인 시간 영역 변환 과정을 생략할 수 있다.
가상 스피커 장치(700)는 가상 스피커 회로(710), 제5 가산기(721), 제6 가산기(722), IMDCT부(730)를 포함한다.
가상 스피커 회로(710)는 제1 가산기(711), 제2 가산기(712), 제1 필터(713), 제2 필터(714), 제3 가산기(715) 및 제4 가산기(716)를 포함한다.
제1 가산기(711)는 제1 가상 채널 신호와 제2 가상 채널 신호를 합산한다. 일례로 제1 가산기(711)는 후방 왼쪽 채널 신호와 후방 오른쪽 채널 신호를 합산할 수 있다. 상기 후방 왼쪽 채널 신호는 후방 왼쪽에 위치한 가상 스피커에서 출력되는 것과 같이 느껴질 수 있도록 하기 위한 신호이고, 상기 후방 오른쪽 채널 신호는 후방 오른쪽에 위치한 가상 스피커에서 출력되는 것과 같이 느껴질 수 있도록 하기 위한 신호일 수 있다.
제2 가산기(712)는 상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산한다. 일례로 제2 가산기(712)는 상기 후방 왼쪽 채널 신호에서 상기 후방 오른쪽 채널 신호를 감산할 수 있다.
제1 필터(713)는 제1 가산기(711)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링한다.
제2 필터(714)는 제2 가산기(712)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링한다.
제3 가산기(715)는 제1 필터(713)로부터 출력되는 신호와 제2 필터(714)로부터 출력되는 신호를 합산한다.
제4 가산기(716)는 제1 필터(713)로부터 출력되는 신호에서 제2 필터(714)로부터 출력되는 신호를 감산한다.
제5 가산기(721)는 서라운드 제1 방향 채널 신호와 제3 가산기(715)로부터 출력되는 신호를 가산한다.
제6 가산기(722)는 서라운드 제2 방향 채널 신호와 제4 가산기(716)로부터 출력되는 신호를 가산한다.
IMDCT부(730)는 전방 오른쪽 채널 신호(FR), 전방 왼쪽 채널 신호(FL), 전방 중앙 채널 신호(FC), 저주파 효과 채널 신호(LFE), 제5 가산기(721)로부터 출력되는 신호 및 제6 가산기(722)로부터 출력되는 신호를 입력 받고, 상기 입력된 신호들을 IMDCT(Inverse Modified Discrete Cosine Transform)한다.
상기 전방 왼쪽 채널 신호(FR), 전방 오른쪽 채널 신호(FL), 전방 중앙 채널 신호(FC), 저주파 효과 채널 신호(LFE)는 각각 오디오 디코더(도면에 도시되지 않음)에 의해 디코딩이 수행된 그대로 IMDCT부(730)에 의해 시간 영역으로 변환되어 각 스피커로 출력된다.
후방 왼쪽 채널 신호(BL) 및 후방 오른쪽 채널 신호(BR)는 주파수 영역에서 가상 스피커 회로(710)에 의해 가상 스피커 처리된다. 상기 가상 스피커 처리된 왼쪽 신호(yL)는 제5 가산기(721)에 의해 서라운드 왼쪽 채널 신호(SL)와 합쳐져서 IMDCT부(730)에 의해 시간 영역으로 변환되어 서라운드 왼쪽 스피커(SSL)로 출력된다. 상기 가상 스피커 처리된 오른쪽 신호(yR)는 제6 가산기(722)에 의해 서라운드 오른쪽 채널 신호(SR)와 합쳐져서 IMDCT부(730)에 의해 시간 영역으로 변환되어 서라운드 오른쪽 스피커(SSR)로 출력된다. 가상 스피커 회로(710)는 도 2 및 도 3과 같은 구조에 비해 필터링이 간소화된 점으로 MDCT 영역과 같은 위상을 반영하기 어려운 구조에 적용이 가능한 장점이 있다.
제1 필터(713) 및 제2 필터(714)는 최소 위상(minimum phase)으로 디자인된 필터라면, 위상 성분이 IMDCT를 수행한 후 반영되는 방식으로 수행될 수 있다. 제1 필터(713) 및 제2 필터(714)가 선형 위상(linear phase)을 가지고 있고, 최소 위상으로 디자인된 경우 도 8에 도시된 것과 같이 구현될 수 있다. 상기 선형 위상은 시간 영역에서 간단히 샘플 지연(sample delay)으로 구현될 수 있다.
도 8은 본 발명의 일실시예에 따른 가상 스피커 회로가 오디오 디코더와 결합된 다른 일례를 나타내는 도면이다.
도 8을 참조하면, 가상 스피커 회로(810)는 제1 가산기(811), 제2 가산기(812), 제1 필터(813), 제2 필터(814), 제3 가산기(815) 및 제4 가산기(816)를 포함한다.
제1 가산기(811)는 제1 가상 채널 신호와 제2 가상 채널 신호를 합산한다. 일례로 제1 가산기(811)는 후방 왼쪽 채널 신호(BL)와 후방 오른쪽 채널 신호(BR)를 합산할 수 있다. 상기 후방 왼쪽 채널 신호는 후방 왼쪽에 위치한 가상 스피커에서 출력되는 것과 같이 느껴질 수 있도록 하기 위한 신호이고, 상기 후방 오른쪽 채널 신호는 후방 오른쪽에 위치한 가상 스피커에서 출력되는 것과 같이 느껴질 수 있도록 하기 위한 신호일 수 있다.
제2 가산기(812)는 상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산한다. 일례로 제2 가산기(812)는 상기 후방 왼쪽 채널 신호(BL)에서 상기 후방 오른쪽 채널 신호(BR)를 감산할 수 있다.
제1 필터(813)는 제1 가산기(811)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링한다.
제2 필터(814)는 제2 가산기(812)로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달 함수의 차에 대한 비로 필터링한다.
제3 가산기(815)는 제1 필터(813)로부터 출력되는 신호와 제2 필터(814)로부터 출력되는 신호를 합산한다.
제4 가산기(816)는 제1 필터(813)로부터 출력되는 신호에서 제2 필터(814)로부터 출력되는 신호를 감산한다.
IMDCT부(820)는 전방 오른쪽 채널 신호(FR), 전방 왼쪽 채널 신호(FL), 전방 중앙 채널 신호(FC), 저주파 효과 채널 신호(LFE), 서라운드 왼쪽 채널 신호(SL), 서라운드 오른쪽 채널 신호(SR), 제3 가산기(815)로부터 출력되는 제1 신호 및 제4 가산기(816)로부터 출력되는 제2 신호를 입력 받고, 상기 입력된 신호들을 IMDCT한다.
제1 지연기(831)는 IMDCT부(820)에 의해 IMDCT된 제1 신호를 지연시킨다. 즉, 제1 지연기(831)는 IMDCT부(820)에 의해 IMDCT된 제1 신호를δ만큼 지연시켜 줌으로써 위상 요소(phase factor)를 반영한다.
제2 지연기(832)는 IMDCT부(820)에 의해 IMDCT된 제2 신호를 지연시킨다. 즉, 제2 지연기(832)는 IMDCT부(820)에 의해 IMDCT된 제2 신호를 δ만큼 지연시켜 줌으로써 위상 요소(phase factor)를 반영한다.
제5 가산기(841)는 제1 지연기(831)로부터 출력되는 신호와 IMDCT부(820)에 의해 IMDCT된 서라운드 왼쪽 채널 신호를 합산하여 서라운드 왼쪽 스피커로 출력한다.
제6 가산기(842)는 제2 지연기(832)로부터 출력되는 신호와 IMDCT부(820)에 의해 IMDCT된 서라운드 오른쪽 채널 신호를 합산하여 서라운드 오른쪽 스피커로 출력한다.
한편 본 발명의 일실시예에 따른 가상 스피커 처리 방법은 도 4 내지 도 6의 가상 스피커 회로 및 가상 스피커 장치의 동작에 대한 설명을 참고할 수 있다.
또한 본 발명의 일실시예에 따른 가상 스피커 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 5.1 채널 스피커를 이용한 가상 7.1 채널 구성도의 일례를 나타내는 도면이다.
도 2는 비대칭 상태일 경우 7.1 채널의 후방 왼쪽, 오른쪽 가상 스피커 생성 장치의 블록 다이어그램을 나타내는 도면이다.
도 3은 대칭 상태일 경우 7.1채널의 후방 왼쪽, 오른쪽 가상 스피커 생성 장치의 블록 다이어그램을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 가상 스피커 회로의 구성을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 가상 스피커 장치의 일례를 나타내는 도면이다.
도 6은 오버랩-가산 방식의 일례를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 가상 스피커 회로가 오디오 디코더와 결합된 가상 스피커 장치의 일례를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 가상 스피커 회로가 오디오 디코더와 결합된 가상 스피커 장치의 다른 일례를 나타내는 도면이다.

Claims (15)

  1. 제1 가상 채널 신호와 제2 가상 채널 신호를 합산하는 제1 가산기;
    상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산하는 제2 가산기;
    상기 제1 가산기로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링하는 제1 필터;
    상기 제2 가산기로부터 출력되는 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링하는 제2 필터;
    상기 제1 필터로부터 출력되는 신호와 상기 제2 필터로부터 출력되는 신호를 합산하는 제3 가산기; 및
    상기 제1 필터로부터 출력되는 신호에서 상기 제2 필터로부터 출력되는 신호를 감산하는 제4 가산기
    를 포함하는 가상 스피커 장치.
  2. 제1항에 있어서,
    상기 제1 필터는,
    상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호를 합산한 값과 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비를 이용하여 필터링하는 가상 스피커 장치.
  3. 제1항에 있어서,
    상기 제2 필터는,
    상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호의 차이 값과 상기 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비를 이용하여 필터링하는 가상 스피커 장치.
  4. 제1항에 있어서,
    상기 제1 가산기 및 상기 제2 가산기의 전단에 설치되고, 상기 제1 가상 채널 신호 및 상기 제2 가상 채널 신호를 FFT하는 FFT부;
    상기 제3 가산기 및 상기 제4 가산기의 후단에 설치되고, 상기 제3 가산기로부터 출력되는 신호 및 상기 제4 가산기로부터 출력되는 신호를 IFFT하는 IFFT부;
    복수 개의 실제 스피커로 출력되는 신호들을 각각 지연시키는 복수 개의 지연기;
    상기 복수 개의 지연기 중 어느 하나의 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제1 신호를 가산하는 제5가산기; 및
    상기 복수 개의 지연기 중 어느 하나의 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제2 신호를 가산하는 제6 가산기
    를 더 포함하는 가상 스피커 장치.
  5. 제4항에 있어서,
    상기 복수 개의 지연기는,
    전방 제1 방향 채널 신호를 지연시키는 제1 지연기;
    전방 제2 방향 채널 신호를 지연시키는 제2 지연기;
    전방 제3 방향 채널 신호를 지연시키는 제3 지연기;
    저주파 효과 채널 신호를 지연시키는 제4 지연기;
    서라운드 제1 방향 채널 신호를 지연시키는 제5 지연기; 및
    서라운드 제2 방향 채널 신호를 지연시키는 제6 지연기
    를 포함하고,
    상기 제5 가산기는,
    상기 제5 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제1 신호를 가산하고, 상기 가산된 결과를 서라운드 제1 방향 스피커로 출력하고,
    상기 제6 가산기는,
    상기 제6 지연기로부터 출력되는 신호와 상기 IFFT부로부터 출력되는 제2 신호를 가산하고, 상기 가산된 결과를 서라운드 제2 방향 스피커로 출력하는, 가상 스피커 장치.
  6. 제1항에 있어서,
    서라운드 제1 방향 채널 신호와 상기 제3 가산기로부터 출력되는 신호를 가산하는 제5 가산기;
    서라운드 제2 방향 채널 신호와 상기 제4 가산기로부터 출력되는 신호를 가산하는 제6 가산기; 및
    전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제5가산기로부터 출력되는 신호 및 상기 제6 가산기로부터 출력되는 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 IMDCT부
    를 더 포함하는 가상 스피커 장치.
  7. 제1항에 있어서,
    전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제3가산기로부터 출력되는 제1 신호 및 상기 제4 가산기로부터 출력되는 제2 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 IMDCT부;
    IMDCT된 제1 신호를 위상 지연시키는 제1 지연기;
    IMDCT된 제2 신호를 위상 지연시키는 제2 지연기;
    IMDCT된 서라운드 제1 방향 채널 신호와 상기 제1 지연기로부터 출력되는 신호를 가산하는 제5 가산기; 및
    IMDCT된 서라운드 제2 방향 채널 신호와 상기 제2 지연기로부터 출력되는 신호를 가산하는 제6 가산기
    를 더 포함하는 가상 스피커 장치.
  8. 제1 가상 채널 신호와 제2 가상 채널 신호를 합산하는 제1 가산 단계;
    상기 제1 가상 채널 신호에서 상기 제2 가상 채널 신호를 감산하는 제2 가산 단계;
    상기 제1 가산 단계에 의해 합산된 결과 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비로 필터링하는 제1 필터링 단계;
    상기 제2 가산 단계에 의해 감산된 결과 신호를 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비로 필터링하는 제2 필터링 단계;
    상기 제1 필터링 단계에 의해 필터링된 제1 신호와 상기 제2 필터링 단계에 의해 필터링된 제2 신호를 합산하는 제3 가산 단계; 및
    상기 제1 필터링 단계에 의해 필터링된 제1 신호에서 상기 제2 필터링 단계에 의해 필터링된 제2 신호를 감산하는 제4 가산 단계
    를 포함하는 가상 스피커 처리 방법.
  9. 제8항에 있어서,
    상기 제1 필터링 단계는,
    상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호를 합산한 값과 가상 위치의 동측 전달함수와 대측 전달함수의 합과 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 합에 대한 비를 이용하여 필터링하는 가상 스피커 처리 방법.
  10. 제8항에 있어서,
    상기 제2 필터링 단계는,
    상기 제1 가상 채널 신호와 상기 제2 가상 채널 신호의 차이 값과 가상 위치의 동측 전달함수와 대측 전달함수의 차와 실제 스피커 위치의 동측 전달함수와 대측 전달함수의 차에 대한 비를 이용하여 필터링하는 가상 스피커 처리 방법.
  11. 제8항에 있어서,
    상기 제1 가산 단계 및 상기 제2 가산 단계의 이전 단계이며, 상기 제1 가상 채널 신호 및 상기 제2 가상 채널 신호를 FFT하는 FFT 단계;
    상기 제3 가산 단계 및 상기 제4 가산 단계의 이후 단계이며, 상기 제3 가산 단계의 결과 신호 및 상기 제4 가산 단계의 결과 신호를 IFFT하는 IFFT 단계;
    복수 개의 실제 스피커로 출력되는 신호들을 각각 지연시키는 복수 개의 지연 단계;
    상기 복수 개의 지연 단계 중 어느 하나의 지연 단계의 결과 신호와 상기 IFFT 단계의 제1 결과 신호를 가산하는 제5 가산 단계; 및
    상기 복수 개의 지연 단계 중 어느 하나의 지연 단계의 결과 신호와 상기 IFFT 단계의 제2 결과 신호를 가산하는 제6 가산 단계
    를 더 포함하는 가상 스피커 처리 방법.
  12. 제11항에 있어서,
    상기 복수 개의 지연 단계는,
    전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 서라운드 제1 방향 채널 신호 및 서라운드 제2 방향 채널 신호를 각각 지연시키는 가상 스피커 처리 방법.
  13. 제8항에 있어서,
    서라운드 제1 방향 채널 신호와 상기 제3 가산 단계의 결과 신호를 가산하는 제5 가산 단계;
    서라운드 제2 방향 채널 신호와 상기 제4 가산 단계의 결과 신호를 가산하는 제6 가산 단계; 및
    전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제5 가산 단계의 결과 신호 및 상기 제6 가산 단계의 결과 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 단계
    를 더 포함하는 가상 스피커 처리 방법.
  14. 제8항에 있어서,
    전방 제1 방향 채널 신호, 전방 제2 방향 채널 신호, 전방 제3 방향 채널 신호, 저주파 효과 채널 신호, 상기 제3가산기로부터 출력되는 제1 신호 및 상기 제4 가산기로부터 출력되는 제2 신호를 입력 받고, 상기 입력된 신호들을 IMDCT하는 단계;
    IMDCT된 제1 신호를 위상 지연시키는 제1 지연 단계;
    IMDCT된 제2 신호를 위상 지연시키는 제2 지연 단계;
    IMDCT된 서라운드 제1 방향 채널 신호와 상기 제1 지연 단계의 결과 신호를 가산하는 제5 가산 단계; 및
    IMDCT된 서라운드 제2 방향 채널 신호와 상기 제2 지연 단계의 결과 신호를 가산하는 제6 가산 단계
    를 더 포함하는 가상 스피커 처리 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020090098072A 2009-10-15 2009-10-15 가상 스피커 장치 및 가상 스피커 처리 방법 KR20110041062A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090098072A KR20110041062A (ko) 2009-10-15 2009-10-15 가상 스피커 장치 및 가상 스피커 처리 방법
US12/805,414 US20110091044A1 (en) 2009-10-15 2010-07-29 Virtual speaker apparatus and method for processing virtual speaker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090098072A KR20110041062A (ko) 2009-10-15 2009-10-15 가상 스피커 장치 및 가상 스피커 처리 방법

Publications (1)

Publication Number Publication Date
KR20110041062A true KR20110041062A (ko) 2011-04-21

Family

ID=43879302

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090098072A KR20110041062A (ko) 2009-10-15 2009-10-15 가상 스피커 장치 및 가상 스피커 처리 방법

Country Status (2)

Country Link
US (1) US20110091044A1 (ko)
KR (1) KR20110041062A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5682244B2 (ja) * 2010-11-09 2015-03-11 ソニー株式会社 スピーカーシステム
JP5772356B2 (ja) * 2011-08-02 2015-09-02 ヤマハ株式会社 音響特性制御装置及び電子楽器
EP2866475A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
US11212631B2 (en) * 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6668061B1 (en) * 1998-11-18 2003-12-23 Jonathan S. Abel Crosstalk canceler
US7242782B1 (en) * 1998-07-31 2007-07-10 Onkyo Kk Audio signal processing circuit
JP2008072206A (ja) * 2006-09-12 2008-03-27 Onkyo Corp マルチチャンネル音声増幅装置

Also Published As

Publication number Publication date
US20110091044A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
US10555104B2 (en) Binaural decoder to output spatial stereo sound and a decoding method thereof
TWI415111B (zh) 空間解碼器單元、空間解碼器裝置、音訊系統、消費型電子裝置、產生一對雙耳輸出聲道之方法及電腦可讀媒體
JP5081838B2 (ja) オーディオ符号化及び復号
TWI639347B (zh) 用於音訊信號處理之多聲道直接-周圍分解之裝置及方法
JP4944902B2 (ja) バイノーラルオーディオ信号の復号制御
CA2701360C (en) Method and apparatus for generating a binaural audio signal
JP6130599B2 (ja) 第１および第２の入力チャネルを少なくとも１個の出力チャネルにマッピングするための装置及び方法
US8553895B2 (en) Device and method for generating an encoded stereo signal of an audio piece or audio datastream
JP5090436B2 (ja) 変換ドメイン内で効率的なバイノーラルサウンド空間化を行う方法およびデバイス
KR101010464B1 (ko) 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성
KR100959971B1 (ko) 복소 변조된 필터뱅크를 이용한 효율적인 필터링
JP6620235B2 (ja) サウンドステージ拡張のための機器及び方法
CA2835463C (en) Apparatus and method for generating an output signal employing a decomposer
US20090252356A1 (en) Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20080025519A1 (en) Binaural rendering using subband filters
KR20080078882A (ko) 입체 오디오 신호 디코딩
JP7383685B2 (ja) バイノーラル・ダイアログ向上
KR20110041062A (ko) 가상 스피커 장치 및 가상 스피커 처리 방법
RU2427978C2 (ru) Кодирование и декодирование аудио
JPWO2020080099A1 (ja) 信号処理装置および方法、並びにプログラム
Yu et al. Low-complexity binaural decoding using time/frequency domain HRTF equalization

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid