KR20060014050A

KR20060014050A - 스피커 신호에서 성분의 이산값을 계산하는 장치 및 방법

Info

Publication number: KR20060014050A
Application number: KR1020057021712A
Authority: KR
Inventors: 토마스 뢰더; 토마스 스포러; 산드라 브릭스
Original assignee: 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date: 2003-05-15
Filing date: 2004-05-11
Publication date: 2006-02-14
Also published as: DE10321980B4; EP1606975A2; US7734362B2; US20060092854A1; DE10321980A1; JP4698594B2; KR100674814B1; WO2004103022A3; JP2007502590A; CN1792118A; WO2004103022A2; DE502004002769D1; ATE352971T1; CN100553372C; EP1606975B1

Abstract

제1 시점으로부터 제2 시점까지의 지연 변화로 인한 파동-장 합성에서 도플러 아티팩트를 감소시키기 위해, 먼저, 제1 시점에 대한 지연과 제2 시점에 대한 지연이 결정된다(10). 그리고 나서, 현재 시점에 대한 제1 지연만큼 지연된 오디오 신호의 값과 현재 시점에 대한 제2 지연만큼 지연된 오디오 신호의 값이 결정된다(14). 다음에, 제1 값이 제1 가중 계수로 가중되며 제2 값이 제2 가중치에 의하여 평균되고(22), 그 결과 가상 음원에 바탕을 둔, 스피커용 스피커 신호에 포함된 성분의 현재 시점에 대한 이산값을 얻기 위하여 두 개의 가중값이 가산된다(26). 그리하여, 후의 시점에 존재하는 지연을 알게 됨으로써, 하나의 지연으로부터 그 다음의 지연까지 패닝이 얻어져서, 원하지 않은 도플러 아티팩트를 감소시킨다.

Description

스피커 신호에서 성분의 이산값을 계산하는 장치 및 방법{DEVICE AND METHOD FOR CALCULATING A DISCRETE VALUE OF A COMPONENT IN A LOUDSPEAKER SIGNAL}

본 발명은 파동-장 합성(또는 음장중첩; wave-field synthesis) 시스템에 관한 것으로, 보다 구체적으로 설명하면, 가상 음원의 이동을 허용하는 파동-장 합성 시스템에 관한 것이다.

가전제품 분야에서 새로운 기술과 혁신적인 제품에 대한 요구가 증가하고 있다. 그것은 최적의 기능성 또는 성능을 각각 제공하기 위하여 새로운 멀티미디어 시스템의 성공에 있어서 중요한 필요조건이다. 이것은 디지털 기술, 특히 컴퓨터 기술의 이용에 의하여 달성된다. 그 예로서, 사실적 시청각 효과(impression)를 향상시키는 응용예가 있다. 종래 오디오 시스템의 중요한 결점은 실제 환경 뿐만 아니라 가상 환경에서의 입체 음향 재생의 품질에 있다.

오디오 신호의 다채널 스피커 재생 방법은 공지되어 있으며, 수 년에 걸쳐 표준화되었다. 통상의 모든 기술은 스피커의 위치와 청취자의 위치가 모두 전송 포맷으로 이미 정해져(imprinted) 있다는 단점을 갖는다. 스피커가 청취자에 대하여 잘못된 위치에 있으면, 오디오 품질은 좋지 않은 영향을 많이 받는다. 재생장소의 매우 작은 부분[스윗 스팟(sweet spot)이라고도 한다]에서만 최적 음향을 들 을 수 있는 것이다.

오디오 재생 동안의 보다 강한 인클로저(enclosure) 뿐만 아니라 향상된 자연스런 공간 음향효과(natural spatial impression)를 새로운 기술의 도움으로 얻을 수 있다. 소위 파동-장 합성(WFS)이라고 하는 이러한 기술의 기본 원리가 티유 델프트(TU Delft) 공대에서 연구되었으며, 80년대 후반에 처음으로 소개되었다(파동-장 합성에 의한 음향 제어. A.J., Berkhout, D. de Vries, 및 P. Vogel 공저. JASA 93, 1993).

상기 방법을 구현하기 위한 연산 노력 및 전송속도에 대한 엄청난 요건으로 인해, 파동-장 합성은 실제로 지금까지 거의 적용되지 못하였다. 단지 마이크로프로세서 및 오디오 인코딩 분야에서의 진보에 의해서 오늘날 상기 기술을 특정 응용예에 이용하게 되었다. 전문 분야에서의 최초 제품이 내년에 나을 것으로 예상되고 있다. 수 년 이내에, 소비자 제품 분야에 대한 최초 파동-장 합성 적용제품이 시장에 출현할 것이다.

파동-장 합성의 기본 사상은 파동 이론(wave theory)의 호이겐스 원리의 적용에 바탕을 두고 있다.

파동에 의하여 포착된 모든 점은 구형 또는 원형으로 전파하는 기본 파동의 시작점이다.

음향학에 적용되면, 여하한 형태로 유입되는 파두(wave front)도 상호 인접하게 배열된 다수의 스피커 (소위 스피커 어레이)에 의하여 재생될 수 있다. 재생될 단일 점원(a single point source)과 스피커의 선형 배열이라는 가장 단순한 경 우에, 개별 스피커에서 방출된 음장(音場)이 적절히 중첩하도록, 모든 스피커의 오디오 신호는 시간 지연과 진폭 스케일링에 의해(with a time delay and amplitude scaling) 공급되어야 한다. 음원이 여럿일 경우, 모든 스피커에 대한 기여도(contribution)는 모든 음원에 대하여 개별적으로 계산되며, 그 결과로 나온 신호가 추가된다. 반향 벽을 갖는 가상 공간에서는, 반향이 스피커 어레이를 통해 부가음원처럼 재생될 수도 있다. 따라서, 그 계산의 노작(the calculation effort)은 음원의 개수, 녹음실의 반향 특성, 및 스피커 개수에 크게 의존한다.

본 기술의 특별한 장점은, 재생실의 넓은 영역에 걸쳐 자연스런 공간 음향 효과를 낼 수 있다는 것이다. 공지된 기술과 대조적으로, 음원의 방향과 거리가 재생에 매우 정확하게 나타난다. 제한된 정도이기는 하나, 가상 음원이 실제 스피커 어레이와 청취자 사이에 배치되게 할 수도 있다.

파동-장 합성은 그 조건이 알려진 환경에 대하여 적절히 기능하지만, 조건이 변화하는 경우 또는 환경의 실제 조건에 상응하지 않는 주변 조건에 기초하여 파동-장 합성이 수행되는 경우에, 불규칙적 합성이 발생한다.

또한, 파동-장 합성 기술은 시각적 인식(visual perception)에 대해 그에 상응하는 공간 오디오 인식을 추가하는데 적절히 사용될 수 있다. 지금까지, 가상 스튜디오에서의 (영상물)제작에 있어서는, 가상 장면의 확실한 시각적 효과의 생성에 초점을 두었다. 영상에 맞춘 음향 효과는 통상적으로 소위 필름촬영 후 편집(postproduction)에서 수동 조작 단계에 의하여 사후적으로 오디오 신호에 넣어지거나, 또는 구현하는데 너무 비용이 많이 들고 또한 상당히 시간 소모적인 것으로 간주되어 무시되고 (실시되지 않고) 있다. 이로 인해 개별 인식 느낌 사이에 (between individual sense impressions) 불일치가 야기되어, 계획된 공간, 즉 계획된 장면의 현실감을 떨어뜨린다.

"시청각 시스템의 입체화된 오디오 및 2D 비디오 프로젝션을 혼합하는 것의 효과에 대한 주관적 실험"이라는 전문가 간행물(W. de Bruijin 및 M. Boone 공저. AES 컨벤션 논문 5582, 2003년 5월 10일 ~ 13일, 뮌헨)에, 시청각 시스템의 공간 오디오와 2차원 비디오 프로젝션의 결합 효과에 대한 주관적 실험이 소개되어 있다. 특히, 카메라에 대하여 서로 다른 거리에(거의 앞뒤로) 서 있는 두명의 화자(speakers)는 그 두 사람이 앞뒤로 서있는 것을 볼 수 있고 파동-장 합성의 도움으로 서로 다른 가상 음원으로 재구성될 수 있는 경우에 청중(audience)이 화자의 말을 보다 양호하게 알아들을 수 있다는 것이 강조된다. 그 경우에, 두명의 화자가 떨어져 있을 때 동시에 말하더라도 그들의 말을 보다 잘 알아듣고 구별할 수 있다는 것이 주관적 시험에 의해 밝혀진 것이다.

2001년 9월 24일 ~ 9월 27일 일메나우(Ilmenau) 공대에서의 제46회 국제 아카데미 세미나의 컨퍼런스 기고문(U. Reiter, F. Melchior, 및 C. Seidel 공저, 제목; Automatisierte Anpassung der Akustik an Virtuelle Raume")에서, 음향 후처리 과정을 자동화하는 접근법이 제출되었다. 방 크기, 외관의 색조(texture of surfaces) 또는 카메라 위치, 및 배우의 위치와 같이, 시각화에 필요한, 영상 촬영 세트의 파라미터가 음향학적 타당성에 대하여 점검되고, 그 결과에 의해 대응 제어 데이터가 생성된다. 이것은, 카메라까지의 거리에 대한 스피커 음량 의존성의 적 합화 또는 방 크기 및 벽면 상태에 따른 잔향 시간과 같은, 필름촬영 후 편집에 사용되는 효과 및 후처리 과정에 자동적으로 영향을 끼친다. 여기서, 그 목적은 가상 장면의 시각적 인상(impression)을 강조하여 현실감 인식을 증가시키는 것이다.

하나의 장면을 보다 현실적으로 보이도록 만들기 위하여, "카메라의 귀(ears)로 듣는 것"이 가능하도록 하려는 것이다. 이와 관련하여, 영상내의 음향 이벤트 위치(sound event location)와 주변 필드(surround field)내의 청취 이벤트 위치 사이의 상호관계가 가능한한 높도록 시도된다. 이것은 음원 위치가 영상에 지속적으로 적합화되는 것을 의미한다. 줌(zoom)과 같은 카메라 파라미터도 또한 두 개의 좌측 및 우측 스피커(W 및 R)의 위치와 같이 음향 설계에 들어 있어야 한다. 그러므로, 가상 스튜디오의 트랙킹 데이터는 관련 시간 코드와 함께 시스템에 의하여 파일로 기록된다(written). 영상, 음향 및 시간 코드는 MAZ 상에 동시에 기록된다(recorded). 캠덤프(Camdump) 파일은, 오디오 워크스테이션용 제어 데이터를 생성하여 그것을 MIDI 인터페이스를 통해 MAZ으로부터 오는 영상에 동기적으로 출력하는, 컴퓨터에 전송된다. 음원을 주변 필드 내에 위치설정하고 초기 반향과 잔향을 삽입하는 것 뿐만 아니라, 실제 오디오 처리는 오디오 워크스테이션 내에서 수행된다. 신호는 5.1 써라운드 스피커 시스템용으로 제공된다.

녹음 세팅내의 음원의 위치 뿐만이 아니라 카메라 트랙킹 파라미터는 실제 영상촬영세트에서 기록될 수 있다. 이러한 데이터는 또한 가상 스튜디오에서 발생될 수도 있다.

가상 스튜디오에서, 녹음실에는 배우 또는 진행자(presenter) 홀로 있다. 특히, 배우 또는 진행자는 청색 박스 또는 청색 패널로 불리우는 청색 벽의 전면에 선다. 이러한 청색 벽 상에는 청색 및 연청색 줄무늬(stripes)의 패턴이 배치된다. 이러한 디자인에 있어서는, 줄무늬가 서로 다른 폭을 가지며, 그에 따라 복수의 스트라이프 조합체가 생기는 특징이 있다. 후처리 동안, 청색 벽이 가상 배경으로 대체될 때, 청색 벽 상의 독특한 스트라이프 조합체로 인해 카메라가 어느 방향을 보는지 정확하게 결정하는 것이 가능하다. 이러한 정보의 도움을 받아, 컴퓨터는 카메라의 당시의 화면각에 해당하는 배경을 결정할 수 있다. 또한, 부가적인 카메라 파라미터를 검출하고 그 결과치를 출력하도록 카메라의 센서들이 조작된다. 이처럼 센서 기술을 통해 검출되는 카메라의 통상적인 파라미터는 3개의 병진(translation) 각도 (x, y, 및 z), 3개의 회전 각도[롤링(roll), 틸팅(tilt), 및 패닝(pan)이라고도 한다], 및 카메라의 개구 각도에 대한 정보와 동일한 초점 거리 또는 줌이다.

영상 인식 없이 그리고 고가의 센서 기술을 사용하지 않고도, 카메라의 정확한 위치를 결정할 수 있도록 하기 위하여, 카메라에 장착된 적외선 센서의 위치를 결정하는, 수개의 적외선 카메라로 구성된 트랙킹 시스템을 사용할 수 있다. 그렇게 함으로써, 카메라 위치 역시 결정된다. 센서 기술 및 영상 인식에 의하여 구해진 스트라이프 정보에 의하여 제공된 카메라 파라미터에 따라서, 실시간 컴퓨터가 현재 영상에 대한 배경을 계산할 수 있다. 그리고, 청색 배경이 갖는 청색 색조는 영상으로부터 제거되어, 청색 배경이 가상 배경으로 대체된다.

대부분의 경우, 시각적으로 표현된 장면의 청각적인 전체적 느낌을 얻는 것에 기초한 하나의 개념이 추구된다. 이것은 영상 디자인으로부터 오는 표현인 "풀 샷(full shot)"으로 설명될 수 있다. 이러한 '풀 샷' 음향 효과는, 사물에 대한 광학적 화면각이 자주 크게 변화함에도 불구하고, 한 장면의 모든 배경을 통해 대부분 일정하게 남아있다. 광학적인 세부묘사는 상응하는 각도에 의해 강조되거나, 배경으로 이동된다. 필름에 대사를 생성하는 카운터샷(countershot)도 또한 음향에 의해 재생되지 않는다.

따라서, 청중을 시청각 장면에 음향적으로 몰입시킬(embed) 필요가 있다. 이와 관련하여, 스크린 또는 영상 영역은 청중의 시각과 시선(the line of vision and the angle of view) 내에 있다. 이것은 음향이 항상 영상에 대응하는 형태로 영상을 따라야 한다는 것을 의미한다. 이것은, 예를 들어 진행하는 음성과 진행자가 그 시점에 존재하는 환경의 사이에 상관관계가 없기 때문에, 가상 스튜디오의 경우에 특히 중요하다. 그 장면의 시청각적 전체적 인상을 얻기 위하여, 주어진 이미지와 어울리는(matching) 실내 인상이 시뮬레이션 되어야 한다. 이와 관련하여, 예를 들어 극장 스크린의 관객이 인지하는 바의 음원의 위치는, 이러한 음향 개념에 있어서의 상당히 주관적인 특성이다.

오디오 영역에서, 파동-장 합성(WFS)의 기술에 의하여 넓은 청취자 영역에 대하여 양호한 공간적 음(a good spatial sound)이 얻어질 수 있다. 위에서 설명한 바와 같이, 파동-장 합성은, 파두(wave fronts)가 기본 파동(elementary waves)을 중첩시킴으로서 형성 및 구성될 수 있다는, 호이겐스 원리에 바탕을 둔 것이다. 수학적으로 정확한 이론적 설명에 따르면, 무한적으로 짧은 거리에 있는 무한대의 소스가 기본 파동을 생성하기 위해 사용될 수 있다. 그러나, 실제로는 한정된 개수의 스피커가 서로에 대하여 한정된 짧은 거리를 두고 사용된다. WFS 원리에 따르면, 이러한 스피커들 각각은 가상 음원으로부터의 오디오 신호에 의하여 제어되며, 상기 오디오 신호는 특정 지연과 특정 레벨(a certain delay and a certain level)을 갖는다. 레벨과 지연은 모든 스피커에 대하여 상이한 것이 통상적이다.

오디오 영역에는 소위 자연적인 도플러 효과가 존재한다. 이러한 도플러 효과는 특정 주파수를 갖는 오디오 신호를 보내는 소스, 그 오디오 신호를 수신하는 수신기, 및 상기 수신기에 대하여 일어나는 오디오 신호 소스의 이동에 의하여 발생한다. 음향 파형의 "신장(extension)" 또는 "압축(compression)"으로 인해, 도플러 효과는 위와 같은 이동에 따라 수신기에 대한 오디오 신호의 주파수를 변경시킨다. 통상적으로, 사람이 수신기이며, 예를 들어, 싸이렌을 울리는 앰뷸런스가 그 사람을 향해 다가오고 그리고 나서 그 사람으로부터 멀어질 때, 그 주파수 변화를 직접 듣는다. 그 사람은 앰뷸런스가 그 사람 전방에 있을 때에 그 앰뷸런스가 그 사람 후방에 있는 때와 다른 피치로 싸이렌을 듣게 된다.

도플러 효과는 파동-장 합성 또는 음장 합성(sound field synthesis)에서 각각 존재한다. 이것은 물리적으로 전술한 자연적인 도플러 효과와 동일한 배경에 바탕을 둔다. 그러나, 자연적인 도플러 효과와 대조적으로, 음장 합성에서 송신기와 수신기 사이의 직접 경로가 존재하지 않는다. 그 대신, 주 송신기와 주 수신기가 존재하는 점에서 구별된다. 그 외에, 보조 송신기와 보조 수신기가 존재한다. 이러한 개요를 도 7을 참조하여 아래에 설명하기로 한다.

도 7은 도 7에 ①로 표시된 제1 위치로부터 시간이 경과함에 따라 이동 통로(702)를 따라 도 7에 ②로 표시된 제2 위치까지 이동하는 가상 음원(700)을 도시한다. 또한, 3개의 스피커(704)가 개략적으로 도시되어 있는 바, 상기 스피커는 파동-장 합성 스피커 어레이를 나타내기 위한 것이다. 또한, 가상 음원의 이동 경로는 청취자 주위로 뻗어 있는 원형 경로이고, 도 7과 같은 예로 배열되는 내용의 개요에서의 청취자(706)는 이 원형 경로의 중심에 있게 된다. 그러나, 가상 음원(700)이 제1 위치에 있을 때, 이 가상 음원은 스피커로부터 제1 거리(r₁)를 가지며, 제2 위치에 있는 소스에 대하여는 제2 거리(r₂)를 갖기 때문에, 스피커들(704)이 중 심에 배치되어 있지 않다. 도 7에 도시된 시나리오에서, r₁은 r₂와 같지 않으며, 청취자(706)로부터의 가상 음원의 거리를 의미하는 R₁은 시점 (2)에서 가상 음원으로부터의 청취자(706)의 거리와 동일하다. 이것은 가상 음원(700)의 거리 변화가 청취자(706)에 대하여 발생하지 않음을 의미한다. 한편, r₁이 r₂와 같지 않기 때문에, 스피커(704)에 대하여 가상 음원(700)의 거리가 변화한다. 가상 음원은 주 송신기를 나타내며, 스피커(704)는 주 수신기를 나타낸다. 동시에, 스피커(704)는 보조 송신기를 나타내며, 청취자(706)는 보조 수신기를 나타낸다.

파동-장 합성에 있어서, 주 송신기와 주 수신기 사이의 전송은 "가상적으로" 발생한다. 이것은 파동-장 합성 알고리즘이 파형의 파두의 확장 및 압축을 수행할 수 있음을 의미한다. 스피커(704)가 파동-장 합성 모듈로부터 신호를 수신할 때, 처음에 가청 신호가 존재하지 않으며, 스피커에 의하여 출력된 이후에야 신호를 들을 수 있게 된다. 따라서, 도플러 효과는 상이한 위치에서 발생할 수 있다.

가상 음원이 스피커에 대하여 이동하면, 스피커들이 상이한 위치에 있고 따라서 상대적 이동이 모든 스피커에 대하여 다르기 때문에, 각 스피커는 이동하는 가상 음원에 대한 특정 위치에 따라 상이한 도플러 효과를 가지는 신호를 재생한다.

한편, 청취자가 스피커에 대하여 이동할 수도 있다. 그러나, 특히 영화관에서 그러하거니와, 실제로 중요하지는 않은 경우인 바, 스피커에 대한 청취자의 이동이 비교적 느리므로 도플러 효과가 비교적 작으며, 이는 당업계에 공지된 바와 같이, 도플러 편이(shift)가 송신기와 수신기 사이의 상대 운동에 비례하기 때문이다.

스피커에 대하여 가상 음원이 이동하는 것을 의미하는 위의 도플러 효과는 비교적 자연스럽지만 또한 매우 부자연스럽게 소리를 낼 수 있다. 이것은 이동 방향에 의해 좌우된다. 상기 음윈이 직선으로 시스템의 중심으로부터 멀리 또는 그것을 향하여 이동하는 경우에, 보다 자연스런 효과가 발생한다. 도 7에 있어서, 이것은 가상 음원(700)이 예를 들어 화살표(R₁)를 따라 청취자로부터 멀어지는 것을 의미한다.

그러나, 가상 음원(700)이 도 7에 도시된 바와 같이 청취자를 "둘러싸면", 주 음원과 주 수신기(스피커) 사이의 상대적 이동이 매우 강하고 상이한 주 수신기 들간에 크게 다르기 때문에 매우 부자연스러운 (도플러)효과가 발생하는데, 이것은 청취자에 대해 가상음원을 둘러싸는 경우에, 가상음원과 청취자 사이에 거리 변화가 발생하지 않기 때문에 도플러 효과가 발생하지 않는 것과는 성질상 크게 대조적이다.

본 발명의 목적은 도플러 효과에 기인한 아티팩트(artifact)가 감소된 스피커 신호에 포함된 성분의 현재 시간에서의 이산값을 계산하기 위한 개선된 개념을 제공하는 것이다.

상기 목적은 청구항 1의 장치, 청구항 18의 방법 또는 청구항 19의 컴퓨터 프로그램에 의하여 달성된다.

본 발명은, 도플러 효과가 음원의 위치 식별에 필요한 정보의 일부이기 때문에, 도플러 효과를 고려할 수 있다는 지식에 바탕을 둔다. 이러한 도플러 효과를 완전히 빼어버려야 한다면, 이는 최적의 음향 체험이 실현되지 않게 할 것이며, 그 이유는 도플러 효과가 자연스러운 것이기 때문이며, 예를 들어 가상 음원이 청취자를 향하여 이동하지만, 오디오 주파수의 도플러 편이가 발생하지 않는다면, 그것은 최적이 아닌 효과(impression)를 가져올 것이다.

한편, 본 발명에 의하면, 도플러 효과가 존재하지만 아티팩트(artifact)를 만들지 않거나 단지 감소된 아티팩트를 만들 뿐인 상태로 도플러 효과를 "슬러링(slurring)"하기 위해, 하나의 위치에서 다른 위치로의 "배닝(banning)"이 수행된다. 따라서, 종래 기술에서, 지연 변화가 발생하면(가상 음원의 위치 변화가 발생할 때를 의미한다), 샘플들이, 감소된 지연 동안 인위적으로 단순히 삽입되거나, 증가된 지연동안 단순히 생략된다(omitted). 이것은 신호에 가파른 점프를 야기한다. 그러나, 본 발명에 따르면, 이러한 가파른 점프는 가상 음원의 한 위치로부터 다른 위치로 지속적인 전이(transition)를 이루는 것에 의하여 감소된다. 그러므로, 패닝 영역에서, 제1 시점(a first time)을 의미하는 현재 시점(a current time)에 대하여 유효한 제1 위치의 오디오 신호의 샘플을 사용하고, 제2 시점(a second time)을 의미하는 현재 시점에 관련된 제2 위치의 오디오 신호의 샘플을 사용함으로써, 이산값이 패닝 영역에서 현재 시점에 대하여 계산된다.

제1 위치가 변화하여 제1 지연 정보가 유효한 제1 시점에, 제1 지연에 의하여 지연된 오디오 신호에 대한 가중치가 100%인 반면에, 제2 지연에 의하여 지연된 오디오 신호에 대한 가중치가 0%이고, 그리하여 한 위치에서 다른 위치로 매끄럽게 패닝하기 위하여, 두 개의 가중치의 대향 변화(opposing change)가 제1 시점으로부터 제2 시점 까지 수행되도록, 패닝이 일어나는 것이 바람직하다.

본 발명의 개념은, 한편으로는 음원의 새로운 위치 정보가 새로운 현재 시간 마다 더 이상 고려되지 않기 때문에 그리고 가상 음원의 위치 갱신이 상당히 간격이 넓은 단계로 수행되기 때문에 일어나는 위치 정보의 일정한 손실 사이의 타협점(a tradeoff)에 관한 것이며, 제2 위치 사이에 패닝이, 여기서 패닝은 음원의 제1 위치와 후에 발생하는 음원의 제2 위치 사이에서 수행된다. 이것은 비교적 간격이 넓은 공간적인 스텝 폭, 즉 시간적으로 비교적 먼 위치 정보(물론 음원의 속도를 고려함에 대하여 처음으로 지연을 실시함으로써 수행된다. 그에 따라, 주 송신기와 주 수신기 사이에서 전술한 가상 도플러 효과를 야기하는 지연 변화(delay change)가 슬러링되는 바, 즉 하나의 지연 변화에서 다른 지연 변화로 연속적으로 변형된다(transformed). 본 발명에 의해, "패닝"은, 공간점프(spatial jumps)및 그에 따른 가청 "클릭"을 피하기 위해, 한 위치로부터 다음 위치까지의 볼륨 스케일링(volume scaling)을 통해 수행된다. 그에 따라, 지연 변화에 기인한 샘플의 힘겨운(hard) 생략 또는 부가는 원형(rounded) 엣지를 갖는 경성(hard) 신호형태에 적합한 신호 형태로 대체되며, 지연 변화는 고려되지만, 가상 음원의 위치 변화로 인해, 아티팩트(artifacts)를 야기하는 스피커 신호에 대한 두드러진 영향이 방지된다(avoided).

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 1은 본 발명에 따른 장치의 블록도이다.

도 2는 본 발명에 사용할 수 있는 파동-장 합성 환경의 기본 도면이다.

도 3은 도 2에 도시된 파동-장 합성 모듈을 상세히 도시하는 도면이다.

도 4a는 D=0인 제1 지연을 가지는 제1 시점에서의 가상 음원의 이산 오디오 신호의 파형을 도시하는 도면이다.

도 4b는 4a와 동일하나, 지연이 D=2인 경우의 오디오 신호를 도시하는 도면이다.

도 4c는 도 4a가 유효한 경우의 제1 시점(a first time)과 도 4b가 유효한 경우의 제2 시점 사이의 일정 시점에(in a time) 도 4a 및 도 4b에 도시된 오디오 신호에 기초한 제1 패닝 버전을 도시한다.

도 4d는 도 4b에 도시된 신호가 유효한 경우에 도 4c보다 늦은 시점에서의 부가적인 패닝을 나타내는 도면이다.

도 5는 도 4a 내지 도 4d의 파형으로 구성된 가상 음원(i)에 기초한 스피커 신호의 성분(K_ij)의 파형을 도시하는 도면이다.

도 6은 도 4a 내지 도 4d에 도시된 오디오 신호의 계산을 위하여 사용된 가중치 (m, n)를 상세히 나타내는 도면이다.

도 7은 가상 도플러 효과를 설명하는 시나리오이다.

도 8은 패닝을 수행하지 않은 성분(K_ij)의 파형을 도시하는 도면이다.

본 발명에 따른 장치를 도시하는 도 1을 보다 상세히 살펴보기 전에, 우선, 고전적인 파동-장 합성 환경을 도 2를 참조하여 설명하기로 한다. 수개의 출력단(210, 212, 214, 216)은 물론 수개의 입력단(202, 204, 206, 208)을 구비하는 파동-장 합성 모듈(200)이 파동-장 합성 환경의 중심이다. 가상 음원에 따라 상이한 오디오 신호가 입력단(202 내지 204)을 통해 파동-장 합성 모듈에 공급된다. 따라서, 입력단(202)은 예를 들어, 가상 음원(1)의 관련 위치 정보 뿐만 아니라 가상 음원(1)의 오디오 신호를 수신한다. 예를 들어, 영화의 경우, 오디오 신호(1)는 예를 들어 스크린의 좌측에서 스크린의 우측으로 이동하며 그리고 경우에 따라 추 가적으로 관객으로부터 또는 관객을 향하여 이동하는 배우의 대사일 수 있다. 따라서, 오디오 신호(1)는 이러한 배우의 실제적인 대사일 수 있지만, 시간의 함수로서의 위치 정보는 어떤 시점에서의 녹음 세팅에서의 제1 배우의 현재 위치를 나타낸다. 이와 대조적으로, 오디오 신호(n)는 예를 들면 동일한 방식으로 이동하거나 또는 제1 배우와 다른 방식으로 이동하는 다른 배우의 대사일 수 있다. 상기 오디오 신호(n)와 관련된 다른 배우의 현재 위치는 오디오 신호(n)와 동기화된 위치 정보에 의하여 파동-장 합성 모듈(200)에 제공된다. 실제로, 녹음 세팅 및 스튜디오에 따라 상이한 다른 가상 음원이 각기 존재하며, 여기서 각각의 모든 가상 음원의 오디오 신호는 개별 오디오 트랙으로서 파동-장 합성 모듈(200)에 공급된다.

전술한 바와 같이, 파동-장 합성 모듈은 출력단(210 내지 216)을 통해 스피커 신호를 개별 스피커로 출력함으로써 다수의 스피커에 신호를 공급한다. 입력단(206)을 통해 영화관과 같은 재생 세팅의 개별 스피커의 위치가 파동-장 합성 모듈(200)에 제공된다. 영화관에서, 다수의 개별 스피커는 관객 주위로 그룹화되는 바, 스피커들은, 예를 들어 스크린의 후방을 의미하는 관객의 전방, 그리고 관객의 좌측, 우측과 함께 관객의 후방에도 모두 있도록, 군을 이루어(in arrays) 배치되는 것이 바람직하다. 나아가, 영화의 녹음 세팅 동안 실제 실내 음향 효과(room acoustics)를 시뮬레이션 할 수 있도록, 실내 음향에 대한 정보와 같은, 다른 입력이 파동-장 합성 모듈(200)에 제공될 수 있다.

일반적으로, 예를 들어 출력단(210)을 통해 스피커(LS1)에 공급되는 스피커 신호는, 스피커(LS1)에 대하여 가상 음원(1)으로부터 유입하는 제1 성분과, 가상 음원(2)으로부터 유입하는 제2 성분과, 가상 음원(n)으로부터 유입하는 n번째 성분을 포함하는 점에서 가상 음원의 성분 신호가 중첩된 것이다. 개별 성분 신호는 선형으로 중첩되는데, 이는 음원의 선형 중첩을 듣게 될 청취자의 귀에서 상기 선형 중첩을 재생하기 위하여 그 계산후에(after their calculation) 추가되어, 그 청취자가 현실감 있는 세팅으로 감지할 수 있음을 의미한다.

아래에서, 파동-장 합성 모듈(200)의 세부 구조를 도 3을 참조하여 설명하기로 한다. 파동-장 합성 모듈(200)은, 각각의 가상 음원에 대한 오디오 신호로부터 시작하고, 대응하는 가상 음원에 대한 위치 정보로부터 시작하여, 먼저 스케일링 계수(scaling factors)(SF₁)와 지연 정보(V_i)가 계산되고, 이는 예를 들어 LS_j를 의미하는 서수 (j)를 갖는 스피커와 같이 방금 고려된 (just considered) 스피커의 위치와 위치 정보에 의해 좌우되는 점에서, 매우 병렬적 구조(a very parallel structure)를 갖는다. 가상 음원의 위치 정보와 고려된 스피커(j)의 위치에 기초한 스케일링 계수(SF₁)와 지연 정보(V_i)의 계산은 수단(300, 302, 304, 306)에서 실행되는, 공지된 알고리즘에 의해 수행된다. 개별 가상 음원과 관련된 오디오 신호 {AS_i(t)}에 기초할 뿐만 아니라 지연 정보 [V_i(t) 및 SF_i(t)]에 기초하여, 최종적으로 획득된 스피커 신호의 현재 시간 (t_A)에 대한 성분 신호 (component signal)(K_ij)에 대하여 이산값 [AW_i(t_A)]이 계산된다. 이것은 도 3에 개략적으로 도시된 수단(310, 312, 314, 316)에 의하여 수행된다. 나아가, 도 3은 개별 성분 신 호에 대하여 시간 (T_A)에서의 "플래쉬 라이트 레코딩(flash light recording)"을 도시한다. 그 다음에 개별 성분 신호는, 출력단[예를 들어, 스피커(j)가 스피커(LS3)인 경우에 출력단(214)]의 스피커에 공급될 수 있는, 스피커(j)에 대한 스피커 신호의 현재 시점(t_A)에 대한 이산값을 결정하기 위하여 합계(summer)(320)에 의하여 합계된다.

도 3에 의해 알 수 있는 바와 같이, 우선, 스케일링 계수에 따른 지연과 스케일링에 기인하여 현재 시점에 유효한, 각각의 가상 음원에 대한 값이 개별적으로 계산되고, 이어서, 하나의 스피커에 대한 모든 성분 신호가 상이한 가상 음원으로 인해 합계된다. 예를 들면, 단 하나의 가상 음원이 존재할 경우에, 합계기는 생략될 것이며, 도 3의 합계기의 출력단에 인가된 신호는, 예를 들어 가상 음원(1)이 유일한 가상 음원인 경우에 수단(310)에 의해 출력된 신호에 대응한다.

아래에서, 도 3에 도시된 장치의 작동 모드를 도 4a, 도 4b 및 도 8을 참조하여 설명하기로 한다. 도 4a는 시점 (t')에서의 (over the time t') 가상 음원의 예시적인 오디오 신호를 도시하는 바, 이는 시점 (t'=0) 에서 시점 (t'=13)에 이르는 이산값을 갖는다. 시점 (t'=0)에서의 스케일링 계수로서, 1의 스케일링 계수를 가정한다. 나아가, 범용성을 상실함이 없이(without loss of generality), 시점 (t'=0)에서 파동-장 합성 모듈에 의하여 0의 샘플의 지연이 계산된 것으로 가정한다.

도 4a에서 도면부호 401로 표시된 제1 시점 (t'=0)에서, 도 4a에 도시된 가 상 음원의 오디오 신호가 울리게 되고(to be played), 도 4a에 표시된 제2 시점 (402)에, 지연값 D=0인 오디오 신호로부터 지연값 D=2인 동일한 오디오 신호의 스위칭이 수행된다. 스위칭 시간은 도 4a에서 화살표 (404)로 표시되어 있다.

가상 음원으로부터 D=2 만큼 편이된 오디오 신호가 t'=-2 내지 t'=12의 현재 시점에 대한 시간 함수로서 도 4b에 도시되어 있다. 도 4a 및 도 4b에 도시된 가상 음원에 기초한 스피커 신호의 성분들은 그래서 시점 0에서 시점 (8)까지 도 4a에 도시된 값으로 구성되며, 위치 변화가 다시 신호화되는(signalized) 경우에, 시점 (9)에서 그 이후의 시간까지 도 4b에 도시된 현재 시간(9 내지 12)에서의 샘플로 구성된다. 이 신호는 도 8에 도시되어 있다. 한 위치에서 다른 위치로의 스위칭 시간을 의미하는 스위칭 시간에(상기 스위칭은 다시 도 8에서 도면부호 404로 표시되어 있다), 두 개의 샘플이 생략되었음을 알 수 있다. 도 4a에 도시된 오디오 신호에 따르면, 1의 진폭을 갖는 샘플이 시점 (9)에 발생하지만, 시점 (10)에서 0의 진폭을 갖는 샘플이 발생하는 반면, 도 8에 도시된 신호는 시점 (10)에서 2의 진폭을 갖는 샘플을 이미 가지고 있는 바, 이는 지연값 D=2에 기인한 경우이다. 이러한 두 개의 샘플의 생략은 전술한 가상 도플러 효과를 야기한다.

하나의 지연(delay)으로부터 다른 하나의 지연으로의 이러한 스위칭에 의하여 야기된 아티팩트를 억제하기 위하여 그리고 바람직하지 않은 특징을 억제하기 위하여, 도 1에 도시된 본 발명의 장치를 사용할 수 있다. 도 1은, 파동-장 합성 모듈과 다수의 스피커를 구비하는 파동-장 합성 시스템의 가상 음원(i)에 기초하여 스피커(j)에 대한 스피커 신호의 성분 (K_ij)의 현재 시점에 대한 이산값을 계산하기 위한 장치를 도시한다. 특히, 파동-장 합성 모듈은 가상 음원과 관련된 오디오 신호를 사용함으로써 그리고 가상 음원의 위치를 나타내는 위치 정보를 이용함으로써 지연 정보를 결정하도록 구성되는 바, 상기 성분의 시간 기준(a time reference in the component)과 관련하여 오디오 신호가 얼마나 많은 샘플만큼 지연되었는가를 나타낸다. 도 1에 도시된 장치는, 가상 음원의 제1 위치와 관련된 제1 지연을 제공하기 위하여 그리고 가상 음원의 제2 위치와 관련된 제2 지연을 제공하기 위한 수단(10)을 구비한다. 특히, 가상 음원의 제1 위치는 제1 시점에 관한 것이며, 가상 음원의 제2 위치는 제1 시점 보다 늦은 제2 시점에 관한 것이다. 또한, 제2 위치는 제1 위치와 상이하다. 제2 위치는 예를 들어 ②로 도 7에 표시된 가상 음원소스의 위치이며, 제1 위치는 도 7에 ①로 표시된 가상 음원(700)의 위치이다.

따라서, 지연 제공 수단(10)은 제1 시점에 대한 제1 지연(12a)과 제2 시점에 대한 제2 지연(12b)을 출력측에 제공한다. 선택적으로, 지연제공 수단(10)은 후술하는 바와 같이, 지연들과 별개로 두 시점에 대한 스케일링 계수를 또한 출력한다.

지연제공 수단(10)의 출력단(12a, 12b)에서의 두 지연은, 현재 시점[입력단(18)을 통해 신호화될 수 있다)에 대한 것으로서, 입력단(16)을 통해 공급되는, 제1 지연에 의하여 지연된 오디오 신호의 값 그리고 현재 시점에 대한 제2 지연에 의하여 지연된 오디오 신호의 제2 값을 결정하기 위한 수단(14)에 공급된다. 출력측에서, 오디오 신호값 결정 수단(14)은 도 1에서 도면부호 20a로 표시된, 제1 지연 에 의하여 지연된, 오디오 신호의 시점 (t_i'=t_A)에서의 제1 값[A₁(t_i')]과, 제2 지연(12b)에 의하여 지연된 오디오 신호의 현재 시점 (t_i'=t_A)에서의 제2 값(20b)을 제공하며, 여기서 A₁은 제1 시점에서 명확히 유효하며 A₄는 제2 시점에서 명확히 유효하다.

나아가, 본 발명의 장치는 제1 가중값(a weighted first value)(24a)을 얻기 위하여 제1 가중치(a first weighting facter)로 A₁의 제1 값을 가중하기 위한 수단(22)을 구비한다. 또한, 이 가중수단(22)은 제2 가중값(24b)을 얻기 위하여 제2 가중치(n)로 A₄의 제2 값(20b)을 가중할 수 있다(effective to weight). 두 가중값(24a, 24b)은 가상 음원(i)에 바탕을 둔, 스피커(j)에 대한 스피커 신호의 성분 (K_ij)의 현재 시점에 대한 "패닝(panned)" 이산값(28)을 얻기 위하여 두 개의 값을 합계하기 위한 수단(26)에 인가된다.

아래에서, 도 1에 도시된 장치의 기능을 도 4c, 도 4d, 도 5 및 도 6을 참조하여 예시적으로 설명하기로 한다. 도 4a 및 도 4b에 도시된 시나리오에 있어서, 하나의 지연으로부터 다른 하나의 지연으로의 스위칭은 10개의 샘플 이후에 필요하다. 제1 시점(401)은 현재 시점(t_A=0)인 반면, 제2 시점(402)은 현재 시점(t_A=9)이다.

본 발명에 따르면, 제1 시점(401)에서 A₁의 값 또는 제2 시점(402)에서 A₄의 값 어느 것도 수정되지(modified) 않는다. 그러나, 제1 시점(t₁401)과 제2 시점(t₂402) 사이의 모든 값은 본 발명에 따라 변경되는 바, 이는 제1 시점(401)과 제2 시점(402) 사이에 놓인 현재 시점(t_A)과 관련된 값을 의미한다. 따라서, 현재 시점은 하기의 예시적인 설명에 대하여 시간(t'=1에서 t'=8)까지 이른다.

수학적인 관점에서, 이것은 도 6에 그래프로 표현되어 있는 바, 도 6은 제1 시점(401)과 제2 시점(402) 사이의 현재 시점들의 함수로서 제1 가중치(m)를 보여준다. 따라서, 제1 가중치(m)는 단조롭게 하락하는 반면, 제2 가중치(n)는 단조롭게 증가한다. 제1 시점(401)에서, t'=0, m=1, 및 n=0이다. 반면, 시점(402)에서, 제1 가중치 m=0 및 제2 가중치 m=1이다. 제1 시점(401)과 제2 시점(402) 사이에서, 두 개의 가중치는 계산이 각각의 샘플에 대해서만 이루어질 수 있고 계속적으로 이루어지지 않기 때문에 계단형 굴곡을 갖게 된다. 상기 계단형 굴곡은 도 6에 각각 파선 및 점선으로 표시된 굴곡이 되는데, 이는 각각 제1 시점(401)과 제2 시점(402) 사이에 미리 정해진 연산 성능(the predetermined computing capacity)과 패닝 이벤트의 횟수에 상응하여 좌우되는 연속선(continuous line)을 따른다.

도 4c 및 도 4d에 반영되고 도 6에 도시된 실시예에서, 단지 예시적으로, 제1 시점(401)과 제2 시점(402) 사이에 두 번의 패닝 이벤트를 이용하였다. 제1 패닝 이벤트는 현재 시점(t_A=3)에서 일어나는 반면, 제2 패닝 이벤트는 현재 시점(t_A=6)에서 일어난다. 도 6에 하나의 선(600)으로 도시된 제1 패닝 시점과 관련된 가중치(m 및 n)를 갖는 신호가 도 4c에 A₂로 표시되어 있다. 또한, 제2 패닝 시점(602)과 관련된 신호가 도 4d에 A₃으로 표시되어 있다. 최종적으로 계산된, 성분(K_ij)의 실제 파형은 도 5에 도시되어 있다(도 4a 내지 도 4d는 단지 예시를 목적으로 한다). 도 4a 내지 도 4d, 도 5 및 도 6에 도시된 실시예에서, 주기 길이(period length)(t_A)를 갖는 것을 의미하는 새로운 모든 샘플에 대해서가 아니고, 단지 샘플 3개 마다의 시간 주기마다, 새로운 가중치가 계산된다. 그리하여, 현재 시점(0, 1 및 2)에 대하여, 이들 시점에 대응하는 샘플들이 도 4a에서 취해진다. 현재 시점(3, 4 및 5)의 경우, 이들 시점(3, 4 및 5)에 대하여 도 4c의 샘플들을 취한다. 나아가, 시점(6, 7 및 8)의 경우, 도 4d에 속하는 샘플을 취하지만, 최종적으로, 다음의 위치 변화까지 또는 다음 패닝 작동까지의 그 이상의 시점은 물론 시점(9, 10 및 11)의 경우, 도 4b의 샘플을 취하며, 이는 각각 현재 시점(9, 10 또는 11)에 대응한다. 도 5와 도 8을 비교하면, 도 8에 이러한 아티팩트를 가져오는 두 샘플들의 "생략(omitting)"이 도 5에 대응하여 슬러링되는(slurred) 점에서, 현재 시점(t_A=9)에서 샘플에 대한 뚜렷한 대칭이 완화되는(relaxed) 것을 보여준다.

도 5에 도시된 위치 갱신 간격(PAI)이 도 5에 도시된 바와 같이 3개의 샘플마다 수행될 뿐만 아니라 샘플마다 수행되는 경우에 "미세한(finer)" 슬러링이 달성되어, 도 5의 파라미터(N)가 1이 된다. 그 경우에, 제1 가중치(m)를 나타내는 계단형 굴곡은 연속 곡선과 보다 유사하게 된다. 그와 달리, 위치 갱신 간격은 또 한 3보다 크게 될 수도 있는데, 예를 들면, 제2 시점(402)과 제1 시점(401) 사이의 간격의 중간에서 단 일회의 갱신이 수행될 수 있어서, 그 간격의 제1 절반에서(in the first half of the interval) 현재 시점(t_A=1 내지 4)에 대하여 m=1 및 m=0이고, 해당 간격의 제2 절반에서, 현재 시점(5, 6, 7 및 8)에 m과 n은 0.5이며, 현재 시점(t_A=9)을 의미하는 제2 시간(402)에서 n은 1이 되고 m은 0이 된다. 샘플 마다 패닝이 수행되는가의 여부 또는 위치 갱신을 의미하는 패닝이 N개씩의 샘플 마다 수행되는지의 여부를 선택하는 것은 경우에 따라 다를 수 있다. 그것은 얼마나 빨리 가상음원이 이동하는가에 의해 특히 좌우된다. 매우 느리게 이동하는 경우, 비교적 높은 파라미터(N)를 사용하는 것, 즉, 샘플의 비교적 높은 번호 이후에만 새로운 위치 갱신을 실행하는, 즉, 도 6에 새로운 "스테이지(stage)"를 생성하는 것으로 충분하고, 그 반대의 경우에, 즉, 음원이 빨리 이동할 때, 보다 빈번한 위치 갱신이 바람직하다.

도 4a 내지 도 4d에 도시된 실시예에서, 고려된 가상 음원에 대한 제1 위치 정보는 제1 시점(401)에 존재한 반면, 가상 음원에 대한 제2 위치 정보는 제2 시점(402)에 존재한 것으로 가정하였으며, 이 경우 제1 시점 이후에 9개의 샘플이 있다. 그 실행에 따라서, 개별 위치 정보가 매 샘플에 대하여 존재할 수 있고, 그러한 위치 정보는 보간(interpolation)을 위해 용이하게 획득될 수 있다. 따라서, 지금까지, 하나의 지연에서 다른 하나의 지연까지의 스위칭 동안 오디오 신호의 가청 클릭을 피하기 위하여, 음원의 이동은, 중간 위치마다(for every intermediate position) 매우 작은 공간 및 시간 단계로(in very small spatial and therewith time steps) 계산되며, 이러한 스위칭은 스위칭 이전 및 그 이후의 샘플들이 과도하게 상이하지 않는 경우에만 방지될 수 있다.

그러나, 본 발명의 패닝의 경우, 현재 시점(t_A)은 제1 시점(401)과 제2 시점(402) 사이에 있어야 한다. 제1 시점(401)과 제2 시점(402) 사이의 최소 간격을 의미하는 최소 "스텝 폭"은 본 발명에 따르면 두 개의 샘플 주기로서, 제1 시점(401)과 제2 시점(402) 사이의 현재 시점은 예를 들면 0.5의 각 가중치로(with respective weighting factors) 처리될 수 있다. 그러나, 실제에 있어서, 한편으로는 연산시간의 이유로(for computing time reasons), 그리고 다른 한편으로 다음에 오는 위치가 다음 시점에서 이미 성취되는 경우에(when the following position is already achieved at the next time) 발생하지 않는 패닝 효과를 발생시키기 위하여 보다 큰 스텝 폭이 바람직한 바, 이는 통상의 파동-장 합성에서 자연스런 도플러 효과를 다시 일으키는 원인이 된다. 제1 시점(401)에서 제2 시점(402)까지의 간격을 의미하는 스텝 폭에 대한 상한치(an upper limit)는, 거리가 증가하는데 따라 실제로 제공되어야 할 더욱더 많은 위치정보가 패닝으로 인해 무시되는 그러한 것이며, 이는 극단적인 경우에 청취자에 대한 가상 음원의 위치 확인 가능성(locatability)의 손실을 야기할 수 있다. 따라서, 중간 범위내의(in the medium range) 스텝 폭이 바람직한 바, 그것은 적응성 스텝 폭 제어(an adaptive step width control)를 구현하기 위하여 실시예에 따라 가상 음원의 속도에 추가적으로 좌우될 수 있다.

도 6에 도시된 실시예에서, 제1 및 제2 가중치를 위한 스텝 굴곡에 대하여 "베이스"로서 선형 곡선(a linear curve)이 선택되었다. 그와 달리, 사인 곡선형, 사각형, 3차 곡선형 등의 곡선을 사용할 수 있다. 그 경우에, 다른 가중치의 대응하는 곡선은 제1 및 제2 가중치의 합계가 항상 1과 같거나, 예를 들어 1에 중심으로 ±10%에 이르게 미리 정해진 허용 범위 내에 있다는 점에서 상보성이(complementary) 되어야만 할 것이다. 선택할 수 있는 한가지는, 예를 들면, 제1 가중치의 경우 사인 함수의 사각형에 따른 곡선을 취하고, 그리고 제2 가중치의 경우 코사인 함수의 사각형에 따른 곡선을 취하는 것인데, 그 이유는 사인과 코사인에 대한 장방형이 현지 시점(t_A)의 어느 것에 대한 것이거나 독립변수마다(for every argument) 1과 같기 때문이다.

도 4a 내지 도 4d에서, 지금까지 제1 시점(401) 및 제2 시점(402)에서의 스케일링 계수가 모두 1인 것으로 가정하였다. 이것은 반드시 그와 같이 되어야 할 필요는 없다. 따라서, 가상 음원과 관련된 오디오 신호의 모든 샘플은 각각 특정의 값(B_i)을 가질 수 있다. 상기 파동-장 합성 모듈은 제1 시점(401)에 대한 제1 스케일링 계수(SF₁)와 제2 시점(402)에 대한 제2 스케일링 계수(SF₂)를 계산할 수 있을 것이다. 제1 시점(401)과 제1 시점(402) 사이의 현재 시점(t_A)에서 실제 샘플은 다음과 같이 이루어진다.

AW_i = B(t_A) * m * SF₁ + B(t_A) * n + SF₂

상기 수식에서, 단순화를 위해, 오디오 신호의 값에 두 개의 가중치를 곱하는 것은 두 개의 가중치의 곱을 오디오 신호의 값에 곱하는 것으로 대체될 수 있다.

상황에 따라, 도 1과 관련하여 설명된 바와 같은 본 발명의 방법은 하드웨어 또는 소프트웨어로 실행될 수 있다. 그러한 실행은 디지털 메모리 매체, 특히 상기 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독 가능한 제어 신호를 갖는 디스크 또는 CD 상에서 수행될 수 있다. 그리하여, 일반적으로, 본 발명은 또한 컴퓨터 프로그램 제품이 컴퓨터상에서 동작할 때 본 발명의 방법을 실시하기 위하여 기계 판독형 캐리어 상에 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 캐리어로도 구성된다. 바꾸어 말하면, 본 발명은 컴퓨터 프로그램이 컴퓨터상에서 동작할 때 본 발명의 방법을 실시하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램으로서 구현될 수 있다.

Claims

파동-장 합성 모듈과 다수의 스피커(LS1, LS2, LS3, LSm)를 구비하는 파동-장 합성 시스템에서 가상 음원(i)에 기초하여 스피커(j)에 대한 스피커 신호(322)의 성분(K_ij)의 현재 시점(t_A)에 대한 이산값(28)을 계산하기 위한 장치로서, 상기 파동-장 합성 모듈은 가상 음원과 관련된 오디오 신호(16)를 사용함으로써 그리고 가상 음원의 위치를 나타내는 위치 정보를 이용함으로써 지연정보를 결정하도록 구성되며, 상기 성분의 시간 기준(time reference)과 관련하여 오디오 신호가 얼마나 많은 샘플만큼 지연되었는가를 나타내는 것에 있어서,

제1 시점에서 가상 음원의 제1 위치와 관련된 제1 지연(12a)과 이후의 제2 시점에서 가상 음원의 제2 위치와 관련된 제2 지연(12b)을 제공하기 위한 것으로서, 상기 제2 위치가 제1 위치와 상이하며, 현재 시점(t_A)이 제1 시점(400)과 제2 시점(402) 사이에 있는, 지연 제공 수단(10)과;

상기 현재 시점(t_A)에 대한 제1 지연에 의하여 지연된 오디오 신호(A₁)의 값과 현재 시점(t_A)에 대한 제2 지연에 의하여 지연된 오디오 신호(t₄)의 제2 값을 결정하기 위한 오디오 신호값 결정 수단(14)과;

제1 가중값(24a)을 얻기 위하여 제1 가중치(m)로 상기 제1 값을, 그리고 제2 가중값(24b)을 얻기 위하여 제2 가중치(n)로 상기 제2 값을 각각 가중하기 위한 가중 수단(22)과;

현재 시점(t_A)에 대한 이산값(28)을 얻기 위하여 상기 제1 가중값(24a)과 제2 가중값(24b)을 합계하기 위한 합계 수단(26)을 포함하는, 스피커 신호의 이산값 계산 장치.
제1항에 있어서, 제1 가중치(m)와 제2 가중치(n)가 제1 시점과 제2 시점(400, 402) 사이의 값으로 정해져서, 패닝이 제1 지연에 의해 지연된 오디오 신호로부터 제2 신호에 의해 지연된 오디오 신호까지 일어나는, 스피커 신호의 이산값 계산 장치.
제1항 또는 제2항에 있어서, 제1 가중치(m)가 제1 시점(400)과 제2 시점(402) 사이에서 감소하고, 제2 가중치(n)가 제1 시점(400)과 제2 시점(402) 사이에서 증가하는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제3항의 어느 하나에 있어서, 제1 가중치가 제1 시점에서 1과 동일하고, 제2 시점에서 0과 동일하며, 제2 가중치(n)가 제1 시점에서 0과 동일하고, 제2 시점에서 1과 동일한, 스피커 신호의 이산값 계산 장치.
제1항 내지 제4항의 어느 하나에 있어서, 제1, 제2 가중치가 현재지점 그리고 제1 시점(400) 또는 제2 시점(402) 사이의 차이에 의해 좌우되는, 스피커 신호 의 이산값 계산 장치.
제1항 내지 제5항의 어느 하나에 있어서, 제1 가중치가 제1 시점으로부터 제2 시점까지 단조롭게 떨어지고, 제2 가중치가 제1 시점으로부터 제2 시점까지 단조롭게 증가하는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제6항의 어느 하나에 있어서, 제1, 제2 가중치의 합계가 하나의 정의된 값으로부터의 미리 정해진 범위내에 있는, 스피커 신호의 이산값 계산 장치.
제7항에 있어서, 미리 정해진 허용 범위가 ±10%인, 스피커 신호의 이산값 계산 장치.
제1항 내지 제8항의 어느 하나에 있어서, 오디오 신호가 시간 이산값들의 하나의 샘플 주기(T_A)만큼 떨어져 있는 시퀀스(sequence)이고, 제1, 제2 시점이 하나의 샘플 주기 보다 많게 떨어져 있는, 스피커 신호의 이산값 계산 장치.
제9항에 있어서, 제1 시점과 제2 시점이 고정된, 스피커 신호의 이산값 계산 장치.
제9항에 있어서, 제1, 제2 지연 제공 수단(10)이 위치정보에 의해 좌우되게 제1 시점과 제2 시점의 시간 간격을, 가상 음원이 느린 속도로 움직이면 크게 그리고 빠른 속도로 움직이면 작게, 위치정보에 의해 좌우되도록 설정하도록 형성되는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제11항의 어느 하나에 있어서, 제1 시점과 제2 시점의 시간 간격이 N개의 샘플 주기이고, 가중수단(22)이, M개의 뒤이은 현재의 샘플(a number of M subsequent current samples)(M은 N보다 작고 2보다 크거나 2와 같다)에 대하여 동일한 제1 가중치와 동일한 제2 가중치를 사용하도록 형성되는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제12항의 어느 하나에 있어서, 각각의 현재의 샘플에 대한 제1, 제2 가중치들이, 결정된(determined) 이전의 샘플에 대하여 결정된 제1, 제2 가중치와 상이하도록, 각각의 현재 샘플에 대한 현재의 제1 가중치와 현재의 제2 가중치를 계산하도록, 가중수단(22)이 형성되는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제13항의 어느 하나에 있어서, 지연 제공 수단(10)이, 이전의 시점들에 대한 하나 또는 수개의 지연에 기초하여 제2 시점에 대한 제2 지연을 평가하는(estimate), 스피커 신호의 이산값 계산 장치.
제1항 내지 제14항의 어느 하나에 있어서, 가상 음원의 위치정보가 시간 패턴에 의한 가상 음원에 대한 오디오 신호와 관련되고, 제1, 제2 시점이 상기 시간 패턴의 두 개의 패턴 포인트 사이의 시간 간격보다 긴 주기만큼 떨어져 있는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제15항의 어느 하나에 있어서, 수 개의 오디오 신호가 수 개의 가상 음원에 대해 존재하고, 하나의 성분 신호가 각각의 가상 음원에 대하여 계산되며, 모든 성분 신호들이 스피커에 대한 스피커 신호를 얻기 위해 스피커에 대해 추가되는, 스피커 신호의 이산값 계산 장치.
제1항 내지 제15항이 어느 하나에 있어서, 가상 음원에 관련된 오디오 신호가 어느 스케일링 계수에 의해 스케일링 되는가를 표시하는 지연 정보와 별도로 스케일링 정보를 계산하도록 파동-장 합성모듈이 형성되고,

제1 가중값(24a)을 현재 시점에 대한 오디오 신호값과 현재시점에 대한 제1 스케일링 계수와 제1 가중치의 곱으로서 계산하도록 가중수단(22)이 형성되며, 나아가,

제2 가중값을 현재 시점에 대한 오디오 신호값, 제2 시점에 대한 제2 스케일링 계수의 값 그리고 제2 가중치의 곱으로서 계산하도록 가중수단(22)이 형성되는, 스피커 신호의 이산값 계산 장치.
파동-장 합성 모듈과 다수의 스피커(LS1, LS2, LS3, LSm)를 구비하는 파동-장 합성 시스템에서 가상 음원(i)에 기초하여 스피커(j)에 대한 스피커 신호(322)의 성분(K_ij)의 현재 시점(t_A)에 대한 이산값(28)을 계산하는 방법으로서, 상기 파동-장 합성 모듈은 가상 음원과 관련된 오디오 신호(16)를 사용함으로써 그리고 가상 음원의 위치를 나타내는 위치 정보를 이용함으로써 지연 정보를 결정하도록 구성되고, 상기 성분의 시간 기준과 관련하여 오디오 신호가 얼마나 많은 샘플만큼 지연되었는가를 나타내는 방법에 있어서,

제1 시점에서 가상 음원의 제1 위치와 관련된 제1 지연(12a)과 이후의 제2 시점에서 가상 음원의 제2 위치와 관련된 제2 지연(12b)을 제공하는 단계로서, 상기 제2 위치가 제1 위치와 상이하며, 현재 시점(t_A)이 제1 시점(400)과 제2 시점(402) 사이에 있는, 지연 제공 단계와;

상기 현재 시점(t_A)에 대한 제1 지연에 의하여 지연된 오디오 신호(A₁)의 값과 현재 시점(t_A)에 대한 제2 지연에 의하여 지연된 오디오 신호(A₄)의 제2 값을 결정하는 오디오 신호값 결정 단계와;

제1 가중값(24a)을 얻기 위하여 제1 가중치(m)로 상기 제1 값을 또한 제2 가중값(24b)을 얻기 위하여 제2 가중치(n)로 상기 제2 값을 각각 가중하는 가중 단계와;

현재 시점(t_A)에 대한 이산값(28)을 얻기 위하여 상기 제1 가중값(24a)과 제2 가중값(24b)을 합계하는 합계 단계를 포함하는, 스피커 신호의 이산값 계산 방법.
프로그램이 컴퓨터 상에서 동작할 때, 청구항 18에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.