KR101914209B1 - 개선된 복원을 위한 오디오 신호 처리 방법 - Google Patents

Abstract

본 발명은 N 은 1 보다 크고 x 는 0 이상이며, 기설정된 임프린트와의 멀티채널 컨볼루션에 의해 상기 오디오 입력 신호를 멀티채널 처리하는 단계를 포함하되, 상기 임프린트는 참조 공간에 배치된 스피커 집합에 의한 참조 소리의 포착에 의해 형성되며, 다른 소리 상황에서 이전에 형성된 복수의 임프린트로부터 적어도 하나의 임프린트를 선택하는 추가적인 단계를 포함하는 것을 특징으로 하는 N.x 채널의 오리지널 오디오 신호 처리 방법과 관련된 것이다.

Description

개선된 복원을 위한 오디오 신호 처리 방법 {Method for processing an audio signal for improved restitution}

본 발명은 개선된 음향 분위기의 생성을 목적으로 하는 오디오 신호 처리 분야에 관한 것으로서, 특히 헤드폰으로 듣는 것에 관한 것이다.

가청 시퀀스(audible sequence)의 복원을 가상화하는 방법 및 시스템을 기술하는 국제 특허 출원 WO/2006/024850 은 종래 기술로부터 알려져 있다. 이러한 알려진 해법에 따르면, 청취자는 헤드폰을 통해, 실제 확성기의 소리와 구분하기 힘든 현실적인 레벨의 가상 확성기의 소리를 들을 수 있다. 개인화된 공간 펄스 반응(personalized spatial pulse responses) (PSPRs)의 집합들은 확성기의 가청 소스들을 위하여 청취자의 한정된 머리 위치를 통해 획득된다. 개인화된 공간 펄스 반응은 확성기를 위한 오디오 신호를 헤드폰을 위한 가상화된 출력으로 변환하기 위해 이용된다. 상기 변환을 청취자의 머리 위치에 기초함으로써, 시스템은 청취자가 그의 머리를 움직일 때 가상 확성기는 움직이지 않게 보이도록 변환을 조절할 수 있다.

종래 기술의 결점

종래 기술에서 제안된 해법은 참조 소리 분위기를 개인화하는 것을 가능하게 하지 않고, 복원될 시퀀스의 타입에 대하여 소리 분위기의 타입을 변경하지 않기 때문에 전혀 만족스럽지 않다.

게다가, 종래 기술의 해법은 많은 컴퓨팅 자원을 필요로 하는 비싼 컴퓨터 처리 동작을 이용하는 소리 임프린트(sound imprint)의 긴 포착(capture) 시간을 초래한다. 또한, 이러한 알려진 해법은 스테레오 신호를 N 채널로 분해하는 것을 가능하게 하지 않고, 당초에 존재하지 않는 채널의 생성을 제공하지 않는다.

본 발명은 이러한 문제점의 해법을 제공하고자 한다. 특히, 발명의 대상물인 방법은 특정 소리 상황을 선택할 수 있는 가능성과 함께, 가상화에 의해 3D 오디오 스테레오를 생성하기 위해, 스테레오 파일을 이용하거나 멀티채널(multi-channel) 파일을 이용하여 2D 소리를 3D 소리로 변환하는 것을 가능하게 한다.

이를 위하여, 본 발명은 가장 일반적인 의미에 따라, N 은 1 보다 크고 x 는 0 이상이며, 기설정된 임프린트와의 멀티채널 컨볼루션(multichannel convolution)에 의해 상기 입력 오디오 신호를 멀티채널 처리하는 단계를 포함하되, 상기 임프린트는 참조 공간에 배치된 스피커 집합에 의한 참조 소리의 포착에 의해 형성되며, 다른 소리 상황에서 이전에 형성된 복수의 임프린트로부터 적어도 하나의 임프린트를 선택하는 추가적인 단계를 포함하는 것을 특징으로 하는 N.x 채널의 오리지널 오디오 신호 처리 방법에 관한 것이다.

이러한 해법은 주파수 필터링, 중심 채널을 형성하기 위한 좌채널과 우채널 간의 격차 및 위상의 구별에 기초하여, 각 가상 스피커가 스테레오 파일인 다수의 스테레오 채널을 스테레오 신호로부터 생성하는 것을 가능하게 한다.

이는 각 가상 채널에 서로 다른 임프린트를 적용하고 각 가상 스피커의 3D 임프린트를 유지시키는 채널의 재결합에 의해 새로운 최종 스테레오 오디오 파일을 생성하는 것을 가능하게 한다.

유익하게, 본 발명에 따른 방법은 이전에 형성된 적어도 하나의 임프린트를 처리함으로써 새로운 임프린트를 생성하는 단계를 포함한다.

변형에 따르면, 상기 방법은 상기 N.x 채널을 재결합하여 M.y 채널의 출력 신호를 생산하기 위해 처리되는 단계를 추가로 포함하되, N.x 는 M.y 와 상이하고, M 은 1 보다 크고, y 는 0 이상이다.

본 발명은 이하 비(非)한정적으로 기술될 것이다.

본 발명에 따른 방법은 일련의 단계들로 분해된다:

·소리 임프린트의 몇몇 시리즈의 생성

·임프린트 라이브러리의 결합에 의한 가상화된 임프린트 시리즈의 생성

·오리지널 소리 신호의 트랙과 가상화된 임프린트 시리즈의 결부

1 - 임프린트의 생성

신호의 획득

소리 임프린트의 생성은 N x M 소리 포인트로 편성된 음향 스피커 집합을 예를 들면 콘서트 공연장, 홀 또는 심지어 자연 공간(굴, 개방된 공간 등)의 규정된 환경에 배치하는 것으로 이루어진다. 예를 들면 알려진 방식으로 참조 소리 신호를 복원하는 5.1, 7.1 또는 11.1 스피커 집합 또는 "좌-우" 스피커 한 쌍.

예를 들면 인조 머리 또는 HRTF 다방향성 포착 마이크인 마이크 한 쌍이 배치되어, 고려되는 환경에 있는 스피커의 복원을 포착한다. 마이크 한쌍에 의해 생산된 신호는 고주파수, 예를 들면 192 kHz, 24 비트로 샘플링된 후 녹음된다.

이러한 디지털 녹음은 주어진 소리 환경을 나타내는 신호를 포착하는 것을 가능하게 한다.

이 단계는 스피커에 의해 생산된 소리 신호의 포착에 제한되지 않는다. 포착은 인조 머리 위에 놓여진 헤드폰에 의해 생산된 신호로부터도 만들어질 수 있다. 이러한 변형은 다른 헤드폰 집합에 대한 복원 시, 주어진 헤드폰의 소리 분위기를 재생성하는 것을 가능하게 할 것이다.

2 - 임프린트의 계산

이후, 이러한 신호는 동일한 조건 하에 디지털화되고 스피커에 적용된 참조 신호와 마이크에 의해 포착된 신호 간의 격차를 적용하는 것으로 이루어진 처리의 대상이 된다. 상기 격차는 참조 신호를 생성하기 위해 이용된 각 스피커에 대한 "IR - 임펄스 응답(Impulse response)" 타입의 신호를 생산하기 위해, 한편으로는 각 스피커에 적용된 참조 신호의 입력으로서, 다른 한편으로는 포착된 신호의 입력으로서 각각 .vaw 또는 오디오 파일을 수신하는 컴퓨터에 의해 형성된다. 이러한 처리는 포착된 각 스피커의 각 입력 신호에 적용된다.

이러한 처리는 파일 집합을 생산하고, 각각은 규정된 환경의 스피커 중 하나의 임프린트에 대응한다.

임프린트 집단의 형성

앞서 언급한 단계는 다양한 소리 환경 및/또는 다양한 스피커 배치를 위해 재생산된다. 각각의 새로운 배열에 대하여, 새로운 소리 환경을 나타내는 새로운 임프린트 시리즈를 생산하기 위하여 획득 및 그 후 처리 단계가 수행된다.

이러한 방식으로, 주어진 알려진 소리 환경을 나타내는 소리 임프린트 시리즈의 라이브러리가 설계된다.

가상 환경의 생성

앞서 언급한 라이브러리는, 앞서 언급한 획득 단계 동안에 소리 환경에 스피커가 없던 영역을 줄이기 위해 몇몇 임프린트 시리즈를 결합하고, 선택된 임프린트에 대응하는 파일을 추가함으로써, 가상 환경을 나타내는 새로운 임프린트 시리즈를 생산하기 위해 이용된다.

이러한 가상 환경 생성 단계는 특히 소리 공간의 더 나은 3 차원 점유에 의해, 주어진 녹음에의 적용으로부터 초래된 소리의 동적 범위 및 간섭(coherence)을 개선하는 것을 가능하게 한다.

이는 매우 많은 스피커의 시뮬레이션된 환경을 이용하는 것에 달한다.

이 단계의 결과는 공연을 개선하기 위해 모든 소리 시퀀스에 적용될 수 있는 가상화된 새로운 홀 임프린트이다.

소리 시퀀스의 처리

이후, 알려진 오디오 시퀀스가 선택되고, 동일한 선호 조건으로 샘플링된다.

실패한 경우, 주파수 및 처리될 오디오 신호의 선호 조건으로의 샘플링을 줄이기 위하여 가상화된 임프린트가 맞추어진다.

알려진 신호는 예를 들면 스테레오 신호이다. 그것은 주파수 쵸핑(frequency chopping)의 대상이고, 쵸핑은 우 신호와 좌 신호 간의 위상 차이에 기초한다.

이 신호로부터, 가상화된 임프린트 중 하나를 이러한 쵸핑들의 결합에 적용함으로써 N 개의 트랙이 추출된다.

따라서 N x M 트랙을 생성하기 위하여, 쵸핑의 결과를 결합하고, 임프린트 중 하나를 각 트랙에 적용함으로써 다양한 수의 트랙을 생산하는 것이 가능하고, N 및 M 은 임프린트 생성 단계 동안에 이용된 채널의 개수일 필요는 없다. 예를 들면 더욱 동적인 복원을 위해 더 많은 트랙을 생성하거나, 예를 들면 헤드폰에 의한 복원을 위해 더 적은 트랙을 생성하는 것이 가능하다.

이러한 단계의 결과는 표준 장비에서의 복원에 맞도록 하기 위해 이후 전통적인 스테레오 신호로 변환되는 일련의 오디오 신호이다.

물론, 신호 위상 회전과 같은 처리 동작을 적용하는 것도 가능하다.

소리 시퀀스를 처리하는 단계는 어느 때라도 방송될 수 있는 녹음을 생산하기 위하여, 유예 모드에서 수행될 수 있다.

또한, 소리 시퀀스를 처리하는 단계는 오디오 스트림을 생산 시 처리하기 위하여 실시간으로 수행될 수도 있다. 이러한 변형은 더 나은 동적 범위를 갖는 복원을 위해 스트리밍에서 획득된 소리의 풍부한 오디오 소리로의 실시간 변환에 특히 적합하다.

다른 용도에 따르면, 상기 처리는 앞쪽에서의 신호임에도 인간의 뇌가 실수로 뒤쪽에서의 신호로 "상상"할 수 있는 중앙 소리 신호에 대한 모든 의혹의 해소를 생산하는 신호를 생산하는 것을 가능하게 한다. 이러한 목적에서, 뇌가 재조정될 수 있도록 하고 그 후 다시 중심에 맞추어지도록 수평적 움직임이 수행된다. 이 단계는 앞쪽 중심의(centre front) 가상 스피커의 존재 레벨(level of presence)을 다소 증가시키는 것으로 이루어진다.

이 단계는 오디오 신호가 주로 중심에 맞춰져 있을 때 적용되고, 이는 흔히 음악적 녹음의 "목소리" 부분에 대한 경우이다. 이러한 존재 증가 처리는 일시적으로 적용되고, 바람직하게는 중심에 맞추어진 오디오 시퀀스가 나타날 때 적용된다.

Claims (4)

1. N.x 채널의 오디오 신호 처리 방법으로서,
   N 은 1 보다 크고 x 는 0 이상이며, 기설정된 임프린트와의 멀티채널 컨볼루션에 의해 오디오 신호를 멀티채널 처리하는 단계를 포함하되,
   상기 임프린트는 참조 공간에 배치된 스피커 집합에 의한 참조 소리의 포착에 의해 형성되며,
   복수의 다른 소리 상황에서 이전에 형성된 복수의 임프린트로부터 적어도 일부의 임프린트를 선택하는 단계와 가상 환경을 나타내는 새로운 임프린트를 생성하기 위해 다른 소리 상황에서 이전에 형성된, 선택된 임프린트를 결합하는 단계인 추가적인 단계들을 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
2. 제 1 항에 있어서,
   상기 방법은 새로운 임프린트를 생성하기 위해 선택된 임프린트에 대응하는 파일을 추가하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
3. 제 1 또는 2 항에 있어서,
   상기 방법은 상기 N.x 채널을 재결합하여 M.y 채널의 출력 신호를 생산하기 위해 처리되는 단계를 추가로 포함하되, N.x 는 M.y 와 상이하고, M 은 1 보다 크고, y 는 0 이상인 것을 특징으로 하는 오디오 신호 처리 방법.
4. 제 1 또는 2 항에 있어서,
   상기 방법은 상기 오디오 신호가 중심에 맞추어진 경우, 앞쪽 중심의 가상 스피커의 존재 레벨을 일시적으로 증가시키는 것으로 이루어진 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.

Images