KR101111734B1 - 복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치 - Google Patents

Abstract

가상 공간에 음원의 위치를 지정하여 공간감을 갖는 음향을 출력하는 기술을 공개한다. 이 기술에 따른 방법은 제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하는 단계, 제1 위치에 의해 결정되는 제1 공간전달함수 및 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하는 단계, 및 제1 음원에 제1 공간전달함수를 적용하여 제1 음향을 출력하고, 제2 음원에 제2 공간전달함수를 적용하여 제2 음향을 출력하는 음향 출력단계를 포함한다. 제1 위치와 제2 위치가 서로 다르면 제1 공간전달함수와 제2 공간전달함수가 서로 다르게 설정된다.

Description

복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치{Sound reproduction method and apparatus distinguishing multiple sound sources}

본 발명의 음향 처리 및 출력에 관한 기술로서, 특히 가상 공간에 위치하는 다양한 음원들을 가상 청취자가 들을 때의 음향 효과를 모사하여 음향을 처리하고 출력하는 기술에 관한 것이다.

음향시스템은 음원이 기록되어 있는 자기 테이프, CD, DVD 등 미디어로부터 음원을 읽어들인 후 스피커를 통해 음향을 출력하도록 되어 있다. 또는 통신 네트워크의 발달로, 네트워크에 속한 다른 기기로부터 음원을 전송받아 임시 메모리 미디어, 영구 메모리 미디어, 또는 레지스터에 저장한 후에 스피커를 통해 음향을 출력할 수 있다.

종래의 자기 테이프, CD, DVD 등 미디어에는 음원이 한 개의 채널 또는 다 채널로 기록되어 있을 수 있다. 각 채널의 음원은 서로 다른 스피커를 통해 각각 출력될 수도 있고, 채널의 개수보다 스피커의 개수가 적을 때에는 두 개 이상의 채널의 음원이 하나의 스피커를 통해 함께 출력될 수도 있다. 이때, 각 채널에 기록되어 있는 음원은 주파수 대역 필터에 의해 주파수 성분별로 그 크기가 조절되어 음향 출력될 수도 있다.

오케스트라 연주를 예를 들어 2채널, 즉 스테레오로 녹음하는 경우에, 바이올린과 콘트라베이스 소리는 좌측 채널 및 우측 채널에 모두 녹음될 수 있지만, 이때 바이올린 소리는 좌측 채널에 더 크게 녹음되고 콘트라베이스 소리는 우측 채널에 더 크게 녹음될 수 있다. 이렇게 녹음된 2채널 음원을 두 개의 스피커로 출력하게 되면, 두 스피커 사이에 있는 청취자는 마치 바이올린은 왼쪽에서 연주되고 콘트라베이스는 오른쪽에 연주되는 것처럼 인식할 수 있다. 종래 기술에서는 이와 같이 스피커를 통해 출력되는 소리에 공간감을 주기 위하여 두 개 이상의 채널에 대한 음원을 준비하게 되며, 각 채널에 녹음된 음원에는 이미 위와 같이 공간 정보가 반영되어 있을 수 있다. 이러한 공간 정보는 녹음하는 순간의 마이크로폰의 위치에 의해 결정될 수도 있고, 녹음한 후 음원을 보정하는 과정에서 더 추가될 수도 있다. 이러한 과정은 모두 음원을 최종 완성하기 이전에 수행되는 사전 작업이다.

한편, 화상 회의 시스템의 경우에는 한 명 이상의 로컬 청취자 및 원거리에 있는 두 명 이상의 원격 참여자가 디스플레이 화면에 표시되고, 각 참여자의 목소리가 음향 시스템을 통해 출력될 수 있다. 이때 각 참여자의 목소리는 서로 다르기 때문에 로컬 청취자는 단순히 두 목소리를 구분하여 각 참여자를 구분할 수 있다. 또는 청취자가 각 참여자를 구분하는데에 도움을 주기 위하여 화상에 별도의 표시를 함으로써 어떤 참여자가 발언을 하고 있는지를 확인하도록 할 수도 있다.

그런데 양쪽 귀를 가지고 있는 청취자로 하여금 화상 회의 시스템에 의해 출력되는 음향의 공간감을 느끼게 한다면 화상 회의의 참여자 중 누가 발언하고 있는지를 청취자가 인식하는데에 도움을 줄 수 있다. 그러나, 원거리로부터 통신망을 통해 전달되는 음원에는 공간감을 나타내는 정보가 포함되어 있지 않을 수 있고, 이러한 음원을 그대로 사용하면 출력 음향에 공간감을 부여할 수 없다는 문제점이 있다.

본 발명에서는 공간감을 표현할 수 있는 정보를 갖고 있지 않은 음원을 사용하여 음향을 출력할 때에도 출력된 음향에 공간감을 부여할 수 있는 방법 및 장치를 제시하고자 한다.

실제의 대화환경에서는 각 화자가 서로 다른 위치에 존재하기 때문에 각 화자로부터 들려오는 목소리의 방향, 크기, 및/또는 주변 환경에 의한 음향효과가 서로 다르다. 목소리의 방향, 크기, 및/또는 주변 환경에 의한 음향효과에 의해 청취자는 대화환경의 공간적 특성을 파악할 수 있기 때문에 이러한 공간감을 이용하여 각 목소리를 구분하는데 사용할 수 있다.

그런데 예를 들어 화상 회의 시스템에 참여하는 원격지의 참여자들로부터 수집되는 음원들에는 이러한 공간정보가 포함되어 있지 않다. 따라서 본 발명에서는 이러한 공간정보를 갖지 않는 음원들을 사용하여 공간정보가 부여된 음향을 출력할 수 있도록 가상 공간을 정의하고, 이 가상 공간 내에서 각 음원들의 위치를 설정할 수 있다. 가상 공간 내의 가상 청취 위치에 있는 가상 청취자는 가상 공간을 통해 전파된 각 음원의 소리를 들을 수 있다. 실제 스피커를 통해 출력되는 음향을 듣는 실제 청취자가 이 가상 청취자와 동일한 소리를 들을 수 있도록, 스피커를 통해 출력되는 음향 신호를 제어한다.

두 개의 스피커를 사용하여 음향을 출력할 때에는 제1 스피커가 가상 청취자의 왼쪽 귀에서 들리는 소리를 출력하도록 할 수 있고, 제2 스피커가 가상 청취자의 오른쪽 귀에서 들리는 소리를 출력하도록 할 수 있다. 이를 위하여 가상 공간에서 음원의 위치와 가상 청취 위치 사이의 공간전달함수를 모델링하고, 음원에 이 공간전달함수를 적용함으로써 가상 청취자가 듣는 소리를 만들어낼 수 있다.

한편 스피커와 실제 청취자의 양쪽 귀는 서로 다른 위치에 있기 때문에, 실제 청취자는 가상 청취자가 듣는 소리와 동일한 소리를 듣지 못할 수 있다. 스피커와 실제 청취자의 양쪽 귀 사이의 공간 경로에 의해 스피커에서 출력된 음향의 특성이 달라지기 때문이다. 따라서, 본 발명의 다른 양상에서는 스피커와 실제 청취자의 양쪽 귀 사이에 형성되는 또 다른 공간전달함수에 의한 영향을 보상해줌으로써 가상 청취자와 실제 청취자가 듣는 음향을 동일하도록 제어할 수 있다.

본 발명의 일 양상에 따른 음향 처리 방법이 제공된다. 이 방법은 제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하는 위치 설정단계, 위의 제1 위치에 의해 결정되는 제1 공간전달함수 및 위의 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하는 공간전달함수 설정단계, 및 위의 제1 음원에 위의 제1 공간전달함수를 적용하여 제1 음향을 출력하고, 위의 제2 음원에 위의 제2 공간전달함수를 적용하여 제2 음향을 출력하는 음향 출력단계를 포함한다. 이때, 제1 위치와 위의 제2 위치가 서로 다르면 위의 제1 공간전달함수와 위의 제2 공간전달함수가 서로 다르게 설정된다.

이때, 위의 제1 위치 또는 위의 제2 위치를 설정하는 것은, 사용자 입력장치에 의해 수행되도록 되어 있을 수 있다.

이때, 위의 사용자 입력장치에 의해 위의 제1 음원 및 위의 제2 음원 중 어느 하나가 선택되면, 위의 제1 공간전달함수 및 위의 제2 공간전달함수 중 적어도 하나가 변경될 수 있다.

이때, 위의 제1 음원 및 위의 제2 음원은 각각 패킷 통신망을 통해 수집된 것이며, 위의 제1 음원의 제1 소스 주소(source address)와 위의 제2 음원의 제2 소스 주소가 서로 다르면 위의 제1 위치와 위의 제2 위치가 서로 다르게 설정될 수 있다.

이때, 위의 제1 음원 및 위의 제2 음원은 각각 패킷 통신망을 통해 수집된 것이며, 위의 제1 음원에 대한 제1 사용자 ID 정보와 위의 제2 음원에 대한 제2 사용자 ID 정보가 서로 다르면 위의 제1 위치와 위의 제2 위치가 서로 다르게 설정될 수 있다.

이때, 위의 제1 음원 및 위의 제2 음원은 각 음원의 출처 정보를 포함하는 헤더를 갖는 디지털 음원이고, 위의 제1 음원의 출처와 위의 제2 음원의 출처가 서로 다르면 위의 제1 위치와 위의 제2 위치가 서로 다르게 설정될 수 있다.

이때, 방향 센서를 포함하는 사용자 입력 장치로부터 방향 출력 신호를 수신하는 단계를 위의 공간전달함수 설정단계 이전에 더 포함하고, 위의 제1 공간전달함수는 위의 제1 위치 및 위의 방향 출력 신호에 의해 결정되고, 위의 제2 공간전달함수는 위의 제2 위치 및 위의 방향 출력 신호에 의해 결정될 수 있다.

이때, 위의 제1 음원 및 위의 제2 음원의 에너지를 정규화하는 단계를 위의 위치 설정단계 이전에 더 포함할 수 있다.

본 발명의 다른 양상에 따른 음향 처리 장치가 제공된다. 이 장치는, 제1 음원 및 제2 음원을 저장하도록 되어 있는 메모리, 위의 제1 음원 및 위의 제2 음원을 처리하여 음향 신호를 생성하도록 되어 있는 처리부, 및 위의 처리부로부터 위의 음향 신호를 받아 출력할 수 있도록 되어 있는 음향신호 출력부를 포함한다. 이때, 처리부는 위의 제1 음원에 대한 제1 위치 및 위의 제2 음원에 대한 제2 위치를 설정하고, 위의 제1 위치에 의해 결정되는 제1 공간전달함수 및 위의 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 위의 제1 음원에 위의 제1 공간전달함수를 적용하고 위의 제2 음원에 위의 제2 공간전달함수를 적용하여 위의 음향 신호를 생성하도록 되어 있으며, 위의 제1 위치와 위의 제2 위치가 서로 다르면 위의 제1 공간전달함수와 위의 제2 공간전달함수가 서로 다르게 설정된다.

이때, 위 장치는 사용자 입력부가 연결되도록 되어 있는 인터페이스부를 더 포함하며, 위의 제1 위치 또는 위의 제2 위치를 설정하는 것은 위의 인터페이스부를 통해 입력된 신호를 위의 처리부가 처리하여 수행되도록 되어 있을 수 있다.

이때, 위의 인터페이스부를 통해 위의 제1 음원 및 위의 제2 음원 중 어느 하나가 선택되면, 위의 처리부에 의해 위의 제1 공간전달함수 및 위의 제2 공간전달함수 중 적어도 하나가 변경되도록 되어 있을 수 있다.

이때, 위 장치는 방향 센서를 포함하는 사용자 방향입력 장치가 연결되도록되어 있는 인터페이스부를 더 포함하며, 위의 인터페이스부는 위의 방향 센서로부터의 방향 출력 신호를 위의 처리부에 전송하도록 되어 있고, 위의 제1 공간전달함수는 위의 제1 위치 및 위의 방향 출력 신호에 의해 결정되도록 되어 있고, 위의 제2 공간전달함수는 위의 제2 위치 및 위의 방향 출력 신호에 의해 결정되도록 되어 있을 수 있다.

이때, 위 장치는 외부 패킷 통신망에 접속하도록 되어있는 통신부를 더 포함하며, 위의 제1 음원 및 위의 제2 음원은 위의 통신부를 통해 위의 외부 패킷 통신망으로부터 수집된 것이며, 위의 제1 음원의 제1 소스 주소(source address)와 위의 제2 음원의 제2 소스 주소가 서로 다르면 위의 제1 위치와 위의 제2 위치가 서로 다르게 설정되도록 되어 있을 수 있다.

본 발명의 또 다른 양상에 따른 휴대용 사용자 기기가 제공된다. 이 기기는 외부 패킷 통신망에 접속하여 제1 음원 및 제2 음원을 수신하도록 되어있는 무선 통신부, 위의 제1 음원 및 위의 제2 음원을 저장하도록 되어 있는 메모리, 위의 제1 음원 및 위의 제2 음원을 처리하여 음향 신호를 생성하도록 되어 있는 처리부, 및 위의 처리부로부터 위의 음향 신호를 받아 출력할 수 있도록 되어 있는 음향신호 출력부를 포함한다. 이때, 위의 처리부는 위의 제1 음원에 대한 제1 위치 및 위의 제2 음원에 대한 제2 위치를 설정하고, 위의 제1 위치에 의해 결정되는 제1 공간전달함수 및 위의 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 위의 제1 음원에 위의 제1 공간전달함수를 적용하고 위의 제2 음원에 위의 제2 공간전달함수를 적용하여 위의 음향 신호를 생성하도록 되어 있으며, 위의 제1 위치와 위의 제2 위치가 서로 다르면 위의 제1 공간전달함수와 위의 제2 공간전달함수가 서로 다르게 설정된다.

본 발명의 또 다른 양상에 따른 음향 처리 칩이 제공된다. 이 칩은 메모리에 연결되는 입력 인터페이스 모듈, 위의 입력 인터페이스 모듈을 통해 위의 메모리로부터 제1 음원 및 제2 음원을 수신하고 처리하여 음향 신호를 생성하도록 되어 있는 처리 모듈, 및 위의 음향 신호를 출력도록 되어 있는 출력 인터페이스 모듈을 포함한다. 이때, 위의 처리 모듈은 위의 제1 음원에 대한 제1 위치 및 위의 제2 음원에 대한 제2 위치를 설정하고, 위의 제1 위치에 의해 결정되는 제1 공간전달함수 및 위의 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 위의 제1 음원에 위의 제1 공간전달함수를 적용하고 위의 제2 음원에 위의 제2 공간전달함수를 적용하여 위의 음향 신호를 생성하도록 되어 있으며, 위의 제1 위치와 위의 제2 위치가 서로 다르면 위의 제1 공간전달함수와 위의 제2 공간전달함수가 서로 다르게 설정된다.

본 발명의 또 다른 양상에 따른 음향 처리 방법이 제공된다. 이 방법은 음원의 위치를 가상 공간 내에 설정하는 위치 설정단계, 위의 위치 및 위의 가상 공간 내의 가상 청취 위치에 따라 결정되는 공간전달함수를 설정하는 공간전달함수 설정단계, 및 위의 음원에 위의 공간전달함수를 적용하여 음향을 출력하는 단계를 포함한다. 이때, 공간전달함수는 위의 위치로부터 위의 가상 청취 위치에 있는 가상 청취자의 왼쪽 귀까지의 제1 공간전달함수와 오른쪽 귀까지의 제2 공간전달함수를 포함하는 개념일 수 있다. 또한, 음향의 출력은 2개의 스피커를 통하여 이루어질 수 있다.

본 발명의 또 다른 양상에 따른 음향 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체가 제공된다. 이 매체는 음향을 처리하도록 되어 있는 컴퓨터 장치를, 제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하는 위치 설정수단, 제1 위치에 의해 결정되는 제1 공간전달함수 및 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하는 공간전달함수 설정수단, 및 제1 음원에 제1 공간전달함수를 적용하여 제1 음향을 출력하고, 제2 음원에 제2 공간전달함수를 적용하여 제2 음향을 출력하는 음향 출력수단으로서 기능시키며, 제1 위치와 제2 위치가 서로 다르면 제1 공간전달함수와 제2 공간전달함수가 서로 다르게 설정되도록 기능시키기 위한 음향 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체이다.

여기서 컴퓨터로 읽을 수 있는 매체는 RAM, ROM, 하드 디스크, 이동식 디스크 등 현재 공개되어 있는 다양한 저장매체일 수 있다. 본 발명의 사상에 반하지 않는 한, 위의 컴퓨터로 읽을 수 있는 매체에 기록된 음향 처리 프로그램은 상술한 본 발명에 따른 다양한 방법들을 구현하는 코드를 포함할 수 있다.

본 발명에서 음원을 저장하는 메모리는, 레지스터, 임시 메모리, 또는 영구 메모리일 수 있다.

본 발명에 따르면 공간 정보를 포함하지 않은 음원을 이용하여, 공간감을 갖는 음향을 출력하는 새로운 방법이 제공될 수 있다.

본 발명의 범위가 상술한 효과에 의해 제한되는 것은 아니다.

도 1은 본 발명의 일 실시예에 따라 음향을 출력하는 방법을 나타내는 순서도이다.
도 2는 도 1에 따른 방법을 설명하기 위한 가상의 공간에서의 음원의 위치 및 실제 음향을 출력하는 스피커를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 가상 공간에서의 제1 위치 및 제2 위치를 설정하는 구체적인 방법의 예를 나타낸 것이다.
도 4는 본 발명의 실시예에 따라 화자의 위치를 결정하기 위해 화상 회의 시스템을 조작하는 방법을 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따라 가상 공간 내에 위치한 여러 음원 중 하나의 음원을 집중하여 듣는 효과를 모사하는 방법을 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따라 공간전달함수를 변경하는 또 다른 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 음향 처리 장치의 구조를 간략히 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 음향 처리 칩의 구조를 간단히 나타낸 것이다.

본 발명의 실시예들에 대하여 구체적인 참조 번호가 제공된다. 이 실시예들의 참조번호는 첨부된 도면에 도시되어 있다. 발명의 상세한 설명은 첨부된 도면을 참조로 하여 이하 설명될 것이다. 발명의 상세한 설명은 본 발명의 실시예들을 설명하도록 의도된 것이며, 본 발명에 따라 구현될 수 있는 유일한 실시예들을 나타내기 위한 것은 아니다. 후술하는 상세한 설명은 본 발명의 완전한 이해를 제공하기 위한 구체적인 사항들을 포함한다. 그러나, 본 발명의 기술 분야에 속하는 기술자라면 이러한 구체적인 사항들 없이도 이 기술을 실시할 수 있을 것이다. 예를 들어, 아래의 상세한 설명은 특정 용어로 표현되지만, 본 발명은 이러한 특정 용어의 표현에 의해 제한되는 것이 아니며, 동일한 의미를 갖는 다른 용어가 사용될 수도 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따라 음향을 출력하는 방법을 나타내는 순서도이다.

도 2는 도 1에 따른 방법을 설명하기 위한 가상의 공간에서의 음원의 위치 및 실제 음향을 출력하는 스피커를 도시한 것이다.

이하 도 1에 따른 음향 출력 방법을 도 1 및 도 2를 함께 참조하여 설명한다.

단계(S101)에서 제1 음원에 대한 제1 위치(101) 및 제2 음원에 대한 제2 위치(102)를 설정할 수 있다. 여기서 제1 음원에 대한 제1 위치(101) 및 제2 음원에 대한 제2 위치(102)는 가상 공간(10) 내에서 정의되는 위치일 수 있다. 여기서 제1 음원 및 제2 음원은 각각 제1 화자 및 제2 화자의 음성을 담은 디지털 신호일 수 있으며, 가상 공간(10)에서 제1 화자 및 제2 화자는 각각 제1 위치(101) 및 제2 위치(102)에 존재하는 것으로 가정할 수 있다.

이때 제1 위치(101) 및 제2 위치(102)는 또 다른 가상 위치인 가상 청취 위치(200)에 대한 상대적인 위치일 수 있다. 예를 들어 도 2a를 참조하면, 제1 위치(101)와 제2 위치(102)는 모두 가상 청취 위치(200)에 대하여 모두 왼쪽에 존재하며, 다만 제1 위치(101)가 제2 위치(102)에 비해 가상 청취 위치(200)로부터 상대적으로 더 멀리 떨어져 있을 수 있다. 다른 예로서 도 2b를 참조하면, 제1 위치(101)는 가상 청취 위치(200)에 대하여 왼쪽에 존재하고 제2 위치(102)는 가상 청취 위치(200)에 대하여 오른쪽에 존재할 수 있다.

단계(S102)에서는 제1 위치(101)에 의해 결정되는 제1 공간전달함수(301) 및 제2 위치(102)에 의해 결정되는 제2 공간전달함수(302)를 설정할 수 있다. 제1 공간전달함수(301)는 제1 위치(101)로부터 가상 청취 위치(200)까지의 음파전달응답을 모델링한 것이고, 제2 공간전달함수(302)는 제2 위치(102)로부터 가상 청취 위치(200)까지의 음파전달응답을 모델링한 것일 수 있다.

공간전달함수는 음향의 소스로부터 음향 수집원까지의 공간을 음향이 전파되는 동안, 음향이 전파 환경에 의해 겪는 물리적 성질의 변화를 수식으로 표현한 것이다. 이 수식은 다양한 파라미터를 인자로 하여 결정되는 함수일 수 있으나, 경우에 따라서는 두세 개의 파라미터만을 인자로 하여 결정되는 함수일 수도 있다.

이러한 파라미터로서 음원의 소스의 개수가 사용될 수 있다. 즉, 음향 시스템의 예를 들면, 음향이 하나의 스피커를 통해서만 출력되는 경우 모노 소스로 정의될 수 있고, 두 개의 스피커로 출력되는 경우에는 스테레오 소스로 정의될 수 있고, 세 개 이상의 스피커로 출력되는 다채널 소스로 정의될 수 있다. 이와 같이 다양하게 정의되는 소스에 따라 다양한 파라미터를 설정할 수 있다. 이와 달리 동물의 소리를 예로 들면, 대부분의 동물은 하나의 성대 또는 음향 발생기관에 의해 음향을 발생시키기 때문에 점-음원(point sound source)으로 간주될 수 있고, 따라서 모노 소스로 취급될 수 있다. 상술한 제1 음원 및 제2 음원과 같이 본 발명의 일 실시예에서 정의하는 각 음원은 모노 음원(모노 소스)으로 정의될 수 있다.

또한, 상술한 파라미터로서 음향 수집원의 개수가 사용될 수 있다. 음향 수집원은 모노 마이크로폰 또는 사람의 양쪽 귀와 같은 다양한 방식으로 정의될 수도 있다. 사람은 하나의 점-음원으로부터 발생된 음을 양쪽 귀를 통해 들을 수 있는데, 양쪽 귀의 위치는 서로 다르기 양쪽 귀로 들어오는 음은 서로 다른 공간을 통과하게 되며, 따라서 양쪽 귀로 들어오는 음의 특성은 서로 다를 수 있다. 한 개의 점-음원으로부터 한 개의 귀로 전달되는 채널의 응답을 소위 한 개의 머리전달함수(HRTF; head-related transfer function)로 정의할 수 있다. 예를 들어 한 개의 점-음원으로부터 출력된 음향이 양쪽 귀로 입력될 때에는 두 개의 머리전달함수를 설정할 수 있고, 두 개의 점-음원으로부터 출력된 음향이 두 개의 귀로 입력될 때에는 네 개의 머리전달함수를 설정할 수 있다. 머리전달함수는 모델링에 의해 정의될 수도 있다. 한 개의 음원으로부터 동시에 출발한 음이 두 개의 귀에 도달할 때에는 두 개의 귀 사이에 일정한 지연이 발생할 수 있다. 이러한 지연에 의해 사람은 음원이 자신의 좌우 중 어디에 있는지 파악할 수 있다.

상술한 머리전달함수의 개념은 본 발명에서 사용되는 공간전달함수의 개념을 설명하기 위한 일 예로서 설명한 것이며, 본 발명에서의 공간전달함수는 이 외에도 종래에 잘 알려져 있는 음파의 공간적 전달 응답을 모델링한 다른 함수를 함께 결합한 것일 수 있다.

단계(S103)에서는 제1 음원에 제1 공간전달함수(301)를 적용한 결과를 제1 음향(501)으로서 출력하고, 제2 음원에 제2 공간전달함수(302)를 적용한 결과를 제2 음향(502)으로서 출력할 수 있다. 이때, 제1 위치(101)와 제2 위치(102)가 서로 다르면 제1 공간전달함수(301)와 제2 공간전달함수(302)가 서로 다르게 설정될 수 있고, 따라서 제1 음향(501)과 제2 음향(502)은 서로 다른 음향 특성을 가질 수 있다.

음향의 출력은 한 개 이상의 스피커에 의해 수행될 수 있다. 도 2c에 도시한 바와 같이, 예를 들어, 한 개의 스피커(400)를 통해 제1 음향(501)과 제2 음향(502)을 출력할 수 있다. 이때, 도 2a와 같이 가상 공간(10)에서의 제1 음원의 제1 위치(101)가 제2 음원의 제2 위치(102)에 비해, 가상 청취 위치(200)에 대하여 상대적으로 먼 곳에 위치하는 것으로 설정되어 있다면, 제1 위치(101)에 의해 결정되는 제1 공간전달함수(301)에는 이러한 가상 청취 위치(200)와 제1 위치(101) 사이의 공간적 특성이 반영되어 있을 수 있으며, 이는 제2 위치(102) 및 제2 공간전달함수(302)에 대하여도 마찬가지이다. 따라서 제1 음원에 제1 공간전달함수(301)를 적용하여 생성된 제1 음향(501)의 크기는 제2 음원에 제2 공간전달함수(302)를 적용하여 생성된 제2 음향(502)의 크기보다 작을 수 있다. 그 결과 한 개의 스피커(400)를 통해 출력되는 제1 음향(501)과 제2 음향(502)은 그 소리의 크기에 따라 서로 구분될 수 있다.

물론, 소리의 크기뿐만 아니라 제1 음향(501)과 제2 음향(502)의 소리 특성에 따라 두 소리를 구분할 수도 있다. 예를 들어, 제1 음원이 제1 화자의 목소리를 나타내고 제2 음원이 제2 화자의 목소리를 나타내는 경우, 두 화자의 목소리는 서로 다르기 때문에 목소리 만으로도 두 화자를 구분할 수 있지만, 두 화자가 가상 청취 위치(200)로부터 떨어진 거리가 서로 다르기 때문에 가상 청취 위치(200)에서 들리는 음향의 크기 차이에 의해 두 화자를 구분할 수 있다.

한편, 예를 들어 제1 위치(101)가 제2 위치(102)보다 가상 청취 위치(200)로부터 더 멀리 떨어져 있는 경우라고 하더라도, 제1 위치(101)에서의 제1 음원의 크기가 제2 위치(102)에서의 제2 음원의 크기보다 현저하게 크다면, 더 멀리서 들려오는 소리가 가상 청취 위치(200)에서는 더 크게 들릴 수도 있다. 따라서 제1 위치(101)와 제2 위치(102)로부터 들려오는 소리의 크기를 이용하여 가상 청취 위치(200)로부터 제1 위치(101) 및 제2 위치(102)까지의 거리를 가늠하기 위해서는 각 위치에서의 음원의 크기가 정규화될 필요가 있다. 본 발명의 각 실시예에서는 각 음원의 에너지를 정규화하는 단계 또는 모듈을 포함할 수 있다.

다른 예로서, 도 2d에 도시한 바와 같이 두 개의 스피커를 통해 제1 음향(501)과 제2 음향(502)을 출력할 수 있다. 이때, 제1 음향(501)은 제1 스피커(좌측 스피커)(401) 및 제2 스피커(우측 스피커)(402)를 통해 출력되는 제1 스테레오 음향이고, 마찬가지로 제2 음향(502)도 제1 스피커(401) 및 제2 스피커(402)를 통해 출력되는 제2 스테레오 음향일 수 있다. 예를 들어, 상술한 가상 공간(10)에서 제1 음원의 제1 위치(101)가 가상 청취 위치(200)에 대하여 좌측에 위치한다고 설정되었다면, 가상 공간(10)에서 왼쪽 귀(201)에서 들리는 소리가 오른쪽 귀(202)에서 들리는 소리보다 더 클 것이고, 오른쪽 귀(202)보다 왼쪽 귀(201)로 음파가 더 빨리 도달할 수 있다. 즉, 양쪽 귀에 음파가 도달할 때에 시간 지연이 발생할 수 있다. 이러한 가상 공간(10)에서의 현상을 실제로 모사하기 위하여 상술한 제1 스테레오 음향 중 제1 스피커(401)를 통해 출력되는 제1 좌측 음향(501_L)은, 제2 스피커(402)를 통해 출력되는 제1 우측 음향(501_R)에 비해 소리가 더 클 뿐만 아니라 상술한 시간 지연만큼 더 빨리 출력되도록 제1 공간전달함수(도 2b의 301)가 결정될 수 있다. 마찬가지로, 제2 음원의 제2 위치(102)가 상술한 가상 청취 위치(200)에 대하여 우측에 위치한다고 설정되었다면, 이에 따른 가상 공간(10)에서의 청취 효과를 모사하기 위하여 상술한 제2 스테레오 음향 중 제2 스피커(402)를 통해 출력되는 제2 우측 음향(502_R)은, 제1 스피커(401)를 통해 출력되는 제2 좌측 음향(502_L)에 비해 소리가 더 클 뿐만 아니라 상술한 시간 지연만큼 더 빨리 출력되도록 제2 공간전달함수(도 2b의 302)가 결정될 수 있다. 이와 같이 제1 공간전달함수(도 2b의 301)는 가상 공간(10)에서 제1 음원으로부터 양쪽 귀로 전달되는 두 개의 머리전달함수를 모델링한 것일 수 있으며, 제2 공간전달함수(도 2b의 302)는 제2 음원으로부터 양쪽 귀로 전달되는 또 다른 두 개의 머리전달함수를 모델링한 것일 수 있다. 이와 같이 두 개의 스피커로부터 음향이 출력되면, 실제 청취자(250)는 제1 음원이 왼쪽에 존재하고 제2 음원은 오른쪽에 존재하는 것으로 인식할 수 있다. 즉, 실제 청취자(250)가 가상 공간(10)의 가상 청취 위치(200)에 있는 것처럼 느끼도록 할 수 있다. 그 결과 두 개의 스피커를 통해 출력되는 제1 음향(501)과 제2 음향(502)은 그 소리의 방향에 따라 서로 구분될 수 있다. 예를 들어, 제1 음원이 제1 화자의 목소리이고 제2 음원이 제2 화자의 목소리인 경우, 두 화자의 목소리는 서로 다르기 때문에 목소리 만으로도 두 화자를 구분할 수 있지만, 가상 청취 위치(200)에 대하여 서로 다른 두 음원의 방향이 실제 스피커의 출력에 반영되기 때문에 음향의 방향성에 의해 두 화자를 구분할 수 있다.

상술한 내용을 조합하면, 가상 공간(10)에서 가상 청취 위치(200)에 대하여 임의의 위치에 있는 음원들의 변위 벡터를 공간전달함수에 적용함으로써 각 음원의 스피커 출력 특성을 조절하여 음원에 대한 공간감을 조절할 수 있다. 실시예에 따라 세 개 이상의 음원이 존재할 수 있고, 이에 따른 복수 개의 공간전달함수를 설정할 수 있다. 또한, 실제로 음향을 출력할 때에는 세 개 이상의 스피커를 사용할 수도 있다.

상술한 제1 위치(101) 및 제2 위치(102)를 설정하는 구체적인 방법으로서 어플리케이션에 따라 다양한 방법을 생각할 수 있다.

도 3은 본 발명의 일 실시예에 따라 가상 공간(10)에서의 제1 위치(101) 및 제2 위치(102)를 설정하는 구체적인 방법의 예를 나타낸 것이다.

우선, 사용자 입력장치에 의해 제1 위치(101) 및 제2 위치(102)를 직접입력할 수 있다. 사용자 입력장치로는 마우스 또는 키보드 또는 터치 입력 장치와 같이 현재 존재하는 다양한 입력장치를 사용할 수 있다. 또한, 이러한 입력이 잘 수행되는지를 확인하기 위한 모니터링 장치, 예를 들어 디스플레이 화면 등이 필요할 수 있다.

도 3a를 참조하면, 키보드를 통하여 제1 위치(101) 및 제2 위치(102)를 입력하는 경우에는 가상 청취 위치(200)에 대한 벡터 정보를 숫자 및/또는 문자를 이용하여 입력할 수 있다. 예를 들어 가상 청취 위치(200)를 원점으로 할 때에 제1 위치(101) 및 제2 위치(102)의 x 좌표 및 y 좌표값을 직접 입력하거나 또는 제1 위치(101) 및 제2 위치(102)의 각도 및 거리를 직접 입력할 수도 있다. 여기서는 가상 공간(10)을 2차원인 것으로 가정하여 예를 들었으나, 실시예에 따라 3차원일 수도 있다. 이 경우에는 벡터 정보로서 3차원 벡터 정보를 사용할 수 있다.

도 3b를 참조하면, 마우스를 이용하여 입력하는 경우에는 가상 공간(10)을 디스플레이 화면(600)에 표시하고, 가상 공간(10) 내에 제1 음원의 제1 위치(101), 제2 음원의 제2 위치(102), 가상 청취 위치(200)를 나타내는 아이콘을 포함하는 그래픽 요소들을 표시할 수 있다. 이때 마우스를 사용하여 이 그래픽 요소들 중 하나를 선택하여 가상 공간(10) 내의 임의의 위치로 드래그하여 옮길 수 있다. 그러면, 가상 청취 위치(200)를 기준으로 하여 제1 음원 및 제2 음원의 상대적인 위치를 변경할 수 있게 된다. 즉, 가상 청취 위치(200)에 대한 제1 위치(101) 및 제2 위치(102)가 자동으로 설정될 수 있다.

터치 입력 장치를 사용하여 제1 위치(101) 및 제2 위치(102)를 직접 입력하는 경우에도 도 3b를 참조하여 설명할 수 있다. 디스플레이 화면(600)에 터치 입력 센서 패널을 설치하면 상술한 마우스를 이용한 선택 및 드래그와 마찬가지의 동작을 할 수 있다는 것을 잘 이해할 수 있다.

다음으로는, 사용자 입력장치에 제1 위치(101) 및 제2 위치(102)를 직접 입력하는 대신, 제1 위치(101) 및 제2 위치(102)를 자동으로 입력하는 방법을 제공할 수 있다. 구체적으로는, 원격 화상 회의 또는 양자/다자간 화상 채팅 기능을 제공하는 사용자 기기에서 가상 공간(10) 내에서의 음원의 위치를 자동으로 입력하는 방법을 제공할 수 있다. 이러한 기능을 위하여 사용자 기기는 통신 네트워크(20)를 통해 유선 또는 무선으로 원격 기기와 연결될 수 있다.

이때 통신 네트워크로서 유/무선의 써킷 네트워크(circuit network)를 가정할 수도 있지만, 본 발명의 일 실시예는 유/무선의 패킷 네트워크(packet network)를 가정하여 설명한다.

도 3c를 참조하여 설명하면, 패킷 통신 네트워크(20)를 통해 전송되는 데이터는 일반적으로 전송 기기의 고유 주소를 포함하는 헤더를 포함한다. 따라서, 제1 원격 기기(701)로부터 송신된 제1 패킷이 제1 원격 기기(701)에 관한 제1 주소를 갖는다면 제2 원격 기기(702)로부터 송신된 제2 패킷은 이와 다른 제2 원격 기기(702)에 관한 제2 주소를 가질 수 있다. 따라서, 사용자 기기(700)에서 제1 패킷 및 제2 패킷을 수신하면 두 패킷이 서로 다른 원격 기기로부터 온 것임을 알 수 있다. 서로 다른 원격 기기로부터 수집한 음원의 위치는 가상 공간의 서로 다른 지점에 미리 결정된 알고리즘에 의해 자동으로 배치할 수 있다. 물론 자동으로 배치한 다음 상술한 사용자 입력장치를 사용하여 음원의 위치를 변경할 수도 있다. 구체적인 예를 들면, 제1 원격 기기(701)는 미국에 있는 제1 화자가 사용하는 기기이고 제2 원격 기기(702)는 중국에 있는 제2 화자가 사용하는 기기이고, 가상 청취 위치(200)는 한국에 존재한다는 것을 IP 주소 등을 통하여 확인할 수 있다. 따라서, 제1 원격 기기(701)로부터 전송된 제1 음원은 가상 청취 위치(200)에 대하여 서쪽(예컨대, 왼쪽)에 자동으로 배치하고, 제2 원격 기기(702)로부터 전송된 제2 음원은 가상 청취 위치(200)에 대해 동쪽(예컨대, 오른쪽)에 자동으로 배치할 수 있다(중국은 한국에 대하여 서쪽에 있고 미국은 한국에 대하여 동쪽에 위치한다). 구체적으로는 한국, 미국, 중국의 지구에서의 위도 및 경도에 따라 제1 음원, 제2 음원 및 가상 청취 위치(200)의 상대적인 위치를 자동으로 결정할 수도 있다.

경우에 따라서는 IP 주소가 아닌 MAC 주소(address)에 따라 가상 공간에서의 음원의 위치를 결정할 수도 있다. 또는, 제1 음원 및 제2 음원 등 각 음원을 포함하는 데이터 패킷에 각 사용자의 ID 정보가 포함되어 있는 경우 이를 기초로 가상 공간에서의 각 음원의 위치를 결정할 수도 있다. 예를 들어, 특정 사용자 ID를 갖는 자의 국적이 제공될 수 있는데, 각 국적에 따라 각 음원의 가상 공간 내에서의 상대적인 위치가 결정될 수도 있다.

위의 예에서 변형된 예를 도 3d를 참조하여 설명하면, 사용자 기기(700)가 통신 네트워크(20)를 통해 제1 원격 기기(701)에 연결되어 있을 수 있다. 제1 원격 기기(701)는 자신에게 연결된 제1 마이크로폰(701_1) 및 제2 마이크로폰(701_2)으로부터 입력된 음향을 취합하여 사용자 기기(700)에 전송할 수 있다. 제1 마이크로폰(701_1)은 제1 화자의 목소리를 입력받고 제2 마이크로폰(701_2)은 제2 화자의 목소리를 입력받는다고 가정하면, 각 마이크로폰을 통해 흐르는 신호는 서로 분리 가능하기 때문에 각 화자를 특정하는 정보를 각 화자의 목소리를 나타내는 데이터에 첨가할 수 있다. 예를 들어 제1 화자의 목소리를 코딩하여 형성한 제1 음원 패킷의 헤더에는 제1 화자를 나타내는 제1 정보를 포함하고, 제2 화자의 목소리를 코딩하여 형성한 제2 음원 패킷의 헤더에는 제2 화자를 나타내는 제2 정보를 포함할 수 있다. 사용자 기기(700)에서는 상술한 제1 정보 및 제2 정보를 구분함으로써 제1 화자에 의한 제1 음원과 제2 화자에 의한 제2 음원을 구분할 수 있다. 제1 음원과 제2 음원을 디스플레이 화면에 자동으로 배치할 수 있고, 그 후 사용자 입력장치를 사용하여 그 위치를 변경할 수도 있다.

위에서는 각 음원의 소스를 구분하기 위해 각 음원이 코딩된 패킷에 소스 정보를 명시적으로 포함하는 예를 설명하였다. 이와 달리, 음원의 소스 정보를 명시적으로 포함하지 않더라도 화자 인식 기술을 사용함으로써 자동으로 여러 명의 화자의 위치를 자동으로 구분하여 가상 공간에 배치할 수 있다. 예를 들어, 몇 명의 화자가 대화에 참여하는지를 알고 있다면, 사용자 기기에 입력되는 음원의 샘플들을 충분히 수집한 다음, 화자 인식 기술에 의해 클러스터링하여 각 화자를 구분하기 위한 정보를 얻을 수 있다. 그리고 구분된 각 화자에 의한 음원의 위치를 가상 공간 내에 자동으로 배치할 수 있다. 임의의 시각에 임의의 목소리가 사용자 기기에 입력되면, 사용자 기기는 임의의 목소리의 화자를 찾아낸 후 임의의 목소리의 음원을 그 화자의 위치에 배치할 수 있다.

상술한 예와 같이 한국, 중국, 미국에 있는 여러 화자들이 화상 회의에 참여할 때에, 한국, 중국 및 미국의 화자는 각각 자신이 가상 청취 위치(200)에 있는 것으로 설정하고자 할 것이다.

각 화자는 자신의 화상 시스템을 조작하도록 허용될 수 있다. 이때, 각 화자가 화상 회의 시스템을 조작하는 방법으로서 이하 설명하는 두 가지 방법의 예를 들 수 있다.

도 4는 본 발명의 실시예에 따라 화자의 위치를 결정하기 위해 화상 회의 시스템을 조작하는 방법을 나타낸 것이다.

도 4에서, 설명의 편의를 위해 한국, 미국, 중국에 존재하는 사용자를 각각 제1 사용자, 제2 사용자, 제3 사용자라고 지칭한다.

도 4a는 가상 공간 내의 음원을 나타내는 모든 아이콘의 위치를 화상 회의에 참여하는 각 사용자가 마음대로 설정할 수 있는 예를 나타낸다.

도 4a의 ①은 한국의 제1 사용자가 사용하는 화상 회의 시스템의 제1 디스플레이 화면(601)의 일 예를 나타낸 것이다. 한국의 제1 사용자는, 제1 가상 공간(11) 내의 제1 사용자 자신의 가상 청취 위치를 나타내는 제1 아이콘(271), 미국의 제2 사용자로부터 전송된 음원의 제1 가상 공간(11) 내의 위치를 나타내는 제2 아이콘(272), 중국의 제3 사용자로부터 전송된 음원의 제1 가상 공간(11) 내의 위치를 나타내는 제3 아이콘(273) 중 어느 것이라도 마음대로 움직일 수 있다.

도 4a의 ②는 미국의 제2 사용자가 사용하는 화상 회의 시스템의 제2 디스플레이 화면(602)의 일 예를 나타낸 것이다. 미국의 제2 사용자는, 제2 가상 공간(12) 내의 제2 사용자 자신의 가상 청취 위치를 나타내는 제2 아이콘(272), 한국의 제1 사용자로부터 전송된 음원의 제2 가상 공간(12) 내의 위치를 나타내는 제1 아이콘(271), 중국의 제3 사용자로부터 전송된 음원의 제2 가상 공간(12) 내의 위치를 나타내는 제3 아이콘(273) 중 어느 것이라도 마음대로 움직일 수 있다.

도 4a의 ③은 중국의 제3 사용자가 사용하는 화상 회의 시스템의 제3 디스플레이 화면(603)의 일 예를 나타낸 것이다. 중국의 제3 사용자는, 제3 가상 공간(13) 내의 제3 사용자 자신의 가상 청취 위치를 나타내는 제3 아이콘(273), 한국의 제1 사용자로부터 전송된 음원의 제3 가상 공간(13) 내의 위치를 나타내는 제1 아이콘(271), 미국의 제2 사용자로부터 전송된 음원의 제3 가상 공간(13) 내의 위치를 나타내는 제2 아이콘(272) 중 어느 것이라도 마음대로 움직일 수 있다.

즉, 제1 사용자, 제2 사용자, 제3 사용자는 각각 자신이 사용하는 화상 회의 시스템의 디스플레이 화면에 표시된 모든 아이콘을 자유롭게 재배치할 수 있으며, 따라서 각 디스플레이 화면에 표시되는 가상 공간 내에서의 음원의 상대적인 위치는 서로 다르게 설정될 수 있다. 따라서, 이 경우 각 사용자가 경험하는 가상 공간은 서로 다르게 설정될 수 있다. 즉, 도 4a와 같은 경우에는 제1 사용자, 제2 사용자, 및 제3 사용자는 각각 자신만의 제1 가상 공간(11), 제2 가상 공간(12), 제3 가상 공간(13)을 조작하게 된다.

도 4b는 본 발명의 일 실시예에 따라 가상 공간을 이용하는 각 사용자가 자신의 가상 청취 위치를 나타내는 아이콘의 위치를 자유롭게 설정하는 방법을 설명하기 위한 것이다. 이 예에서는 한국의 제1 사용자, 미국의 제2 사용자, 중국의 제3 사용자가 모두 동일한 가상 공간(10)을 공유한다. 제1 사용자는 가상 공간(10) 내의 자신의 가상 청취 위치를 나타내는 제1 아이콘(271)만을 재배치할 수 있고, 제2 사용자는 가상 공간(10) 내의 자신의 가상 청취 위치를 나타내는 제2 아이콘(272)만을 재배치할 수 있고, 제3 사용자는 가상 공간(10) 내의 자신의 가상 청취 위치를 나타내는 제3 아이콘(273)만을 재배치할 수 있다.

도 4에서 설명한 방법으로 각 아이콘들을 위치를 재배치하면 가상 공간 내에서의 각 아이콘들 간의 상대적인 방향 및 거리에 따라 공간전달함수가 변경될 수 있고, 변경된 공간전달함수에 의해 실제 스피커 출력 음향의 특성이 달라질 수 있다.

도 5는 본 발명의 일 실시예에 따라 가상 공간 내에 위치한 여러 음원 중 하나의 음원을 집중하여 듣는 효과를 모사하는 방법을 나타낸 것이다.

도 5에서, 가상 공간(10) 내의 가상 청취 위치(200)로부터 제1 음원의 제1 위치(101)까지의 거리(D1)와 제2 음원의 제2 위치(102)까지의 거리(D2)가 서로 동일하다고 가정하고, 제1 음원의 제1 위치(101)에서의 소리 크기와 제2 음원의 제2 위치(102)에서의 소리 크기가 동일하다고 하면, 가상 청취 위치(200)에서 듣는 제1 음원의 크기와 제2 음원의 크기는 동일할 수 있다.

그러나 실제 사람이 소리를 인식할 때에는 동일한 크기의 서로 다른 소리를 구분하여 그 중 하나에 집중할 수 있다. 이는 소위 '칵테일 파티 효과(cocktail party effect)'라고 불리는데, 이는 시끄러운 칵테일 파티 현장에서도 자신이 관심을 가지는 소리를 제외한 다른 소리를 뇌의 기작에 의해 필터링하는 효과를 나타낸다.

본 발명의 일 실시예에서는 이러한 칵테일 파티 효과를 가상 공간(10)에 적용할 수 있다. 즉, 가상 청취 위치(200)로부터 동일한 거리에 있는 제1 음원 및 제2 음원 중 제1 음원에 집중한다는 것을 나타내기 위해 제1 음원을 나타내는 제1 아이콘(281)을 사용자 입력장치, 예를 들어 마우스 등으로 선택하면 실제 스피커에서 제1 음원의 소리를 제2 음원의 소리보다 더 크게 출력하도록, 제1 위치(101)에 관한 제1 공간전달함수와 제2 위치(102)에 대한 제2 공간전달함수를 변경할 수 있다.

도 6은 본 발명의 일 실시예에 따라 공간전달함수를 변경하는 또 다른 방법을 설명하기 위한 도면이다.

도 6a 및 도 6b는 동일한 가상 공간(10)에서 가상 청취 위치(200)에 있는 것으로 설정된 가상 청취자(252)가 서로 다른 방향을 바라볼 때의 공간전달함수 변화를 설명한다.

가상 청취자(252)가 제1 음원의 제1 위치(101)를 바라볼 때의 양쪽 귀의 정렬 방향(도 6a)과, 이와 달리 가상 청취자(252)가 제2 음원의 제2 위치(102)를 바라볼 때의 양쪽 귀의 정렬 방향(도 6b)은 서로 다르다. 따라서, 도 6a에서의 제1 위치(101)에 관한 제1 공간전달함수(311)와 도 6b에서의 제1 위치(101)에 관한 제1 공간전달함수(321)는 서로 다를 수 있다. 마찬가지로, 도 6a에서의 제1 위치(101)에 관한 제2 공간전달함수(312)와 도 6b에서의 제2 위치(102)에 관한 제2 공간전달함수(322)는 서로 다를 수 있다. 따라서, 가상 청취자(252)가 바라보는 방향에 따라 공간전달함수를 변경시킬 수 있다.

가상 청취자(252)가 바라보는 방향은 사용자 입력장치를 이용하여 이 방향과 관련된 벡터 변수의 값을 조작하여 변경할 수 있다. 다르게는, 가상 청취자(252)와 동일시되는 실제 청취자의 머리 부분에 방향 센서를 부착하고, 기준 방향에 대한 상기 방향 센서의 방향을 측정하여 그 측정값을 근거로 가상 청취자(252)가 바라보는 방향을 자동으로 조절할 수도 있다. 방향 센서는 예를 들어 자이로스코프를 이용하여 구현할 수 있으며, 방향 센서를 구현하는 다양한 방법들이 공개되어 있으므로 이를 이용할 수 있다.

본 발명의 일 실시예에 따라, 상술한 음향 출력 방법을 구현하는 음향 처리 장치의 구성을 설명한다.

도 7은 본 발명의 일 실시예에 따른 음향 처리 장치의 구조를 간략히 나타낸 것이다.

음향 처리 장치(1)는 메모리(30), 처리부(31), 음향신호 출력부(32)를 포함할 수 있다.

메모리(30)는 상술한 제1 음원 및 제2 음원을 저장하도록 되어 있다. 제1 음원 및 제2 음원은 예를 들어 디지털 형태의 웨이브(.wav) 파일 또는 MP3(.mp3) 파일 등 다양한 포맷의 파일일 수 있다. 또는 제1 음원 및 제2 음원은 디지털 형태의 웨이브(.wav) 파일 또는 MP3(.mp3) 파일을 포함하는 무선 데이터 패킷으로서 인터넷 주소 정보 등을 포함하는 헤더(header)를 가지고 있는 파일일 수 있다.

처리부(31)는 메모리(30)로부터 제1 음원 및 제2 음원을 읽어들이고 처리하여 음향 신호를 생성할 수 있다. 이때 처리부(31)는 가상 공간에서의 제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하고, 제1 위치에 의해 결정되는 제1 공간전달함수 및 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 제1 음원에 제1 공간전달함수를 적용하고 제2 음원에 제2 공간전달함수를 적용하여 상기 음향 신호를 생성할 수 있다. 이때 각 공간전달함수는 한 개 이상의 머리전달함수를 포함할 수 있고, 각 머리전달함수는 적어도 양쪽 귀에 들리는 소리의 크기 차이 및/또는 양쪽 귀를 통해 들어오는 신호의 시간 지연 정보를 나타낼 수 있다.

음향신호 출력부(32)는 처리부(31)에서 생성한 음향 신호를 전달하는 회로 및 출력단자를 포함할 수 있다. 또는 이 출력단자에 연결된 스피커까지 일체로 포함할 수 있다. 출력단자 및 스피커는 단일 채널, 스테레오 채널, 또는 멀티 채널일 수 있다. 처리부(31)에서 처리하는 머리전달함수의 개수는 출력단자의 채널 개수 및 음원의 개수에 따라 결정될 수 있다.

음향 처리 장치(1)에는 사용자 입력부를 연결하기 위한 인터페이스부(33)가 포함되어 있을 수 있고, 인터페이스부(33)는 사용자 입력부를 연결할 수 있도록 되어 있을 수 있다. 이때 처리부(31)에서 제1 위치 또는 제2 위치를 설정하기 위하여 인터페이스부(33)를 통해 사용자 입력부로부터 위치 설정에 관한 외부 명령을 입력받을 수 있다.

또한, 인터페이스부(33)를 통해 사용자 입력부로부터 제1 음원 및 제2 음원 중 어느 하나를 선택하는 명령을 입력받을 수 있다. 그러면, 처리부(31)는 제1 공간전달함수 및 제2 공간전달함수 중 적어도 하나를 변경할 수 있다.

사용자 입력부는 음향 처리 장치(1)와 일체로 형성될 수도 있고, 다르게는 음향 처리 장치(1)와 별개로 제공되어 인터페이스부(33)를 통해 음향 처리 장치(1)와 연결될 수도 있다.

또한, 인터페이스부(33)를 통해 사용자 입력부로부터 사용자의 방향을 나타내는 방향 출력 신호를 입력받을 수 있다. 이때 사용자 입력부는 자이로스코프 증 방향 센서를 포함함으로써 사용자의 방향을 파악할 수 있도록 되어 있다. 그러면 처리부(31)는 제1 위치 및 방향 출력 신호에 근거하여 제1 공간전달함수를 결정할 수 있고, 제2 위치 및 방향 출력 신호에 근거하여 제2 공간전달함수를 결정할 수 있다.

한편 음향 처리 장치(1)는 외부 패킷 통신망에 접속하도록 되어있는 통신부(34)를 더 포함할 수 있다. 제1 음원 및 제2 음원은 통신부(34)를 통해 외부 패킷 통신망으로부터 수집된 것일 수 있다. 제1 음원 및 제2 음원은 통신부(34) 및 처리부(31)를 통해 메모리(30)에 저장되거나 또는 통신부(34) 및 메모리(30) 사이에 존재하는 다른 처리 유닛(미도시)을 거쳐 메모리(30)에 저장될 수도 있다. 처리부(31)는 제1 음원의 제1 소스 주소와 제2 음원의 제2 소스 주소가 서로 다르면 제1 위치와 제2 위치를 서로 다르게 설정할 수 있다.

이때 통신부(340)는 무선 통신부일 수 있으며, 음향 처리 장치(1)는 휴대용 사용자 기기로 지칭될 수 있다.

본 발명의 일 실시예에서는 상술한 음향 처리 장치 또는 시스템뿐만 아니라 여기에 사용되는 음향 처리 칩을 제공한다.

도 8은 본 발명의 일 실시예에 따른 음향 처리 칩의 구조를 간단히 나타낸 것이다.

음향 처리 칩(2)은 외부 메모리에 연결할 수 있는 입력 인터페이스 모듈(41), 입력 인터페이스 모듈(41)을 통해 외부 메모리로부터 제1 음원 및 제2 음원을 수신하여 처리하여 음향 신호를 생성하도록 되어 있는 처리 모듈(42), 및 처리 모듈(42)이 생성한 음향 신호를 출력하도록 되어 있는 출력 인터페이스 모듈(43)을 포함할 수 있다. 처리 모듈(42)은 제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하고, 제1 위치에 의해 결정되는 제1 공간전달함수 및 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 제1 음원에 제1 공간전달함수를 적용하고 제2 음원에 제2 공간전달함수를 적용하여 음향 신호를 생성하도록 되어 있으며, 제1 위치와 제2 위치가 서로 다르면 제1 공간전달함수와 제2 공간전달함수가 서로 다르게 설정될 수 있다.

도 8에 도시한 음향 처리 칩에는 레지스터를 표시하지 않았지만, 음향 처리 칩의 내부에는 외부에서 들어온 정보, 예를 들어 음향 정보를 임시로 저장할 수 있는 레지스터가 포함될 수 있다.

본 발명의 일 실시예에 따르면, 음향 출력 장치를 통해 여러 화자의 목소리를 출력할 때에 각 화자의 가상 공간 내에서의 위치를 설정하고 설정된 위치에 따라 각 화자로부터 들려오는 목소리의 특성을 변화시킬 수 있다. 따라서, 각 화자 고유의 목소리로서 각 화자를 구분할 수 있을 뿐만 아니라, 목소리가 들려오는 위치로부터 화자의 위치를 감지할 수 있기 때문에 각 목소리를 구분하는 것이 더 수월해질 수 있다.

상술한 제1 공간전달함수와 제2 공간전달함수는 간단하게는 각각 대응되는 음원에 서로 다른 지연(delay)을 주는 기능일 수 있다. 또는 각 대응되는 음원의 감쇠(attenuation) 정도를 서로 다르게 설정하는 기능일 수 있다. 또는 각 대응되는 음원이 서로 다른 반사 및/또는 굴절환경을 거쳐 여러 개의 서로 다른 채널을 통해 들어오는 현상을 설정할 수도 있다. 또는, 각 대응되는 음원의 다양한 주파수 대역별로 서로 다른 감쇄 정도를 나타내도록 하는 기능일 수도 있다. 이 밖에 종래의 음향학에서 다루어지는 다양한 공간음향전달 특성을 반영하는 기능일 수도 있다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있음은 자명하다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

이상에서 실시예를 통해 설명한 본 발명의 기술적 범위는 상기 기재된 실시예에 한정되는 것은 아니고 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다양하게 수정 및 변형될 수 있음은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백하다. 따라서 그러한 변형예 또는 수정 예들은 본 발명의 특허청구범위에 기재된 발명의 범위에 속한다 해야 할 것이다.

1; 음향 처리 장치, 휴대용 사용자 기기 2: 음향 처리 칩
10: 가상 공간 11: 제1 가상 공간
12: 제2 가상 공간 13: 제3 가상 공간
20: 통신 네트워크 30: 메모리
31: 처리부 32: 음향 신호 출력부
33: 인터페이스 34: 통신부
41: 입력 인터페이스 모듈 42: 처리 모듈
43: 출력 인터페이스 모듈 101: 제1 위치
102: 제2 위치 200: 가상 청취 위치
201: 왼쪽 귀 202: 오른쪽 귀
250: 실제 청취자 252: 가상 청취자
281: 제1 아이콘 282: 제2 아이콘
301, 311, 321: 제1 공간전달함수
302, 312, 322: 제2 공간전달함수
400: 모노 스피커 401: 제1 스피커
402: 제2 스피커 501: 제1 음향
502: 제2 음향 600: 디스플레이 화면
601: 제1 디스플레이 화면 602: 제2 디스플레이 화면
602: 제3 디스플레이 화면 700: 사용자 기기
701: 제1 원격 기기 702: 제2 원격 기기
701_1: 제1 마이크로폰 701_2: 제2 마이크로폰
701: 제1 아이콘 702: 제2 아이콘
703: 제3 아이콘

Claims (16)

1. 제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하는 위치 설정단계;
   상기 제1 위치에 의해 결정되는 제1 공간전달함수 및 상기 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하는 공간전달함수 설정단계; 및
   상기 제1 음원에 상기 제1 공간전달함수를 적용하여 제1 음향을 출력하고, 상기 제2 음원에 상기 제2 공간전달함수를 적용하여 제2 음향을 출력하는 음향 출력단계
   를 포함하며,
   상기 제1 위치와 상기 제2 위치가 서로 다르면 상기 제1 공간전달함수와 상기 제2 공간전달함수가 서로 다르게 설정되는, 음향 처리 방법.
2. 제1항에 있어서, 상기 제1 위치 또는 상기 제2 위치를 설정하는 것은, 사용자 입력장치에 의해 수행되도록 되어 있는, 음향 처리 방법.
3. 제2항에 있어서, 상기 사용자 입력장치에 의해 상기 제1 음원 및 상기 제2 음원 중 어느 하나가 선택되면, 상기 제1 공간전달함수 및 상기 제2 공간전달함수 중 적어도 하나가 변경되는, 음향 처리 방법.
4. 제1항에 있어서, 상기 제1 음원 및 상기 제2 음원은 각각 패킷 통신망을 통해 수집된 것이며, 상기 제1 음원의 제1 소스 주소(source address)와 상기 제2 음원의 제2 소스 주소가 서로 다르면 상기 제1 위치와 상기 제2 위치가 서로 다르게 설정되는, 음향 처리 방법.
5. 제1항에 있어서, 상기 제1 음원 및 상기 제2 음원은 각각 패킷 통신망을 통해 수집된 것이며, 상기 제1 음원에 대한 제1 사용자 ID 정보와 상기 제2 음원에 대한 제2 사용자 ID 정보가 서로 다르면 상기 제1 위치와 상기 제2 위치가 서로 다르게 설정되는, 음향 처리 방법.
6. 제1항에 있어서, 상기 제1 음원 및 상기 제2 음원은 각 음원의 출처 정보를 포함하는 헤더를 갖는 디지털 음원이고, 상기 제1 음원의 출처와 상기 제2 음원의 출처가 서로 다르면 상기 제1 위치와 상기 제2 위치가 서로 다르게 설정되는, 음향 처리 방법.
7. 제1항에 있어서, 방향 센서를 포함하는 사용자 입력 장치로부터 방향 출력 신호를 수신하는 단계를 상기 공간전달함수 설정단계 이전에 더 포함하고, 상기 제1 공간전달함수는 상기 제1 위치 및 상기 방향 출력 신호에 의해 결정되고, 상기 제2 공간전달함수는 상기 제2 위치 및 상기 방향 출력 신호에 의해 결정되는, 음향 처리 방법.
8. 제1항에 있어서, 상기 제1 음원 및 상기 제2 음원의 에너지를 정규화하는 단계를 상기 위치 설정단계 이전에 더 포함하는, 음향 처리 방법.
9. 제1 음원 및 제2 음원을 저장하도록 되어 있는 메모리;
   상기 제1 음원 및 상기 제2 음원을 처리하여 음향 신호를 생성하도록 되어 있는 처리부; 및
   상기 처리부로부터 상기 음향 신호를 받아 출력할 수 있도록 되어 있는 음향신호 출력부를 포함하며,
   상기 처리부는 상기 제1 음원에 대한 제1 위치 및 상기 제2 음원에 대한 제2 위치를 설정하고, 상기 제1 위치에 의해 결정되는 제1 공간전달함수 및 상기 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 상기 제1 음원에 상기 제1 공간전달함수를 적용하고 상기 제2 음원에 상기 제2 공간전달함수를 적용하여 상기 음향 신호를 생성하도록 되어 있으며,
   상기 제1 위치와 상기 제2 위치가 서로 다르면 상기 제1 공간전달함수와 상기 제2 공간전달함수가 서로 다르게 설정되는,
   음향 처리 장치.
10. 제9항에 있어서, 사용자 입력부가 연결되도록 되어 있는 인터페이스부를 더 포함하며, 상기 제1 위치 또는 상기 제2 위치를 설정하는 것은 상기 인터페이스부를 통해 입력된 신호를 상기 처리부가 처리하여 수행되도록 되어 있는, 음향 처리 장치.
11. 제10항에 있어서, 상기 인터페이스부를 통해 상기 제1 음원 및 상기 제2 음원 중 어느 하나가 선택되면, 상기 처리부에 의해 상기 제1 공간전달함수 및 상기 제2 공간전달함수 중 적어도 하나가 변경되도록 되어 있는, 음향 처리 장치.
12. 제9항에 있어서, 방향 센서를 포함하는 사용자 방향입력 장치가 연결되도록되어 있는 인터페이스부를 더 포함하며, 상기 인터페이스부는 상기 방향 센서로부터의 방향 출력 신호를 상기 처리부에 전송하도록 되어 있고, 상기 제1 공간전달함수는 상기 제1 위치 및 상기 방향 출력 신호에 의해 결정되도록 되어 있고, 상기 제2 공간전달함수는 상기 제2 위치 및 상기 방향 출력 신호에 의해 결정되도록 되어 있는, 음향 처리 장치.
13. 제9항에 있어서, 외부 패킷 통신망에 접속하도록 되어있는 통신부를 더 포함하며, 상기 제1 음원 및 상기 제2 음원은 상기 통신부를 통해 상기 외부 패킷 통신망으로부터 수집된 것이며, 상기 제1 음원의 제1 소스 주소(source address)와 상기 제2 음원의 제2 소스 주소가 서로 다르면 상기 제1 위치와 상기 제2 위치가 서로 다르게 설정되도록 되어 있는, 음향 처리 장치.
14. 외부 패킷 통신망에 접속하여 제1 음원 및 제2 음원을 수신하도록 되어있는 무선 통신부;
    상기 제1 음원 및 상기 제2 음원을 저장하도록 되어 있는 메모리;
    상기 제1 음원 및 상기 제2 음원을 처리하여 음향 신호를 생성하도록 되어 있는 처리부; 및
    상기 처리부로부터 상기 음향 신호를 받아 출력할 수 있도록 되어 있는 음향신호 출력부를 포함하며,
    상기 처리부는 상기 제1 음원에 대한 제1 위치 및 상기 제2 음원에 대한 제2 위치를 설정하고, 상기 제1 위치에 의해 결정되는 제1 공간전달함수 및 상기 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 상기 제1 음원에 상기 제1 공간전달함수를 적용하고 상기 제2 음원에 상기 제2 공간전달함수를 적용하여 상기 음향 신호를 생성하도록 되어 있으며,
    상기 제1 위치와 상기 제2 위치가 서로 다르면 상기 제1 공간전달함수와 상기 제2 공간전달함수가 서로 다르게 설정되는,
    휴대용 사용자 기기.
15. 메모리에 연결되는 입력 인터페이스 모듈;
    상기 입력 인터페이스 모듈을 통해 상기 메모리로부터 제1 음원 및 제2 음원을 수신하고 처리하여 음향 신호를 생성하도록 되어 있는 처리 모듈; 및
    상기 음향 신호를 출력도록 되어 있는 출력 인터페이스 모듈을 포함하며,
    상기 처리 모듈은 상기 제1 음원에 대한 제1 위치 및 상기 제2 음원에 대한 제2 위치를 설정하고, 상기 제1 위치에 의해 결정되는 제1 공간전달함수 및 상기 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하며, 상기 제1 음원에 상기 제1 공간전달함수를 적용하고 상기 제2 음원에 상기 제2 공간전달함수를 적용하여 상기 음향 신호를 생성하도록 되어 있으며,
    상기 제1 위치와 상기 제2 위치가 서로 다르면 상기 제1 공간전달함수와 상기 제2 공간전달함수가 서로 다르게 설정되는,
    음향 처리 칩.
16. 음향을 처리하도록 되어 있는 컴퓨터 장치를,
    제1 음원에 대한 제1 위치 및 제2 음원에 대한 제2 위치를 설정하는 위치 설정수단;
    상기 제1 위치에 의해 결정되는 제1 공간전달함수 및 상기 제2 위치에 의해 결정되는 제2 공간전달함수를 설정하는 공간전달함수 설정수단; 및
    상기 제1 음원에 상기 제1 공간전달함수를 적용하여 제1 음향을 출력하고, 상기 제2 음원에 상기 제2 공간전달함수를 적용하여 제2 음향을 출력하는 음향 출력수단으로서 기능시키며,
    상기 제1 위치와 상기 제2 위치가 서로 다르면 상기 제1 공간전달함수와 상기 제2 공간전달함수가 서로 다르게 설정되도록 기능시키기 위한 음향 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
    
    

Images