KR101505099B1 - 3차원 음향 제공 시스템 - Google Patents

Abstract

본 발명은 3차원 음향 제공 시스템에 관한 것으로, 특히 시청자 위치추적에 기반하는 3차원 음향 제공 시스템에 관한 것으로, 입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하기 위한 카메라부와; 상기 카메라부에서 출력되는 전기적 신호를 표시 가능한 영상신호로 처리하기 위한 이미지 신호 처리부와; 상기 영상신호로부터 시청자가 위치하는 위치좌표정보를 추출하기 위한 시청자 위치좌표정보 추출부와; 상기 시청자 위치좌표정보 추출부로부터 획득된 시청자의 위치좌표정보를 입체 음향정보와 함께 전송하기 위한 정보 전송부와; 상기 정보 전송부로부터 전송되는 시청자의 위치좌표정보와 입체 음향정보를 수신하기 위한 정보 수신부와; 상기 시청자의 위치좌표정보와 상기 입체 음향정보를 분리하기 위한 정보 분리부와; 분리된 상기 시청자의 위치좌표정보에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리부;를 포함함을 특징으로 한다.

Description

3차원 음향 제공 시스템{SYSTEM FOR SUPPLY 3-DIMENSION SOUND}

본 발명은 3차원 음향 제공 시스템에 관한 것으로, 특히 시청자 위치추적에 기반하는 3차원 음향 제공 시스템에 관한 것이다.

최근 멀티미디어 기술의 발달, 특히 음향 기술의 급격한 발달과 더불어 고품질 오디오에 대한 요구와 함께 보다 현실감 있는 오디오를 재생하기 위한 실감 오디오 기술 개발이 요구되고 있다. 이러한 요구를 만족시키기 위해 사용자의 가상현실 증강 및 실감나는 오디오 효과를 제공해 줄 수 있는 3차원 오디오에 대한 연구가 활발히 진행되고 있다. 3차원 오디오 기술은 개발자가 일반 음향에 특정 가상 공간정보를 담아 사용자가 위치에 있지 않은 가상의 환경에 대한 방향감과 거리감을 느낄 수 있도록 하는 기술이다.

3차원 오디오 기술은 크게 머리전달함수나 초기 반사음 등을 이용하여 음원이 실제 위치해 있지 않은 곳에 음상(sound image)을 정위시키는 음상정위(sound image localization) 기술, 공간감을 주기 위한 입체음장(virtual sound field) 기술, 라우드스피커(loudspeaker)에서 3차원 오디오 재생을 위한 가상 채널 확장 기술, 헤드폰 재생환경에 대해 음상을 머리 밖으로 맺히게 하는 음상 외재화(externalization) 기술, 그리고 라우드스피커에서의 좌우 채널에 의해 나타나는 상호 간섭을 제거하는 기술 등으로 나눌 수 있다. 이중에서도 음상 외재화 기술은 휴대단말 장치들을 이용하여 영상 및 음향을 포함하는 멀티미디어 소스를 시청하는 이용자가 증가하고 있는 추세에 있기 때문에 그 중요성이 더욱더 부각되고 있다.

참고적으로 음상 외재화 기술은 음상이 머리 외부에 맺히도록 하여 휴대단말 장치 사용자들이 이어폰이나 헤드폰을 통해서도 마치 영상이 재생되는 단말장치와 동일한 위치에 놓인 스피커를 통해 오디오를 듣는 것과 같은 효과를 만들어 낼 수 있다.

이상 언급한 3차원 오디오 기술을 구현함에 있어, 특히 영상과 연동하여 제공될 필요가 있는 3차원 오디오 시스템을 구현하기 위해서는 입체 음향 효과를 극대화하기 위해 무엇보다도 시청자의 위치 정보가 반영되어야 한다. 이는 곧 영상과 입체 음향이 제공되는 공간내에서 시청자가 이동하는 경우 상대적으로 음향에 대한 입체감이 소실되므로 입체 음향 제공효과가 반감되기 때문이다.

이에 본 발명의 목적은 영상과 연동하여 입체 음향이 제공되는 환경에서 시청자의 위치를 추적하여 최적의 입체 음향을 제공할 수 있는 3차원 음향 제공 시스템을 제공함에 있으며,

더 나아가 본 발명의 또 다른 목적은 영상과 연동하여 제공되는 입체 음향을 헤드폰 혹은 이어폰과 같은 휴대용 오디오 출력기기로 청취하는 시청자들에게 마치 영상이 재생되는 단말장치와 동일한 위치에 놓인 스피커를 통해 입체 음향을 듣는 것과 같은 효과를 제공해 줄 수 있는 음상 외재화 3차원 음향 제공 시스템을 제공함에 있다.

상술한 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 3차원 음향 제공 시스템은,

입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하여 그 시청자가 위치하는 시청자 위치좌표정보를 입체 음향정보와 함께 전송하기 위한 시청자 위치 추적기와;

상기 시청자 위치좌표정보에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리기기;를 포함함을 특징으로 한다.

더 나아가 본 발명의 또 다른 실시예에 따른 3차원 음향 제공 시스템은,

입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하기 위한 카메라부와;

상기 카메라부에서 출력되는 전기적 신호를 표시 가능한 영상신호로 처리하기 위한 이미지 신호 처리부와;

상기 영상신호로부터 시청자가 위치하는 위치좌표정보를 추출하기 위한 시청자 위치좌표정보 추출부와;

상기 위치좌표정보 추출부로부터 획득된 시청자의 위치좌표정보를 입체 음향정보와 함께 전송하기 위한 정보 전송부와;

상기 정보 전송부로부터 전송되는 시청자의 위치좌표정보와 입체 음향정보를 수신하기 위한 정보 수신부와;

상기 시청자의 위치좌표정보와 상기 입체 음향정보를 분리하기 위한 정보 분리부와;

분리된 상기 시청자의 위치좌표정보에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리부;를 포함함을 특징으로 하며,

이러한 3차원 음향 제공 시스템에서 상기 위치좌표정보 추출부는,

상기 영상신호를 각각의 고유한 (x,y) 좌표값을 가지는 다수의 격자구조형태의 블럭들로 분할하고, 분할된 각각의 블럭 영상에서 에지 추출을 통해 시청자가 위치하는 블럭의 좌표값을 시청자 위치좌표정보로 추출함을 특징으로 한다.

더 나아가 상술한 3차원 음향 제공 시스템의 상기 정보 전송부는 시청자의 위치좌표정보 변경시에만 시청자의 위치좌표정보를 입체 음향정보와 함께 전송하거나 시청자의 위치좌표정보만을 주기적으로 전송함을 특징으로 한다.

또한 상기 정보 수신부와 상기 정보 분리부 및 상기 3차원 음향 처리부는 음상 외재화 3D 헤드폰내에 실장됨을 특징으로 한다.

본 발명의 또 다른 실시예에 따른 음상 외재화 3차원 음향 제공 시스템은 입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하여 그 시청자가 위치하는 시청자 위치좌표정보를 입체 음향정보와 함께 전송하는 시청자 위치 추적기와 무선 연결 가능한 시스템으로,

상기 시청자 위치 추적기로부터 전송되는 시청자의 위치좌표정보와 입체 음향정보를 수신하기 위한 정보 수신부와;

상기 시청자의 위치좌표정보와 상기 입체 음향정보를 분리하기 위한 정보 분리부와;

분리된 상기 시청자의 위치좌표정보에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리부;를 포함함을 특징으로 한다. 이러한 음상 외재화 3차원 음향 제공 시스템은 음상 외재화 3D 헤드폰임을 특징으로 한다.

상술한 바와 같은 본 발명의 실시예에 따르면, 영상과 연동하여 입체 음향이 제공되는 환경에서 시청자의 위치를 추적하여 그 시청자 위치에 맞게 3차원 입체음향 사운드를 제공하기 때문에, 시청자는 위치에 상관 없이 최적의 3D 입체 음향을 제공받을 수 있는 효과가 있다.

더 나아가 본 발명의 또 다른 실시예에 따르면, 영상과 연동하여 제공되는 입체 음향을 헤드폰 혹은 이어폰과 같은 3D 휴대용 오디오 출력기기로 청취함에 있어, 시청자 위치를 추적하여 그 시청자 위치에 맞게 3차원 입체 음향 사운드를 제공하기 때문에, 시청자는 마치 영상이 재생되는 단말장치와 동일한 위치에 놓인 스피커를 통해 입체 음향을 듣는 것과 같은 효과를 제공받을 수 있다.

도 1은 본 발명의 실시예에 3차원 음향 제공 시스템이 운영되는 환경을 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 3차원 음향 제공 시스템의 블럭 구성도.
도 3은 도 2에 도시한 3차원 음향 제공 시스템의 상세 블럭 구성도.
도 4는 본 발명의 실시예에 따른 시스템에서 시청자의 위치좌표를 추출하는 과정을 설명하기 위한 도면.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

우선 도 1은 본 발명의 실시예에 3차원 음향 제공 시스템이 운영되는 환경을 설명하기 위한 도면을 도시한 것이다.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 3차원 음향 제공 시스템은 일예로 영상과 연동되는 입체 음향이 제공되는 공간(S)내에 설치되어 운영 가능한 시스템으로서, 크게 입체 음향이 제공이 제공되는 공간(S)내에 위치한 시청자(50)를 촬상하여 그 시청자(50)가 위치하는 시청자 위치좌표정보(x,y)를 입체 음향정보와 함께 전송하기 위한 시청자 위치 추적기(100)와, 상기 시청자 위치좌표정보(x,y)에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리기기(200)를 포함하여 구성된다.

시청자 위치 추적기(100)는 영상을 제공하는 영상 플레이어(300)로부터 영상과 연동되는 입체 음향정보를 제공받아 유선 혹은 무선으로 상기 3차원 음향처리기기(200)로 전송한다. 아울러 시청자 위치 추적기(100)는 적어도 시청자의 위치를 추출하기 위해 카메라를 구비하고, 카메라에서 얻어진 영상정보로부터 시청자의 위치좌표정보를 추출하여 이를 상기 입체 음향정보와 함께 3차원 음향처리기기(200)로 전송한다. 3차원 음향처리기기(200)는 음상 외재화 3D 헤드폰으로 구현 가능하며, 3차원 입체 음향 출력 시스템(예를 들면 돌비 애트모스 시스템)으로도 구현 가능하다.

도 2는 도 1에서 설명한 3차원 음향 제공 시스템의 블럭도를 간략 도시한 것이며, 도 3은 도 2에 도시한 3차원 음향 제공 시스템의 상세 블럭 구성도를 도시한 것이다. 도 2에 대한 설명은 도 1과 중복되므로 이하 생략하기로 한다.

도 3을 참조하면, 우선 시청자 위치 추적기(100)는 일실시예로서 도 3에 도시한 바와 같이 입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하기 위한 카메라부(110)와, 상기 카메라부(110)에서 출력되는 전기적 신호를 표시 가능한 영상신호로 처리하기 위한 이미지 신호 처리부(120)와, 상기 영상신호로부터 시청자가 위치하는 위치좌표정보를 추출하기 위한 시청자 위치좌표정보 추출부(130)와, 상기 시청자 위치좌표정보 추출부(130)로부터 획득된 시청자의 위치좌표정보(x,y)를 입체 음향정보와 함께 전송하기 위한 정보 전송부(140)를 포함하여 구성할 수 있다.

상술한 시청자 위치 추적기(100) 구성중 시청자 위치좌표정보 추출부(130)는 이미지 신호 처리부(120)에서 출력되는 영상신호를 각각의 고유한 (x,y) 좌표값을 가지는 다수의 격자구조형태의 블럭들로 분할하고, 분할된 각각의 블럭 영상에서 에지 추출을 통해 시청자가 위치하는 블럭의 좌표값을 시청자 위치좌표정보(x,y)로 추출한다. 영상신호의 분할 간격의 크기는 설치 공간 및 해상도, 정밀도 등을 고려하여 변동 가능하다. 세밀하게 분할한다면 그 만큼 영상좌표의 갯수는 증가할 것이고 상대적으로 시청자 위치추적의 정밀도는 높아질 것이다.

본 실시예에서는 각 블럭에서 에지 추출을 통해 시청자를 식별하는 것으로 예시하였지만, 프레임간의 영상비교를 통해 이동물체를 시청자로 간주하여 식별하는 방법을 채택할 수도 있으며, 3차원 음향처리기기(200)를 음상 외재화 3D 헤드폰으로 구현한 경우, 각 헤드폰에 식별컬러를 입혀 해당 컬러를 인식하는 방법으로 각 블럭내에서 시청자의 위치를 식별하는 방법을 채택할 수도 있을 것이다. 만약 음상 외재화 3D 헤드폰의 일부에 고유 식별컬러를 입히는 방식으로 시청자마다 서로 다른 식별컬러가 입혀진 헤드폰을 착용하고 이동한다면, 영상신호에서 특정 컬러를 인식하는 방법으로 시청자별 위치를 구분할 수 있기 때문에 각 시청자별 위치에 맞는 입체 음향정보를 제공해 줄 수 있을 것이다.

부가적으로 상기 정보 전송부(140)는 시청자의 위치좌표정보(x,y) 변경시에만 시청자의 위치좌표정보를 입체 음향정보와 함께 전송하거나 시청자의 위치좌표정보만을 주기적으로 전송함으로서, 전송되는 정보 사이즈를 축소할 수도 있다. 물론 정보 전송부(140)는 시청자의 위치좌표정보와 입체 음향정보를 하나의 패킷으로 구성하여 전송할 수도 있으며, 분리하여 각각 전송할 수도 있고, 입체 음향정보만을 압축 전송할 수도 있을 것이다. 이는 시스템 구현방식과 무선환경에 따라 선택적으로 가변 구현 가능하다.

한편 상술한 구성의 시청자 위치 추적기(100)와 무선 연결 가능한 3차원 음향 처리기기(300)는 도 3에 도시한 바와 같이 상기 정보 전송부(140)로부터 전송되는 시청자의 위치좌표정보(x,y)와 입체 음향정보를 수신하기 위한 정보 수신부(210)와, 상기 시청자의 위치좌표정보(x,y)와 상기 입체 음향정보를 분리하기 위한 정보 분리부(220) 및 분리된 상기 시청자의 위치좌표정보(x,y)에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리부(230) 및 스피커(240)를 포함한다. 이러한 3차원 음향 처리기기(300)는 앞서 설명한 바와 같이 음상 외재화 3D 헤드폰으로 구현될 수도 있으며, 돌비 애트모스 시스템과 같은 3차원 입체 음향 출력 시스템으로도 구현 가능하다.

이하 시청자의 위치좌표를 추출하는 방식을 설명하기 위한 도 4를 참조하여 본 발명의 동작을 부연 설명하기로 한다.

우선 도 4에 도시한 바와 같이 영상과 연동되는 입체 음향이 제공되는 공간(S)내에 설치된 시청자 위치 추적기(100)의 카메라부(110)는 입체 음향이 제공되는 공간내(S)에 위치한 시청자를 촬상한다. 이에 카메라부(110)에서 출력되는 전기적인 촬상신호는 이미지 신호 처리부(120)에서 신호처리과정을 통해 프레임 단위의 표시 가능한 영상신호로 변환된다. 이에 시청자 위치좌표정보 추출부(130)는 도 4에 도시한 바와 같이 영상신호를 각각의 고유한 (x,y) 좌표값을 가지는 다수의 격자구조형태의 블럭들로 분할하고, 분할된 각각의 블럭 영상에서 에지(edge) 추출을 통해 시청자가 위치하는 블럭의 좌표값 (x1, y2)을 시청자 위치좌표정보로 추출한다. 추출된 시청자 위치좌표정보 (x1, y2)는 정보 전송부(140)로 전달됨으로써, 정보 전송부(140)는 실시간 입력되는 입체 음향정보와 상기 시청자 위치좌표정보 (x1, y2)를 패킷화하여 무선 전송한다.

이에 3차원 음향처리기기(200)의 정보 수신부(210)는 상기 정보 전송부(140)로부터 전송되는 시청자의 위치좌표정보 (x1, y2)와 입체 음향정보를 수신하여 정보 분리부(220)로 전달하고, 정보 분리부(220)에서는 상기 시청자의 위치좌표정보 (x1, y2)와 상기 입체 음향정보를 분리하여 3차원 음향처리부(230)로 전달함으로써, 3차원 음향처리부(230)는 분리된 상기 시청자의 위치좌표정보 (x1, y2)에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공한다.

이로써, 시청자는 설령 공간내에서 이동하더라도 자신의 위치에 맞게 가변된 3차원 입체음향 사운드를 제공받기 때문에, 최적의 3D 입체 음향을 제공받을 수 있게 되는 것이다.

만약 상술한 3차원 음향처리기기(200)가 음상 외재화 3D 헤드폰이라면, 그 헤드폰을 착용한 시청자 위치에 맞게 3차원 입체 음향 사운드가 제공되기 때문에, 시청자는 마치 영상이 재생되는 단말장치와 동일한 위치에 놓인 스피커를 통해 입체 음향을 듣는 것과 같은 효과를 누릴 수 있게 되는 것이다.

이상 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (6)

1. 입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하기 위한 카메라부와;
   상기 카메라부에서 출력되는 전기적 신호를 표시 가능한 영상신호로 처리하기 위한 이미지 신호 처리부와;
   상기 영상신호로부터 시청자가 위치하는 위치좌표정보를 추출하기 위한 시청자 위치좌표정보 추출부와;
   영상을 제공하는 영상 플레이어로부터 영상과 연동되는 입체 음향정보를 제공받아 상기 시청자 위치좌표정보 추출부로부터 획득된 시청자의 위치좌표정보와 함께 무선 전송하기 위한 정보 전송부와;
   상기 정보 전송부로부터 전송되는 시청자의 위치좌표정보와 입체 음향정보를 무선 수신하기 위한 정보 수신부와;
   상기 시청자의 위치좌표정보와 상기 입체 음향정보를 분리하기 위한 정보 분리부와;
   분리된 상기 시청자의 위치좌표정보에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리부;를 포함함을 특징으로 하는 3차원 음향 제공 시스템.
2. 청구항 1에 있어서, 상기 시청자 위치좌표정보 추출부는,
   상기 영상신호를 각각의 고유한 (x,y) 좌표값을 가지는 다수의 격자구조형태의 블럭들로 분할하고, 분할된 각각의 블럭 영상에서 에지 추출을 통해 시청자가 위치하는 블럭의 좌표값을 시청자 위치좌표정보로 추출함을 특징으로 하는 3차원 음향 제공 시스템.
3. 청구항 1 또는 청구항 2에 있어서, 상기 정보 전송부는 시청자의 위치좌표정보 변경시에만 시청자의 위치좌표정보를 입체 음향정보와 함께 전송하거나 시청자의 위치좌표정보만을 주기적으로 전송함을 특징으로 하는 3차원 음향 제공 시스템.
4. 청구항 1 또는 청구항 2에 있어서, 상기 정보 수신부와 상기 정보 분리부 및 상기 3차원 음향 처리부는 음상 외재화 3D 헤드폰내에 실장됨을 특징으로 하는 3차원 음향 제공 시스템.
5. 입체 음향이 제공되는 공간내에 위치한 시청자를 촬상하여 그 시청자가 위치하는 시청자 위치좌표정보를 입체 음향정보와 함께 무선 전송하는 시청자 위치 추적기와 무선 연결 가능한 음상 외재화 3차원 음향 제공 시스템에 있어서,
   상기 시청자 위치 추적기로부터 전송되는 시청자의 위치좌표정보와 입체 음향정보를 무선 수신하기 위한 정보 수신부와;
   상기 시청자의 위치좌표정보와 상기 입체 음향정보를 분리하기 위한 정보 분리부와;
   분리된 상기 시청자의 위치좌표정보에 따라 상기 입체 음향정보를 가청음 형태로 출력하여 시청자에게 3차원 입체음향 사운드를 제공하기 위한 3차원 음향처리부;를 포함함을 특징으로 하는 음상 외재화 3차원 음향 제공 시스템.
6. 청구항 5에 있어서, 상기 정보 수신부와 상기 정보 분리부 및 상기 3차원 음향 처리부는 음상 외재화 3D 헤드폰내에 실장됨을 특징으로 하는 음상 외재화 3차원 음향 제공 시스템.
   

Images