KR20130044926A

KR20130044926A - 2차원 영상과 3차원 영상에 호환되는 음향 정보를 생성하는 음향 시스템, 음향 송신기, 음향 송신 방법, 및 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR20130044926A
Application number: KR1020110109286A
Authority: KR
Inventors: 박성욱; 정태윤
Original assignee: 강릉원주대학교산학협력단
Priority date: 2011-10-25
Filing date: 2011-10-25
Publication date: 2013-05-03
Also published as: KR101285982B1

Abstract

본 발명은 2차원 영상과 3차원 영상에 호환되는 음향 정보를 생성하는 음향 시스템, 음향 송신기, 음향 송신 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 본 발명의 일 태양에 따르면, 3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 파라미터 추출부, 2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 인코더, 및 상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 호환 스트림을 생성하는 패킷화 장치를 포함하는 음향 송신기, 상기 호환 스트림으로부터 상기 2차원 음향 정보를 추출하고, 추출된 2차원 음향 정보를 기초로 하여 2차원 음향을 재생하는 2차원 음향 재생기, 및 상기 호환 스트림에 포함된 상기 2차원 음향 정보와 상기 3차원 음향 파라미터를 기초로 하여 3차원 음향을 재생하는 3차원 음향 재생기를 구비하고, 상기 3차원 음향 파라미터는 상기 3차원 음향의 공간감 정보를 포함하는 음향 시스템이 제공된다. 본 발명에 의하면, 공간감 정보를 포함하는 3차원 음향 파라미터와 2차원 음향 정보를 결합하여 전송함으로써, 대역폭을 최소화 하면서 2차원 영상과 3차원 영상에 호환 가능한 음향 정보를 생성할 수 있는 효과가 달성된다.

Description

2차원 영상과 3차원 영상에 호환되는 음향 정보를 생성하는 음향 시스템, 음향 송신기, 음향 송신 방법, 및 컴퓨터 판독 가능한 기록 매체{SOUND SYSTEM, SOUND TRANSMITTER, TRANSMITTING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM FOR CREATING SOUND INFORMATION COMPATIBLE WITH BOTH 2D PICTURE AND 3D PICTURE}

본 발명은 음향 시스템, 음향 송신기, 음향 송신 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로서, 보다 상세하게는, 대역폭을 최소화 하면서 2차원 영상과 3차원 영상에 호환 가능한 음향 정보를 생성하는 음향 시스템, 음향 송신기, 음향 송신 방법, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

음향 및 영상과 관련된 기술은 많은 발전을 하여 일반 사용자들이 가정에서 현실감 있는 음향과 화면을 시청하는 것이 가능하게 되었다. TV의 경우 과거 아날로그 방식의 TV보다 고화질을 제공하는 디지털 TV로 발전하였고, 최근에는 보다 현장감을 실감나게 전달하기 위하여 3차원 영상을 보여 주는 3D TV가 등장하였다.

현재 3D TV는 보급의 초기단계이므로 가정에서는 3D TV보다는 2D TV를 더 많이 보유하고 있다. 3차원 산업의 활성화를 위해서는 3차원 컨텐츠가 시장에 풍부하게 공급되는 것이 바람직한데, 이를 위해서 송출된 하나의 컨텐츠가 3D TV 뿐만 아니라 기존의 2D TV에서도 시청될 수 있도록 하는 것이 필요하다.

하나의 3차원 컨텐츠가 3D TV와 2D TV에서 모두 시청 가능하게 하는, 즉 2D TV에서의 호환성을 가지게 하는 방법으로 3차원 영상을 저장하고 전송할 때는, 좌측 눈을 위한 영상과 우측 눈을 위한 영상을 따로 저장 혹은 전송하였다가 2D TV에서는 좌측 혹은 우측 영상 하나만을 재생하고, 3D TV에서는 좌측과 우측 영상을 모두 재생하는 기법을 사용한다(예를 들어, Blu-ray Association, White Paper Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM Version 2.4, April 2010 [online] Available at http://www.blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_100423-17830.pdf). 하지만 이 연구들은 모두 영상의 호환성은 고려하고 있지만, 음향의 호환성에 대해서는 고려하고 있지 않은 문제가 있다.

본 발명은 상술한 문제점을 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 대역폭을 최소화 하면서 2차원 영상과 3차원 영상에 호환 가능한 음향 정보를 생성하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 파라미터 추출부, 2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 인코더, 및 상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 호환 스트림을 생성하는 패킷화 장치를 포함하는 음향 송신기, 상기 호환 스트림으로부터 상기 2차원 음향 정보를 추출하고, 추출된 2차원 음향 정보를 기초로 하여 2차원 음향을 재생하는 2차원 음향 재생기, 및 상기 호환 스트림에 포함된 상기 2차원 음향 정보와 상기 3차원 음향 파라미터를 기초로 하여 3차원 음향을 재생하는 3차원 음향 재생기를 구비하고, 상기 3차원 음향 파라미터는 상기 3차원 음향의 공간감 정보를 포함하는 음향 시스템이 제공된다.

본 발명의 다른 태양에 따르면, 3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 파라미터 추출부, 2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 인코더, 및 상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 호환 스트림을 생성하는 패킷화 장치를 구비하고, 상기 3차원 음향 파라미터는 상기 3차원 음향의 공간감 정보를 포함하는 음향 송신기가 제공된다.

본 발명의 또 다른 태양에 따르면, 2차원 음향 정보가 인코딩 된 2차원 음향 정보 스트림, 및 3차원 음향 파라미터를 결합한 호환 스트림으로부터, 상기 3차원 음향 파라미터와 상기 2차원 음향 정보 스트림을 추출하는 역 패킷화 장치, 상기 2차원 음향 정보 스트림을 디코딩하여 상기 2차원 음향 정보를 출력하는 디코더, 및 상기 3차원 음향 파라미터와 상기 2차원 음향 정보를 기초로 하여 3차원 음향을 생성하는 3차원 음향 생성부를 구비하고, 상기 3차원 음향 파라미터는, 상기 3차원 음향의 공간감 정보를 포함하는 음향 재생기가 제공된다.

본 발명의 또 다른 태양에 따르면, (a) 3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 단계, (b) 2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 단계, (c) 상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 상기 호환 스트림을 생성하는 단계, 및 (d) 상기 호환 스트림을 전송하는 단계를 포함하고, 상기 3차원 음향 파라미터는 상기 3차원 음향의 공간감 정보를 포함하는 음향 송신 방법이 제공된다.

본 발명에 의하면, 공간감 정보를 포함하는 3차원 음향 파라미터와 2차원 음향 정보를 결합하여 전송함으로써, 대역폭을 최소화 하면서 2차원 영상과 3차원 영상에 호환 가능한 음향 정보를 생성할 수 있는 효과가 달성된다.

도 1은 본 발명의 일 실시예에 따른 음향 시스템을 개략적으로 나타내는 블록도이다.
도 2는 도 1의 음향 시스템(100)을 상세하게 나타내는 블록도이다.
도 3은 도 1과 도 2의 호환 스트림(CS)을 나타내는 도면이다.
도 4는 영상이 촬영된 공간의 성질과 음향의 공간감 사이의 관계를 확인하기 위한 실험 결과 그래프이다.
도 5는 도 4의 실험을 위한 영상이 촬영된 공간들을 나타낸다.
도 6(a)는 깊이 정보(depth map)를 이용해 공간에 대한 정보를 얻는 과정을 설명하기 위한 도면이다.
도 6(b)는 색상 정보를 이용해 공간에 대한 정보를 얻는 과정을 설명하기 위한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일 또는 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 명세서에서, 2차원 음향은 2차원 영상에 결합하여 재생되는 것이 바람직한 음향을 의미하고, 3차원 음향은 3차원 영상에 결합하여 재생되는 것이 바람직한 음향을 의미한다.

도 1은 본 발명의 일 실시예에 따른 음향 시스템을 개략적으로 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 음향 시스템(100)은 음향 송신기(110), 2차원 음향 재생기(150), 및 3차원 음향 재생기(160)를 구비할 수 있다.

도 1에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.

음향 송신기(110)는 3차원 영상 정보(PI3)와 2차원 음향 정보(SI2)를 기초로 하여 호환 스트림(CS)을 생성할 수 있다. 2차원 음향 정보(SI2)는 2차원 영상 정보에 대응되는 음향 정보일 수 있고, 3차원 영상 정보(PI) 및 2차원 영상 정보는 동일한 대상에 대하여 별개로 생성된 영상 정보일 수 있다.

호환 스트림(CS)은 3차원 음향의 공간감 정보 및 2차원 음향을 재생할 수 있는 정보를 포함할 수 있다. 호환 스트림(CS)은 2차원 음향을 재생하는 데도 이용될 수 있을 뿐만 아니라 3차원 음향을 재생하는 데도 이용될 수 있다. 이에 대해서는 추후에 상세히 설명하기로 한다.

2차원 음향 재생기(150)는 호환 스트림(CS)을 기초로 하여 2차원 음향을 재생할 수 있고, 3차원 음향 재생기(160)는 호환 스트림(CS)을 기초로 하여 3차원 음향을 재생할 수 있다. 2차원 음향 재생기(150)는 호환 스트림(CS)에 포함된 3차원 음향의 공간감 정보를 제거하고 호환 스트림(CS)의 나머지 부분(2차원 음향을 재생할 수 있는 정보)을 기초로 하여 2차원 음향을 재생할 수 있다. 3차원 음향 재생기(160)는 호환 스트림(CS)에 포함된 3차원 음향의 공간감 정보를 이용하여, 2차원 음향보다 공간감이 향상된 3차원 음향을 생성하여 재생할 수 있다. 한편, 3차원 음향이 2차원 음향보다 공간감을 더 필요로 한다는 사실은 추후 설명된다.

이와 같이, 본 발명의 일 실시예에 따른 음향 시스템(100)은 3차원 음향의 공간감 정보와 2차원 음향을 재생할 수 있는 정보를 결합하여 호환 스트림(CS)을 생성하고, 호환 스트림(CS)을 이용하여 2차원 음향과 3차원 음향을 모두 재생할 수 있다. 그럼으로써, 2차원 영상-음향 재생기(예를 들어, 2D TV)와 3차원 영상-음향 재생기(예를 들어, 3D TV)에 대한 음향 호환성을 확보할 수 있다.

도 2는 도 1의 음향 시스템(100)을 상세하게 나타내는 블록도이다.

도 3은 도 1과 도 2의 호환 스트림(CS)을 나타내는 도면이다.

도 2를 참조하면, 음향 송신기(110)는 파라미터 추출부(111), 인코더(112), 및 패킷화 장치(114)를 구비할 수 있다. 2차원 음향 재생기(150)는 역 패킷화 장치(154), 디코더(152), 및 2차원 음향 생성부(156)를 구비할 수 있다. 3차원 음향 재생기(160)는 역 패킷화 장치(164), 디코더(162), 및 3차원 음향 생성부(166)를 구비할 수 있다.

도 2에 나타낸 블록들 각각의 기능을 설명하면 다음과 같다.

파라미터 추출부(111)는 3차원 영상 정보(PI3)를 수신하고, 수신된 3차원 영상 정보(PI3)로부터 3차원 음향 파라미터(SP3)를 추출할 수 있다. 3차원 음향 파라미터(SP3)는 3차원 음향의 공간감 정보 등을 포함할 수 있다.

인코더(112)는 2차원 음향 정보(SI2)를 인코딩 하여 2차원 음향 정보 스트림(SIS2)을 생성할 수 있다. 2차원 음향 정보 스트림(SIS2)은 2차원 음향 정보(SI2)를 담고 있으며 채널(CH)을 통하여 전송될 수 있는 형태를 가질 수 있다.

패킷화 장치(114)는 2차원 음향 정보 스트림(SIS2)과 3차원 음향 파라미터(SP3)를 결합하여 호환 스트림(CS)을 생성할 수 있다. 도 3에는 상기와 같은 과정을 거쳐서 생성된 호환 스트림(CS)의 구성이 도시된다. 도 3에는 2차원 음향 정보 스트림(SIS2)과 3차원 음향 파라미터(SP3) 순서로 결합되어 있는 것으로 도시되었으나, 이는 단순한 예시일 뿐이고 결합 순서는 바뀔 수 있다. 또한, 도 3에는 2차원 음향 정보 스트림(SIS2)과 3차원 음향 파라미터(SP3)만이 도시되어 있으나, 경우에 따라 다른 기능에 필요한 정보들이 추가될 수도 있을 것이다. 한편, 2차원 음향 정보 스트림(SIS2)과 3차원 음향 파라미터(SP3)의 크기는 다양하게 설정될 수 있을 것이다. 예를 들어, 음향 시스템(100)에 할당된 대역폭에 따라 2차원 음향 정보 스트림(SIS2)과 3차원 음향 파라미터(SP3)의 크기가 달라질 수 있을 것이고, 채널(CH)이 전송할 수 있는 최대 대역폭에 따라 달라질 수도 있을 것이다.

2차원 음향 재생기(150)의 역 패킷화 장치(154)는 호환 스트림(CS)으로부터 2차원 음향 정보 스트림(SIS2)을 추출할 수 있다. 구체적으로, 2차원 음향 재생을 위해서는 3차원 음향 파라미터(SP3)가 필수적인 것이 아닌 바, 역 패킷화 장치(154)는 호환 스트림(CS)으로부터 3차원 음향 파라미터(SP3)를 제거하고, 2차원 음향 재생에 필요한 2차원 음향 정보 스트림(SIS2)을 추출할 수 있다.

디코더(152)는 2차원 음향 정보 스트림(SIS2)을 디코딩하여 2차원 음향 정보(SI2)를 출력할 수 있다. (앞서 설명된 것처럼) 2차원 음향 정보 스트림(SIS2)은 채널(CH)을 통하여 전송될 수 있는 형태로 변환된 것인바, 디코더(152)는 2차원 음향 정보 스트림(SIS2)를 변환되기 이전으로 환원시켜서 2차원 음향 정보(SI2)를 출력할 수 있다.

2차원 음향 생성부(156)는 2차원 음향 정보(SI2)를 기초로 하여 2차원 음향을 생성할 수 있다.

3차원 음향 재생기(160)의 역 패킷화 장치(164)는 호환 스트림(CS)으로부터 3차원 음향 파라미터(SP3)와 2차원 음향 정보 스트림(SIS2)을 추출할 수 있다. 즉, 음향 송신기(110)의 패킷화 장치(114)가 2차원 음향 정보 스트림(SIS2)과 3차원 음향 파라미터(SP3)를 결합하기 이전 상태로 만들 수 있다.

디코더(162)는 2차원 음향 정보 스트림(SIS2)을 디코딩하여 2차원 음향 정보(SI2)를 출력할 수 있다. 구체적으로, 디코더(162)는 2차원 음향 정보 스트림(SIS2)를 변환되기 이전으로 환원시켜서 2차원 음향 정보(SI2)를 출력할 수 있다.

3차원 음향 생성부(166)는 3차원 음향 파라미터(SP3)와 2차원 음향 정보(SI2)를 기초로 하여 3차원 음향을 생성할 수 있다.

3차원 음향 파라미터(SP3)에 포함되는 공간감 정보는 잔향 정보(RI)일 수 있다. 음향 송신기(110)가 잔향의 크기에 대응되는 잔향 정보(RI)를 전송한 다음, 3차원 음향 재생기(160)가 3차원 음향을 생성할 때 잔향 정보(RI)를 이용함으로써, 3차원 음향의 공간감을 표현할 수 있다. 한편, 2차원 음향 재생기(150)가 2차원 음향을 생성할 때는 잔향 정보(RI)를 이용하지 않음으로써, 음향 호환성을 확보할 수 있다. 구체적으로, 음향 송신기(110)가 잔향 정보(RI)를 전송하면, 2차원 음향 재생기(150)는 잔향 정보(RI)를 제거하여 2차원 음향을 재생하고 3차원 음향 재생기(160)는 잔향 정보(RI)를 이용하여 3차원 음향을 재생할 수 있다.

3차원 음향 생성부(166)는 잔향 필터(미도시)를 구비할 수 있다. 잔향 필터는 잔향 정보(RI) 및 2차원 음향 정보(SI2)를 기초로 하여, 3차원 음향을 생성할 수 있다. 예를 들어, 잔향 필터는 복수의 장소에서 수집된 잔향 정보를 기초로 각각 생성된 복수의 잔향 전달함수들 중에서 하나를 2차원 음향 정보(SI2) 및 잔향 정보(RI)와 컨벌루젼(convolution)함으로써, 3차원 음향을 생성할 수 있다.

파라미터 추출부(111)는 3차원 영상 정보(PI3)로부터 잔향 정보(RI)만을 추출하고, 패킷화 장치(114)는 잔향 정보(RI)만을 2차원 음향 스트림(SIS2)과 결합하여 호환 스트림(CS)을 생성할 수 있다. 이 경우, 3차원 음향 재생기(160)는 잔향 정보(RI)를 이용하여 음향의 공간감을 재현할 수 있으므로, 공간감을 살려서 3차원 음향을 재생하는 데는 문제가 없다. 이처럼, 2차원 음향 스트림(SIS2)에 잔향 정보(RI)만을 결합하여 전송함으로써, 대역폭을 최소화 하면서 2차원 영상과 3차원 영상에 호환 가능한 음향 정보를 생성할 수 있는 장점이 있다.

본 발명의 다른 실시예에 따르면, 파라미터 추출부(111)는 3차원 영상 정보(PI3)가 표현하는 영상이 촬영된 공간이 열린 공간(실외)인지 닫힌 공간(실내)인지 여부, 및 3차원 영상 정보(PI3)가 표현하는 영상이 촬영된 공간의 크기를 기초로 하여, 잔향 정보(RI)의 크기를 결정할 수 있다.

예를 들어, 3차원 영상 정보(PI3)가 표현하는 영상이 촬영된 공간이 닫힌 공간일수록 잔향 정보(RI)의 크기를 크게 하고, 3차원 영상 정보(PI3)가 표현하는 영상이 촬영된 공간이 열린 공간일수록 잔향 정보(RI)의 크기를 작게 할 수 있다. 또한, 공간이 좁을수록 잔향 정보(RI)의 크기를 크게 하고 공간이 넓을수록 잔향 정보(RI)의 크기를 작게 할 수 있다. 또한, 공간이 실내/실외 인가에 대한 정보 및 공간의 크기 정보를 결합하여, 잔향 정보(RI)의 크기를 조절할 수 있다. 예를 들어, 공간의 크기가 작고 실내이면 잔향 정보(RI)의 크기를 크게 할 수 있고, 공간의 크기가 크고 실외이면 잔향 정보(RI)의 크기를 작게 할 수 있다. 또한, 공간의 크기가 작고 실외인 경우 또는 공간의 크기가 크고 실내인 경우에는 잔향 정보(RI)의 크기를 중간 정도로 할 수 있다. 다만, 잔향 정보(RI)는 공간이 닫혔는가 열렸는가 및 공간의 크기에만 의존하는 것은 아니고, 사람 또는 물체가 공간에 존재하는가 또는 사람 또는 물체가 공간의 어느 위치에 존재하는가에 따라 부수적으로 조절될 수 있다. 이하에서 도 4를 참조하여, 상기 내용을 부연하여 설명한다.

도 4는 영상이 촬영된 공간의 성질과 음향의 공간감 사이의 관계를 확인하기 위한 실험 결과 그래프이다.

도 5는 도 4의 실험을 위한 영상이 촬영된 공간들을 나타낸다.

도 4의 실험에서, 서로 다른 크기의 잔향을 가지는 복수개의 음향을 2차원 영상 및 3차원 영상과 함께 재생하여 실험 참가자에게 들려준 다음, 실험 참가자가 어떠한 음향이 2차원 또는 3차원 영상에 적합한지를 판단하게 하였다. 도 5를 참조하면, 상기 영상들은 열려 있으면서 넓은 공간(해변, 도 5(a)), 열려 있으면서 좁은 공간(캠퍼스, 도 5(b)), 닫혀 있으면서 넓은 공간(축구장, 도 5(c)), 및 닫혀 있으면서 좁은 공간(댄스실, 도 5(d))에서 각각 촬영된 영상들이다.

도 4의 가로축의 소리 1부터 소리 4까지는 잔향의 크기가 커지는 순서로 배열되었다. 구체적으로, 소리 1은 잔향에는 포함되지 않았고, 소리 2, 소리 3, 소리 4에는 -32.04dB, -26.02dB, -18.06dB의 잔향이 각각 포함되었다.

도 4(a)를 참조하면, 열려 있으면서 넓은 공간인 해변 영상의 경우, 잔향의 크기가 작은 소리에 대한 선호가 높았다. 2차원 영상의 경우에는 잔향의 크기가 작은 소리 1에 대한 선호가 많았다. 3차원 영상의 경우 소리 2와 소리 3에 대한 선호도가 높았는데 실험 후 인터뷰에 따르면 2차원 영상은 평면적이어서 잔향이 느껴지지 않는 소리가 어울렸지만 3차원 영상은 입체적이어서 잔향이 조금 있는 소리가 더 어울린다는 의견을 보였다. 도 4(b)를 참조하면, 열려 있으면서 좁은 공간인 캠퍼스 영상의 경우, 어느 정도 잔향이 있는 소리 2에 대한 선호가 높았다. 2차원 영상의 경우 소리2에 대한 선호가 뚜렷했지만, 3차원 영상의 경우 소리1, 2, 3에 대해 고른 선호를 보였다. 이는 열리고 좁은 공간이라는 상충되는 복합적인 정보가 전달되어 실험 참가자마다 중점적으로 선택한 정보가 달라지면서 나타난 현상으로 보인다. 도 4(c)를 참조하면, 크고 닫힌 공간인 축구장의 경우 2차원 영상에서는 소리3을 선호하였고 3차원 영상에서는 소리 4를 선호하였다. 축구장의 경우 닫히고 큰 공간이라는 상충되는 정보가 전달되기는 하지만 관중들의 함성 등의 영향을 받아서, 실험 참가자들이 공간감이 강화된 음향을 선호하였다고 해석할 수 있다. 도 4(d)를 참조하면, 작고 닫힌 공간인 댄스실의 경우 2차원 영상에서는 소리 1과 2에 대한 선호도가 높았으며, 3차원 영상에서는 선호도가 소리 1, 3, 4로 복합적으로 나타났다. 2차원 영상에서 보다 3차원 영상에서 소리 3, 4를 선호한 경우가 많다는 사실을 기초하여 추론해 볼 때 3차원 영상의 경우 강화된 공간 정보가 실험 참가자들에게 전달되었다고 볼 수 있다. 한편, 실험 후 인터뷰 결과에 따르면 3차원 영상에서 소리 1을 선호한 부류는 인물이 커서 가까운 느낌이 나는 잔향이 없는 소리를 선호했다고 응답한 반면, 소리 3, 4를 선호한 부류는 닫힌 공간이어서 잔향이 많은 소리를 선호했다는 응답을 하였다.

도 4로부터, 잔향 정보(RI)는 공간이 닫혔는가 열렸는가 및 공간의 크기에 따라 주로 결정될 수 있다는 점을 확인할 수 있다. 또한, 잔향 정보(RI)는 사람 또는 물체가 공간에 존재하는가 또는 사람 또는 물체가 공간의 어느 위치에 존재하는가에 따라 부수적으로 결정될 수 있다는 점도 확인할 수 있다.

본 발명의 또 다른 실시예에 따르면, 파라미터 추출부(111)는 3차원 영상 정보(PI3)가 표현하는 영상의 구도, 영상 내의 물체와 시청자 사이의 인지적 거리, 영상 내의 물체의 크기 중에 적어도 하나에 기초하여, 공간감 정보(예를 들어, 잔향 정보)의 크기를 결정하여 3차원 음향 파라미터(SP3)에 포함시킬 수 있다.

영상의 구도란 영상의 원근감을 나타내는 정보이다. 파라미터 추출부(110)는 영상의 구도를 이용하여, 해당 영상이 근거리 영상인지 원거리 영상인지를 판정할 수 있고, 그에 기초하여 해당 영상이 촬영된 공간의 크기를 추정할 수 있다. 예를 들어, 근거리 영상으로 판정한 경우 공간의 크기가 작다고 추정할 수 있고, 원거리 영상으로 판정한 경우 공간의 크기가 크다고 추정할 수 있다. 파라미터 추출부(110)는 추정된 공간의 크기에 따라 잔향 정보(RI)의 크기를 변경할 수 있다. 예를 들어, 원거리 영상으로 판정되어 공간의 크기가 크다고 추정되면 잔향 정보(RI)의 크기를 작게 할 수 있고, 근거리 영상으로 판정되어 공간의 크기가 작다고 추정되면 잔향 정보(RI)의 크기를 크게 할 수 있다. 영상이 촬영된 공간의 크기에 따라 잔향 정보(RI)의 크기를 결정하는 내용은, 앞서 설명된 바 있으므로 그에 대한 설명은 생략한다.

영상 내의 물체와 시청자 사이의 인지적 거리는, 시청자가 영상을 보고 영상의 물체가 시청자 자신과 얼만큼 떨어졌는지 느끼는 거리를 의미하는 바, 인지적 거리를 기초로 하여 잔향 정보(RI)의 크기를 결정할 수 있다. 또한, 영상 내의 물체의 크기가 크게 보이는가 작게 보이는가에 따라 잔향 정보(RI)의 크기를 결정할 수 있다. 예를 들어, 인지적 거리가 가깝다면 잔향 정보(RI)의 크기를 크게 하고 인지적 거리가 멀다면 잔향 정보(RI)의 크기를 작게 할 수 있다.

인지적 거리와 물체의 크기를 구하는 과정을 이하에서 설명하기로 한다. 예를 들어, 영상에 축구공이 보이면, 사람은 축구공의 크기를 대략 알고 있으므로, 영상에 나타난 축구공의 크기를 보고 그 공이 자신으로부터 얼마나 떨어져 있는지(인지적 거리) 예상할 수 있다. 또한, 영상에 복수개의 다른 물체가 나타나면 이들 사이의 상대적인 크기가 거리의 인식에 영향을 미친다. 예를 들어 축구공과 야구공이 같은 크기로 나란히 놓여 있다면, 사람들은 축구공이 야구공보다 멀리 있다고 생각한다. 이와 같이 구해지는 인지적 거리에 기초하여, 잔향 정보(RI)의 크기를 결정할 수 있다.

한편, 파라미터 추출부(111)는 3차원 영상 정보(PI)로부터 깊이 정보(depth map) 또는 색상 정보 중에 적어도 하나를 추출하고, 추출된 깊이 정보 또는 색상 정보 중에 적어도 하나에 기초하여, 영상의 구도와 영상이 실내에서 촬영되었는지 실외에서 촬영되었는지 여부를 판별할 수 있다.

도 6(a)는 깊이 정보(depth map)를 이용해 공간에 대한 정보를 얻는 과정을 설명하기 위한 도면이다.

도 6(a)의 깊이 정보에서는 거리가 가까우면 밝게 도시되었고 거리가 멀면 어둡게 도시되었다. 도 6(a)에서, 사람은 밝고 뒤에 있는 나무들은 중간 정도의 어둡기이므로, 사람과 나무가 어느 정도 떨어져 있다고 판정할 수 있고, 그에 따라, 공간의 크기가 중간 정도인 것으로 판정할 수 있다. 또한, 바닥의 경우 밝은 색에서 중간 정도의 어두운 색으로 점진적으로 변하는데(완전히 어두운 부분은 하늘을 의미함), 이는 바닥의 크기가 중간 크기의 공간을 차지한다고 판정할 수 있다.

도 6(b)는 색상 정보를 이용해 공간에 대한 정보를 얻는 과정을 설명하기 위한 도면이다.

색상 정보와 영상이 실내에서 촬영되었는지 실외에서 촬영되었는지 여부 사이의 관계에 대해서는, 예를 들어 도 6(b)의 영상에서 초록색 색상이 영상의 많은 부분을 차지하는 점을 이용하여 상기 공간이 실외 공간인 것으로 판정할 수 있다.

다시 도 2를 참조하면, 파라미터 추출부(111)는 깊이 정보(depth map) 또는 색상 정보에 기초하여 판별한 영상의 구도와 영상이 촬영된 장소에 관한 정보를 이용하여, 잔향 정보(RI)의 크기를 결정할 수 있다. 영상의 구도에 따라 잔향 정보(RI)의 크기를 결정하는 내용과 영상이 촬영된 장소가 실내인지 실외인지에 따라 잔향 정보(RI)의 크기를 결정하는 내용은, 앞서 설명된 바 있으므로 그에 대한 설명은 생략한다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 음향 시스템
110: 송신기
111: 파라미터 추출부
112: 인코더
114: 패킷화 장치
150: 2차원 음향 재생기
152: 디코더
154: 역 패킷화 장치
156: 2차원 음향 생성부
160: 3차원 음향 재생기
162: 디코더
164: 역 패킷화 장치
166: 3차원 음향 생성부

Claims

3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 파라미터 추출부,
2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 인코더, 및
상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 호환 스트림을 생성하는 패킷화 장치,
를 포함하는 음향 송신기,
상기 호환 스트림으로부터 상기 2차원 음향 정보를 추출하고, 추출된 2차원 음향 정보를 기초로 하여 2차원 음향을 재생하는 2차원 음향 재생기, 및
상기 호환 스트림에 포함된 상기 2차원 음향 정보와 상기 3차원 음향 파라미터를 기초로 하여 3차원 음향을 재생하는 3차원 음향 재생기를 구비하고,
상기 3차원 음향 파라미터는, 상기 3차원 음향의 공간감 정보를 포함하는 음향 시스템.
제1항에 있어서,
상기 3차원 음향 재생기는,
상기 호환 스트림으로부터 상기 3차원 음향 파라미터와 상기 2차원 음향 정보 스트림을 추출하는 역 패킷화 장치,
상기 2차원 음향 정보 스트림을 디코딩하여 상기 2차원 음향 정보를 출력하는 디코더, 및
상기 3차원 음향 파라미터와 상기 2차원 음향 정보를 기초로 하여 3차원 음향을 생성하는 3차원 음향 생성부를 구비하는 것을 특징으로 하는 음향 시스템.
제1항에 있어서,
상기 공간감 정보는,
잔향 정보를 포함하는 것을 특징으로 하는 음향 시스템.
제3항에 있어서,
상기 3차원 음향 생성부는,
상기 잔향 정보 및 상기 2차원 음향 정보를 기초로 하여 상기 3차원 음향을 생성하는 잔향 필터(reverberation filter)를 구비하는 것을 특징으로 하는 음향 시스템.
제3항에 있어서,
상기 잔향 필터는,
복수의 장소에서 수집된 잔향 정보를 기초로 각각 생성된 복수의 잔향 전달함수들 중에서 하나를 상기 잔향 정보 및 2차원 음향 정보와 컨벌루젼(convolution)함으로써, 상기 3차원 음향을 생성하는 것을 특징으로 하는 음향 시스템.
제3항에 있어서,
상기 파라미터 추출부는,
상기 3차원 영상 정보로부터 상기 잔향 정보만을 추출하고,
상기 패킷화 장치는,
상기 잔향 정보만을 상기 2차원 음향 스트림과 결합하여 상기 호환 스트림을 생성하는 것을 특징으로 하는 음향 시스템.
제3항에 있어서,
상기 파라미터 추출부는,
상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 열린 공간인지 닫힌 공간인지에 대한 정보, 및 상기 3차원 영상 정보에 대응되는 영상이 촬영된 공간의 크기에 대한 정보를 기초로 하여, 상기 잔향 정보의 크기를 결정하는 것을 특징으로 하는 음향 시스템.
제1항에 있어서,
상기 파라미터 추출부는,
상기 3차원 영상 정보가 표현하는 영상의 구도, 상기 영상 내의 물체와 시청자 사이의 인지적 거리, 상기 영상 내의 물체의 크기 중 적어도 하나에 기초하여, 상기 공간감 정보의 크기를 결정하는 것을 특징으로 하는 음향 시스템.
제8항에 있어서,
상기 파라미터 추출부는,
상기 3차원 영상 정보로부터 깊이 정보 또는 색상 정보 중 적어도 하나를 추출하고,
상기 추출된 깊이 정보 또는 색상 정보 중 적어도 하나에 기초하여, 상기 영상의 구도와 상기 영상이 실내에서 촬영되었는지 실외에서 촬영되었는지 여부를 판별하는 것을 특징으로 하는 음향 시스템.
제1항에 있어서,
상기 3차원 영상 정보 및 상기 2차원 영상 정보는,
동일한 대상에 대하여 별개로 생성된 영상 정보인 것을 특징으로 하는 음향 송신기.
3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 파라미터 추출부,
2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 인코더, 및
상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 호환 스트림을 생성하는 패킷화 장치를 구비하고,
상기 3차원 음향 파라미터는, 상기 3차원 음향의 공간감 정보를 포함하는 음향 송신기.
제11항에 있어서,
상기 공간감 정보는,
잔향 정보를 포함하는 것을 특징으로 하는 음향 송신기.
제12항에 있어서,
상기 파라미터 추출부는,
상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 열린 공간일수록 상기 잔향 정보의 크기를 작게 하고, 상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 닫힌 공간일수록 상기 잔향 정보의 크기를 크게 하고,
상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 넓을수록 상기 잔향 정보의 크기를 작게 하고, 상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 좁을수록 상기 잔향 정보의 크기를 크게 하는 것을 특징으로 하는 음향 송신기.
제12항에 있어서,
상기 패킷화 장치는,
상기 3차원 음향 파라미터 중에서 상기 잔향 정보만을 상기 2차원 음향 정보와 결합하여 상기 호환 스트림을 생성하는 것을 특징으로 하는 음향 송신기.
제14항에 있어서,
상기 파라미터 추출부는,
상기 3차원 영상 정보로부터 상기 잔향 정보만을 추출하는 것을 특징으로 하는 음향 송신기.
제11항에 있어서,
상기 3차원 영상 정보 및 상기 2차원 영상 정보는,
동일한 대상에 대하여 별개로 생성된 영상 정보인 것을 특징으로 하는 음향 송신기.
2차원 음향 정보가 인코딩 된 2차원 음향 정보 스트림, 및 3차원 음향 파라미터를 결합한 호환 스트림으로부터, 상기 3차원 음향 파라미터와 상기 2차원 음향 정보 스트림을 추출하는 역 패킷화 장치,
상기 2차원 음향 정보 스트림을 디코딩하여 상기 2차원 음향 정보를 출력하는 디코더, 및
상기 3차원 음향 파라미터와 상기 2차원 음향 정보를 기초로 하여 3차원 음향을 생성하는 3차원 음향 생성부를 구비하고,
상기 3차원 음향 파라미터는, 상기 3차원 음향의 공간감 정보를 포함하는 음향 재생기.
제17항에 있어서,
상기 2차원 음향 정보를 기초로 하여 2차원 음향을 재생하는 2차원 음향 재생부
를 더 구비하는 것을 특징으로 하는 음향 재생기.
제17항에 있어서,
상기 2차원 음향 정보는, 2차원 영상 정보에 대응되고,
상기 3차원 음향 파라미터는, 3차원 영상 정보로부터 추출되는 것을 특징으로 하는 음향 재생기.
제19항에 있어서,
상기 3차원 영상 정보 및 상기 2차원 영상 정보는,
동일한 대상에 대하여 별개로 생성된 영상 정보인 것을 특징으로 하는 음향 재생기.
제17항에 있어서,
상기 공간감 정보는,
잔향 정보를 포함하는 것을 특징으로 하는 음향 재생기.
제21항에 있어서,
상기 잔향 정보의 크기는,
상기 3차원 음향 파라미터가 추출되는 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 열린 공간인지 닫힌 공간인지에 대한 정보, 및 상기 3차원 영상 정보에 대응되는 영상이 촬영된 공간의 크기에 대한 정보를 기초로 하여, 결정되는 것을 특징으로 하는 음향 재생기.
(a) 3차원 영상 정보를 수신하고, 수신된 3차원 영상 정보로부터 3차원 음향 파라미터를 추출하는 단계,
(b) 2차원 영상 정보에 대응하는 2차원 음향 정보를 인코딩하여 2차원 음향 정보 스트림을 생성하는 단계,
(c) 상기 2차원 음향 정보 스트림과 상기 3차원 음향 파라미터를 결합하여 상기 호환 스트림을 생성하는 단계, 및
(d) 상기 호환 스트림을 전송하는 단계를 포함하고,
상기 3차원 음향 파라미터는, 상기 3차원 음향의 공간감 정보를 포함하는 음향 송신 방법.
제23항에 있어서,
상기 공간감 정보는,
잔향 정보를 포함하는 것을 특징으로 하는 음향 송신 방법.
제24항에 있어서,
상기 (a) 단계는,
상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 열린 공간일수록 상기 잔향 정보의 크기를 작게 하고, 상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 닫힌 공간일수록 상기 잔향 정보의 크기를 크게 하고,
상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 좁을수록 상기 잔향 정보의 크기를 작게 하고, 상기 3차원 영상 정보가 표현하는 영상이 촬영된 공간이 넓을수록 상기 잔향 정보의 크기를 크게 하는 것을 특징으로 하는 음향 송신 방법.
제23항 내지 제25항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.