KR101896570B1 - 입체 동영상에 동기화된 입체 음향을 생성할 수 있는 전자 기기 - Google Patents

Abstract

입체 동영상에 동기된 입체 음향을 생성할 수 있는 전자 기기가 개시된다. 상기 전자 기기는 사운드 주밍 팩터를 산출하는 사운드 주밍 팩터 산출 모듈 및 오디오 처리부를 포함할 수 있다. 상기 사운드 주밍 팩터 산출 모듈은 입체 동영상의 이전 프레임(frame)의 깊이 지도 및 현재 프레임의 깊이 지도에 기초하여 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하고, 상기 획득된 깊이 정보의 변화를 반영한 사운드 주밍 팩터(sound zooming factor)를 산출할 수 있다. 상기 오디오 처리 모듈은 상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커 중 적어도 하나의 스피커에 대응되는 음향 신호에 상기 산출된 사운드 주밍 팩터를 적용할 수 있다.

Description

입체 동영상에 동기화된 입체 음향을 생성할 수 있는 전자 기기{electronic device generating multi-dimensional sound synchronized to stereographic vedio}

본 발명은 입체 동영상에 동기화된 입체 음향을 생성할 수 있는 전자 기기에 관한 것으로，보다 상세하게는 특히 입체 동영상 처리 과정에서 획득되는 다양한 정보를 활용하여 실시간으로 거리감， 공간감， 방향감을 갖는 입체 동영상에 동기화된 입체 음향을 생성할 수 있는 전자 기기에 관한 것이다.

저장매체 및 오디오 부호화 기술이 발달함에 따라 기존의 모노 사운드 및 2 차원 스테레오 사운드에서 벗어나 다채널의 입체 음향을 제공하는 다양한 매체 및 오디오 시스템이 등장하고 있다. 이중， 돌비 AC-3 서라운드(surround) 입체 음향 시 스템은 중앙(center), 좌측 전방, 우측 전방, 좌측 후방, 우측 후방, 및 저음을 내는 중앙의 서브우퍼(sub-woofer)를 추가한 형태 즉， 5개의 스피커와 하나의 우퍼로 이루어진 5.1 채널의 음향 데이터를 출력한다. 부호화된 AC-3 데이터는 각 해독 방법에 따라 모노，스테레오，돌비 매트릭스(Dolby matrix) , 그리고 5 또는 5.1채널의 디지털 서라운드(surround)로 재생될 수 있다.

현재 영화에서는 AC-3방식의 녹음이 보편화되었으며, 미국의 HDTV와 DVD에서도 AC-3 방식의 오디오를 채택하고 있다. DTS는 디지털 극장 시스템(Digital Theater Systems)의 약자로 1993년에 개발된 영화나 음악에 사용되는 다채널 서라운드 부호화 기술의 명칭이다. DTS는 높고 유연한 압축 알고리즘을 가지고 있어서 최대 샘플링 주파수로 192kHz, 24bit로 양자화가 가능하여 일반 CD(Compact Disc)의 녹음 방식인 선형 PCM(Pulse Code Modulation) 코딩(44.1kHz, 16bit) 방식과 비교하여 완벽에 가까운 원음 재생이 가능하다.

한편, 영화 아바타(avatar)의 성공에 힘입어 3D 영화가 많이 등장하고 있으며，이에 따라 가정에서 3D 영상을 즐기기 위한 입체 텔레비전도 도입되고 있다. 3D 영화에서는 관람객들이 시각적인 입체감을 많이 느끼게 되므로 필연적으로 음향 에서도 입체감을 주어야 한다. 그러나 영상과 음향의 동기화에 관한 시스템이 제공 되지 않아 대용량 영상 테이터에 대한 3D 음향 효과 삽입작업을 수작업으로 해야 하는 번거로움이 있다. 또한, 스테레오로 녹음된 소스들의 경우에는 이를 5.1 채널 또는 6.1 채널 등으로 분리하여 처리하지만, 좌우의 음향 효과 위주로 밖에는 효과 를 내기가 어려웠고, 특히 입체 동영상의 경우에는 전방과 후방의 입체적인 영상과 연동이 안되어 실감 효과가 떨어진다.

본 발명은 이러한 점을 감안하여 이루어진 것으로서, 입체 동영상에 동기화된 입체 음향을 생성할 수 있는 전자 기기를 제공하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한, 본 발명의 실시예에 따른 전자 기기는 사운드 주밍 팩터 산출 모듈 및 오디오 처리 모듈를 포함할 수 있다. 상기 사운드 주밍 팩터 산출 모듈은 입체 동영상의 이전 프레임(frame)의 깊이 지도(depth map) 및 현재 프레임의 깊이 지도에 기초하여 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하고, 상기 획득된 깊이 정보의 변화를 반영한 사운드 주밍 팩터(sound zooming factor)를 산출할 수 있다. 상기 오디오 처리 모듈은 상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커 중 적어도 하나의 스피커에 대응되는 음향 신호에 상기 산출된 사운드 주밍 팩터를 적용할 수 있다.

상기 기술적 과제를 해결하기 위한, 본 발명의 다른 실시예에 따른 전자 기기는 사운드 주밍 팩터 산출 모듈 및 오디오 처리 모듈을 포함할 수 있다. 상기 사운드 주밍 팩터 산출 모듈은 입체 동영상의 이전 프레임 및 현재 프레임 각각의 깊이 지도를 상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커의 위치에 대응되는 복수의 영역으로 구분하고, 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 상기 복수의 영역 각각에 대하여 획득하며, 상기 복수의 영역들 각각에 대한 깊이 정보의 변화에 기초하여 상기 복수의 스피커에 적용되는 복수의 사운드 주밍 팩터를 산출할 수 있다. 상기 오디오 처리 모듈은 상기 산출된 복수의 사운드 주밍 팩터 각각을 상기 복수의 스피커 중 대응되는 스피커로 출력되는 음향 신호에 적용할 수 있다.

상기 기술적 과제를 해결하기 위한, 본 발명의 또 다른 실시예에 따른 전자 기기는 사운드 주밍 팩터 산출 모듈 및 오디오 처리 모듈을 포함할 수 있다. 상기 사운드 주밍 팩터 산출 모듈은 입체 동영상의 현재 프레임의 깊이 지도에 대한 히스토그램을 생성하고, 상기 히스토그램의 피크 값(peak value)에 기초하여 사운드 주밍 팩터를 산출할 수 있다. 상기 오디오 처리 모듈은 상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커 중 적어도 하나의 스피커에 대응되는 음향 신호에 상기 산출된 사운드 주밍 팩터를 적용할 수 있다.

상기 기술적 과제를 해결하기 위한, 본 발명의 또 다른 실시예에 따른 전자 기기는 제1 모듈, 제2 모듈, 및 오디오 처리 모듈을 포함할 수 있다. 상기 제1 모듈은 입체 동영상의 현재 프레임의 깊이 지도의 한 축 방향의 복수의 픽셀 라인들 각각에 대하여, 각 픽셀 라인에 포함된 복수의 픽셀의 깊이 값을 합산하여, 합산 깊이 값을 산출할 수 있다. 상기 제2 모듈은 상기 깊이 지도의 한 축 방향에 대한, 상기 현재 프레임에 대응되는 최대 합산 깊이 값을 고려하여 상기 사운드 주밍 팩터를 산출할 수 있다. 상기 오디오 처리 모듈은 상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커 중 적어도 하나의 스피커에 대응되는 음향 신호에 상기 산출된 사운드 주밍 팩터를 적용할 수 있다.

본 발명에 따른 전자 기기는， 카메라에 근접하는 물체 또는 카메라로부터 멀어지는 물 체를 포함하는 입체 영상의 사운드 주빙 팩터를 용이하게 산출할 수 있으며, 또한 이를 이용하여 입체 동영상에 동기화된 입체 음향을 용이하게 생성할 수 있다.

도 1은, 입체 동영상 및 상기 입체 동영상에 동기된 입체 음향을 제공할 수 있는, 본 발명에 따른 멀티미디어 시스템의 구성도이다.
도 2는 본 발명에 따라 입체 동영상에 동기된 입체 음향을 생성할 수 있는 전자 기기의 블락도이다.
도 3은 입체 동영상의 좌측 영상 및 우측 영상의 예를 각각 보여주고 있다.
도 4는 도 3의 좌측 영상 및 우측 영상으로부터 추출된 깊이 지도의 예이다.
도 5는 입체 동영상의 좌측 영상과 우측 영상에 대한 양안 시차를 이용한 깊이 지도 생성 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 전자 기기에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 일예를 나타내는 흐름도이다.
도 7은 도 6에 도시된 입체 음향 생성 방법의 일예를 나타내는 흐름도이다.
도 8은 카메라로 접근하는 물체에 대한 깊이 지도의 변화를 나타내는 예이다.
도 9는 도 8에 도시된 깊이 지도에 대한 히스토그램들을 나타낸다.
도 10은 도 6에 도시된 입체 음향 생성 방법의 다른 예를 나타내는 흐름도이다.
도 11은 도 10에 도시된 입체 음향 생성 방법에 따라 도 8에 도시된 깊이 지도들이 복수의 영역으로 구분된 예를 나타낸다.
도 12는 도 6에 도시된 입체 음향 생성 방법의 또 다른 예를 나타내는 흐름도이다.
도 13은 도 12에 도시된 입체 음향 생성 방법을 설명하기 위한 도면이다.
도 14는 도 13에 도시된 입체 음향 생성 방법에 따라서, 사운드 주밍 팩터가 적용되는 방법을 설명하기 위한 도면이다.
도 15는 도 6에 도시된 입체 음향 생성 방법의 또 다른 예를 나타내는 흐름도이다.
도 16은 본 발명에 따른 전자 기기에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 다른 예를 나타내는 흐름도이다.
도 17은 본 발명에 따른 전자 기기에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 또 다른 예를 나타내는 흐름도이다.
도 18은 도 17에 도시된 입체 음향 생성 방법을 설명하기 위한 도면이다.
도 19는 본 발명에 따른 전자 기기에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 또 다른 예를 설명하기 위한 도면이다.
도 20은 본 발명에 따른 전자 기기에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 또 다른 예를 설명하기 위한 도면이다.
도 21 내지 도 22는 본 발명에 따른 전자 기기에서 수행되는 입체 음향 생성 방법에 있어서 예외적으로 처리되어야 하는 프레임의 예를 나타낸다.
도 23은 본 발명에 따른 전자 기기에서 입체 음향을 생성하는 또 다른 예를 설명하기 위한 도면이다.
도 24는 본 발명에 따른 전자 기기에서 입체 음향을 생성하는 또 다른 예를 설명하기 위한 도면이다.

본 발명과 본 발명의 동작상의 이점 및 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바림직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송 또는 전달'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터 또는 신호를 전송 또는 전달할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터 또는 신호를 상기 다른 구성요소로 전송할 수 있음을 의미한다. 또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

도 1은, 입체 동영상 및 상기 입체 동영상에 동기된 입체 음향을 제공할 수 있는, 본 발명에 따른 멀티미디어 시스템(10)의 구성도이다. 도 1을 참조하면, 상기 시스템(10)은 본 발명에 따른 전자 기기(100) 및 상기 전자 기기(100)로부터 출력되는 음향 신호를 출력하는 복수의 스피커(210 내지 260)를 포함하는 입체 음향 시스템을 포함한다.

참고로, 상기 복수의 스피커(210 내지 260)는 5.1 채널 음향을 제공하는 입체 음향 시스템을 나타낸다. 이는 본 발명에 따른 시스템(10)에 포함되는 음향 시스템의 일예일뿐 본 발명의 범위가 이에 한정되는 것은 아니다.

또한, 도 1에 도시된 상기 멀티미디어 시스템(10)의 구성요소들이 필수적인 것은 아니어서, 전자 기기(100)는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다. 이하, 상기 구성요소들에 대해 차례로 살펴본다.

상기 전자 기기(100)는 입체 동영상을 디스플레이할 수 있다. 또한, 상기 전자 기기(100)는 입체 동영상에 대한 깊이 지도에 기초하여 상기 입체 동영상에 동기된 입체 음향을 생성하여 상기 음향 시스템을 통하여 출력할 수 있다. 여기서, 입체 음향의 입체 동영상에 대한 동기화란 단순히 입체 음향 시스템을 통하여 음향 신호를 출력하는 기존 시스템과 달리, 3D 디스플레이(120)를 통하여 출력되는 영상에 포함된 객체의 접근 또는 후퇴를 고려하여 입체 음향 시스템에 포함된 복수의 스피커를 통하여 출력되는 음향을 제어하는 것을 의미한다.

상기 입체 동영상에 대한 깊이 지도는 상기 입체 동영상과는 별도로 제공될 수도 있고, 상기 전자 기기(100)가 상기 입체 동영상을 구성하는 좌측 영상 및 우측 영상에 기초하여 생성할 수도 있다. 상기 전자 기기(100)는 상기 입체 동영상에 대한 깊이 지도 자체를 분석하여 상기 입체 음향 시스템을 통하여 출력되는 음향을 제어하기 위한 파라미터를 산출하거나, 상기 입체 동영상에 대한 깊이 지도에 대한 히스토그램을 생성하여 분석함으로써 상기 입체 음향 시스템을 통하여 출력되는 음향을 제어하기 위한 파라미터를 추출할 수 있다.

본 명세서에서 상기 입체 음향 시스템에 의하여 출력되는 음향의 크기를 제어하기 위한 파라미터를 "사운드 주밍 팩터(sound zooming factor)"라 칭한다. 본 발명에 따른 전자 기기(100)는 입체 음향 시스템에 포함된 복수의 스피커들 각각에 대한 사운드 주밍 팩터를 산출할 수도 있고, 상기 복수의 스피커들에 공통적으로 적용되는 사운드 주밍 팩터를 산출할 수도 있다. 또한, 상기 전자 기기(100)는 산출된 사운드 주밍 팩터를 상기 복수의 스피커(210 내지 260) 중 일부에 대하여 적용할 수도 있다.

상기 음향 시스템에 포함된 복수의 스피커(210 내지 260)는 상기 전자 기기(100)로부터 출력되는 상기 입체 동영상에 동기된 입체 음향을 출력할 수 있다. 도 1에 도시된 5.1 채널 음향 시스템을 예로 들어, 입체 음향의 구체적인 출력 예를 살펴 본다.

만약, 3D 디스플레이(120)를 통하여 출력되는 영상에 포함된 객체가 화면의 가운데 영역에서 접근하면, 상기 전자 기기(100)는 상기 화면의 중앙 영역에 대응되는 중앙 스피커(210)를 통하여 출력되는 음향의 크기를 증가시키기 위한 사운드 주밍 팩터를 산출하여, 상기 중앙 스피커(210)에 적용할 수 있다. 그러면, 상기 중앙 스피커(210)는 원래 출력될 음향보다 크기가 증가된 음향을 출력할 수 있다.

만약, 상기 3D 디스플레이(120)를 통하여 출력되는 영상에 포함된 객체가 화면의 왼쪽 영역에서 후퇴하면, 상기 전자 기기(100)는 상기 화면의 왼쪽 영역에 대응되는 스피커들(220 및 240)을 통하여 출력되는 음향의 크기를 감소시키기 위한 사운드 주밍 팩터를 산출하여, 상기 스피커들(220 및 240)에 적용할 수 있다. 그러면, 상기 스피커들(220 및 240) 각각은 원래 출력될 음향보다 크기가 감소된 음향을 출력할 수 있다.

이하에서는, 이러한 본 발명에 따른 전자 기기(100)의 입체 음향 생성을 위한 사운드 주밍 팩터 산출 방법 및 그 적용의 예들을 도 2 내지 도 24를 참조하여 보다 상세히 살펴 본다.

도 2는 본 발명에 따라 입체 동영상에 동기된 입체 음향을 생성할 수 있는 전자 기기(100)의 블락도이다. 본 발명에 따른 전자 기기(100)는 도 1에 도시된 바와 같이, 3D 디스플레이(120)를 포함하는 TV로 구현될 수 있다. 3D 디스플레이를 포함하는 본 발명에 따른 전자 기기에는 TV 이외에도 노트북, 이동 단말기 등이 포함될 수도 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.

만약, 본 발명에 따른 전자 기기(100)가 노트북이나 이동 단말기와 같은 소형 전자 기기인 경우, 상기 전자 기기(100)에 연결된 입체 음향 시스템은 도 1에 도시된 바와 같은 대형 스피커들로 구현되지 않고, 다채널 음향을 지원하는 헤드셋이나 이어폰으로 구현될 수 있다.

또한, 본 발명에 따른 전자 기기(100)는 디스플레이를 포함하지 않고 입체 동영상을 디스플레이 장치로 제공하기 위한 영상 재생 장치로 구현될 수도 있다. 이러한 장치의 대표적인 예로는 블루레이 디스크 플레이어를 들 수 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.

도 2를 참조하면, 상기 전자 기기(100)는 3D 이미지 프로세서(3 Dimensional image processor, 110), 3D 디스플레이(120), 및 오디오 처리부(130)를 포함한다. 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 상기 전자 기기(100)는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다. 또한, 상기 오디오 처리부(130) 역시 도 2에 도시된 구성요소들보다 많거나 적은 구성요소들을 가질 수 있다. 이하, 상기 구성요소들에 대해 차례로 살펴본다.

상기 3D 이미지 프로세서(110)는 입체 동영상을 형성하는 좌측 영상과 우측 영상을 상기 3D 디스플레이(120) 및 상기 오디오 처리부(130)로 출력한다. 상기 3D 이미지 프로세서(110)는 수신되는 3차원 입체 영상을 상기 전자 기기(100)에 출력 포맷에 적합하도록 처리할 수도 있고, 2D 영상을 수신하여 3차원 입체 영상으로 변환하여 출력할 수도 있다.

상기 3D 디스플레이(120)는 상기 좌측 영상과 우측 영상을 출력할 수 있다. 상기 3D 디스플레이(120)를 통하여 출력되는 영상은 사용자의 양쪽 눈의 양안시차(Binocular Disparity)에 기인하여 사용자에게는 입체 동영상으로 인식된다.

양안시차라 함은 사람의 왼쪽 눈과 오른쪽 눈이 약 6.5cm 떨어져 있기 때문에，왼쪽 눈으로 보는 이미지와 오른쪽 눈으로 보는 이미지는 약간의 차이가 발생하는 것을 말하며, 사람은 양안시차로 인하여 입체감을 느끼게 된다.

입체 영상의 원리는, 일정한 거리만큼 떨어져 있는 두 개 또는 그 이상의 카메라를 사용하여 객체를 촬영함으로써 양안시차가 적용된 좌측 영상과 우측 영상을 생성하고, 상기 생성된 좌측 영상은 사람의 왼쪽 눈으로 우측 영상은 오른쪽 눈으로 보게 함으로써 입체감을 느끼도록 하는 것이다.

상기 오디오 처리부(130)는 상기 입체 동영상에 매칭되는 오디오 신호를 수신한다. 또한, 상기 오디오 처리부(130)는 상기 좌측 영상 및 우측 영상을 수신하여 상기 수신된 오디오 신호의 크기를 제어하기 위한 사운드 주밍 팩터를 산출할 수 있다. 그런 다음, 상기 오디오 처리부(130)는 상기 산출된 사운드 주밍 팩터를 상기 수신된 오디오 신호에 적용하여 입체 음향 시스템으로 출력할 수 있다. 도면에 도시되지는 않았으나, 상기 오디오 신호는 상기 오디오 처리부(130)로부터 출력되는 오디오 신호를 증폭하기 위한 증폭 시스템을 경유하여 상기 입체 음향 시스템으로 출력될 수도 있다.

상기 오디오 처리부(130)는 메모리 블락(140), 스케일러(150), 깊이 지도 생성 모듈(160), 사운드 주밍 팩터 산출 모듈(170), 및 오디오 처리 모듈(180)를 포함한다.

상기 메모리 블락(140)은 상기 3D 이미지 프로세서(110)로부터 출력되는 좌측 영상과 우측 영상을 버퍼링한다. 도 2에 도시되지는 않았으나, 상기 메모리 블락(140)은 상기 좌측 영상 및 우측 영상의 저장 공간인 메모리와 상기 메모리의 데이터 저장 및 출력 동작을 제어하기 위한 메모리 콘트롤러를 포함할 수 있다.

상기 스케일러(150)는 상기 메모리 블락(140)으로부터 출력되는 좌측 영상과 우측 영상을 상기 3D 디스플레이(120)의 해상도에 적합하도록 스케일링하여 출력할 수 있다. 상기 깊이 지도 생성 모듈(160)은 상기 스케일러(150)로부터 출력되는 좌측 영상 및 우측 영상에 기초하여 상기 입체 음향 시스템으로 출력되는 오디오 신호의 크기를 제어하기 위한 사운드 주밍 팩터를 산출할 수 있다.

상기 사운드 주밍 팩터 생성 모듈(170)은 입체 동영상의 이전 프레임 및 현재 프레임의 깊이 지도에 기초하여 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하고, 상기 획득된 깊이 정보의 변화를 반영하여 사운드 주밍 팩터를 산출할 수 있다.

여기서, 상기 사운드 주밍 팩터 생성 모듈(170)는 상기 이전 프레임 및 현재 프레임의 깊이 지도 자체에 기초하여 깊이 정보의 변화를 획득할 수도 있고, 상기 이전 프레임 및 현재 프레임의 깊이 지도의 히스토그램을 생성한 다음 생성된 히스토그램에 기초하여 깊이 정보의 변화를 획득할 수도 있다.

상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 깊이 지도에 기초하여 획득되는 깊이 정보에 기초하여 사운드 주밍 팩터를 산출할 수 있다. 여기서, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 현재 프레임의 깊이 지도 자체를 분석하여 사운드 주밍 팩터를 산출할 수도 있고, 상기 현재 프레임의 깊이 지도의 히스토그램을 생성하고 생성된 히스토그램에 기초하여 사운드 주밍 팩터를 산출할 수도 있다.

상기 오디오 처리 모듈(180)은 상기 수신된 오디오 신호에 상기 산출된 사운드 주밍 팩터를 적용하여 상기 입체 음향 시스템으로 출력할 수 있다. 그러면, 상기 입체 음향 시스템은 원래 오디오 신호가 아닌 상기 3D 디스플레이(120)에 표시되는 객체의 깊이 변화를 반영한 오디오 신호를 출력할 수 있다.

도 2에 도시된 오디오 처리부(130)는 입체 동영상의 좌측 영상과 우측 영상에 기초하여 입체 동영상의 깊이 지도를 생성하였으나, 본 발명에 구현 예에 따라서 상기 입체 동영상의 깊이 지도는 미리 생성되어 상기 오디오 처리부(130)로 제공될 수도 있다.

상기 오디오 처리 모듈(180)은 서로 다른 각도로 사용자에게 도달하는 사운드를 분석하여 리스닝 큐(listening cue) , 예를 들어, 양쪽 귀로 느끼는 사운드의 세기의 차(Interaural Intensity Difference , IID) 신호, 양쪽 귀로 전달되는 사운드의 시간 차(Interaural Time Differnece, ITD) 신호 혹은 도달된 사운드에 대해 필터 역할을 하는 외이 효과(outer ear effect)를 만들어 이들을 합성하여 입체 음향을 생성할 수 있다. 이때 이러한 과정에서는 머리전달함수(Head Related Transfer Function)가 이용될 수 있다.

머리전달함수는 음원으로부터 귀의 고막으로 전달되는 경로를 모델링한 합수로, 음원과 사용자의 머리와의 상대적인 위치에 따라 그 값이 달라진다. 대부분의 경우 사용자의 전방에 3D 스크린 또는 모니터가 배치되고, 그 전방 좌우 및 중앙에 스피커들이 배치되고，청취자의 후방좌우에 스피커들이 배치된다.

오디오 처리 모듈(180)은 상술한 복수의 스피커들을 통하여 출력되는 음향 신호의 출력을 제어함으로써 입체 음향 효과를 얻을 수 있고, 이와 더불어 사운드 주밍 팩터를 추가적으로 적용함으로써 입체 동영상에 동기된 입체 음향 효과를 얻을 수도 있다.

한편, 도 2에 도시된 오디오 처리부(130)의 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만，본 발명의 구현 형태에 따라서 상기 오디오 처리부(130)의 각 구성 요소들의 그 일부 또는 전부는 소프트웨어적으로 구현될 수도 있다.

도 3은 입체 동영상의 좌측 영상 및 우측 영상의 예를 각각 보여주고 있다.도 4는 도 3의 좌측 영상 및 우측 영상으로부터 추출된 깊이 지도의 예이다. 보다 상세하게는 도 3의 (a)는 입체 동영상의 좌측 영상을 나타내고, 도 3의 (b)는 입체 동영상의 우측 영상을 나타낸다. 도 4를 참조하면, 카메라(즉, 사용자) 가까이 있는 스탠드는 뒤에 있는 객체들에 비하여 밝게 표현되어 있음을 알 수 있다. 본 명세서에서 예로 드는 깊이 지도에서는 밝기가 밝게 표시된 객체일수록 카메라 가까이에 위치한 객체를 의미한다.

도 5는 입체 동영상의 좌측 영상과 우측 영상에 대한 양안 시차를 이용한 깊이 지도 생성 방법을 설명하기 위한 도면이다. 보다 상세하게는 도 5에 도시된 깊이 지도 생성 방법은 영역기반 방식(Region-Based Method)을 나타낸다.

영역기반 방식은 좌측 영상과 우측 영상의 정합(matching)을 위한 대응점을 영역단위로 찾는 방식을 말한다. 즉, 영역기반의 방식은 특정한 크기의 윈도우를 사용하여 영역단위로 좌측 영상과 우측 영상을 정합하며 국소 영역의 크기에 따라 상관관계를 추출하는 과정에 의하여 깊이 지도를 생성한다. 그러므로 정합에 사용되는 윈도우의 크기는 정합의 정확도 및 매칭에 있어서의 계산 속도를 고려하여 적절한 크기로 결정될 수 있다.

도 5는, 좌측 영상과 우측 영상이 수평이라고 가정할 때, 본 발명에 따른 전자 기기(100)에 포함된 깊이 지도 생성 모듈(160)이 정합 윈도우 크기 만큼의 왼쪽 영상을 오른쪽 영상을 수평으로 이동하면서 상관성(Correlation)이 가장 높은 곳을 찾아 이격도(Disparity)를 예측할 수 있음을 나타낸다.

스테레오 영상(즉, 좌측 영상 및 우측 영상)에서의 이격도(Disparity)는 카메라에서 멀리 떨어진 객체에서는 작게, 카메라와 가까운 객체에선 크게 나타나는데 이 차이를 밝기 레벨로 표현한 것이 깊이 지도(disparity map , depth map)이다. 즉，깊이 지도에서는 가까운 객체는 밝게 표시되고，멀어질수록 어둡게 표시됨으로써 객체의 거리 정보가 표시되게 되는 것이다.

본 발명에 따른 깊이 지도 생성 모듈(160)은 도 5를 참조하여 설명한, 영역 기반의 방식 이외에 특징 기반 방식(Feature Based Method) 방식, 화소 기반방식(Pixel-Based Method) 등을 이용하여 좌측 영상 및 우측 영상에 기초하여 입체 동영상의 깊이 지도를 생성할 수도 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.

도 6은 본 발명에 따른 전자 기기(100)에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 일예를 나타내는 흐름도이다. 이하, 필요한 도면들을 참조하여, 상기 입체 음향 생성 방법을 설명한다. 참고로 도 6을 포함하여 본 발명에 따른 전자 기기(100)에서 입체 음향을 생성하는 방법을 나타내는 흐름도들은 상기 전자 기기(100)의 오디오 처리부(130)에서 수행되는 과정들을 나타낸다.

상기 전자 기기(100)의 오디오 처리부(130)는 입체 동영상의 좌측 영상 및 우측 영상을 수신한다(S100). 상기 좌측 영상 및 우측 영상은 도 2에 도시된 바와 같이, 3D 이미지 프로세서(110)로부터 출력되어 메모리 블락(140), 스케일러(150)을 거쳐 깊이 지도 생성 모듈(160)로 출력될 수 있다.

그러면, 상기 깊이 지도 생성 모듈(160)은 상기 좌측 영상 및 우측 영상에 기초하여 입체 동영상의 이전 프레임 및 현재 프레임의 깊이 지도를 생성한다(S110). 상기 형성된 현재 프레임 및 이전 프레임의 깊이 지도는 사운드 주밍 팩터 생성 모듈(170)로 출력된다.

상기 사운드 주밍 팩터 생성 모듈(170)은 상기 이전 프레임 및 현재 프레임의 깊이 지도에 기초하여 상기 이전 프레임에 대한 현재 프레임의 깊이 정보의 변화를 획득한다(S120). 그런 다음, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 획득된 깊이 정보의 변화에 반영한 사운드 주밍 팩터를 산출한다(S130). 상기 산출된 사운드 주밍 팩터는 오디오 처리 모듈(180)로 출력된다.

그러면, 오디오 처리 모듈(180)은 입체 음향 시스템에 포함된 적어도 하나의 스피커에 대응되는 음향 신호를 수신하고, 상기 수신된 음향 신호에 상기 산출된 사운드 주밍 팩터를 적용하여(S140), 상기 입체 음향 시스템으로 출력한다. 그러면, 상기 입체 음향 시스템은 상기 입체 동영상에 포함된 객체의 깊이 정보를 반영한(즉, 입체 동영상에 동기된) 입체 음향을 출력할 수 있다.

도 7은 도 6에 도시된 입체 음향 생성 방법의 일예를 나타내는 흐름도이다. 이하, 필요한 도면들을 참조하여 상기 음향 생성 방법을 설명한다.

본 발명에 따른 전자 기기(100)의 오디오 처리부(130)의 깊이 지도 생성 모듈(160)은 입체 동영상의 좌측 영상 및 우측 영상에 기초하여 이전 프레임 및 현재 프레임의 깊이 지도를 생성한다(S200). 상기 생성된 깊이 지도는 사운드 주밍 팩터 생성 모듈(170)로 출력된다.

그러면, 상기 사운드 주밍 팩터 생성 모듈(170)는 이전 프레임의 깊이 지도에 대한 제1 히스토그램 및 현재 프레임에 대한 제2 히스토그램을 생성한다(S210).

도 8은 카메라로 접근하는 물체에 대한 깊이 지도의 변화를 나타내는 예이다. 도 9는 도 8에 도시된 깊이 지도에 대한 히스토그램들을 나타낸다. 도 8의 (a)와 (b)에 도시된 바와 같이 구(sphere)가 카메라를 향해 접근하면 구의 크기가 커지고 구의 밝기도 밝아짐을 알 수 있다.

도 9의 (a)와 (b)를 참조하면, 이전 프레임의 히스토그램에서는 피크 부분이 A 위치에 있다가 현재 프레임의 히스토그램에서는 피크 부분이 좀더 밝은 깊이 값에 대응되는 B 위치로 W만큼 이동한 것을 알 수 있다，이는 구가 접근함에 따라 카메라에서 구까지의 거리가 짧아지고 이에 따라 구의 밝기가 밝아져서 도 9의 (b)에서는 히스토그램의 B 위치에 해당하는 더 밝은 값에 대응되는 픽셀수가 증가하게 된 것을 나타낸다.

참고로, 도 9에 도시된 히스토그램의 가로축은 객체의 카메라로부터의 거리에 대응되는 값을 나타내는 그레이 레벨(gray level)을 나타낸다. 그레이 레벨의 값이 클수록 객체의 카메라로부터의 거리는 가까운 것을 나타내고, 깊이 지도에서는 더 밝은 픽셀로 표시된다. 히스토그램의 세로축은 깊이 지도에서 그레이 레벨에 대응되는 픽셀의 수를 나타낸다.

다시 도 7을 참조하면, 상기 사운드 주밍 팩터 생성 모듈(170)은 제1 히스토그램과 제2 히스토그램을 비교하고(S220), 상기 비교 결과에 기초하여 상기 이전 프레임에 대한 현재 프레임의 깊이 정보의 변화를 획득한다(S230). 예컨대, 도 9에 도시된 히스토그램들에 대한 비교 결과 피크 위치가 A에서 B로 이동하는 것이 인식되면, 상기 사운드 주밍 팩터 생성 모듈(170)은 입체 동영상에 포함된 객체가 카메라로 접근한다는 정보를 획득할 수 있다.

여기서, 입체 동영상에 포함된 객체가 카레라로 접근하는 또는 카메라로부터 멀어지는 이동 거리(즉, 깊이 정보의 변화)는 이전 프레임 및 현재 프레임의 히스토그램의 피크 포인트 지점의 차이로부터 계산될 수 있다. 보다 상세하게는 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 히스토그램에서 이전 프레임의 히스토그램을 빼서 정지해 있는 부분에 관한 정보를 제거하고 움직이는 부분에 관한 정보만을 추출한 다음, 이로부터 피크 포인트 위치의 이동을 판별할 수 있다.

깊이 지도의 히스토그램에서 각 그레이 레벨은 카메라로부터의 거리를 나타내므로，현재 프레임의 히스토그램의 피크 포인트에 대응되는 그레이 레벨에서 이전 프레임의 히스토그램의 피크 포인트에 대응되는 그레이 레벨을 뺀 값은 입체 동영상에 포함된 객체의 깊이 값의 변화에 관한 정보를 포함할 수 있다.

이전 프레임의 현재 프레임의 깊이 정보의 변화가 획득되면, 상기 사운드 주밍 팩터 생성 모듈(170)은 획득된 깊이 정보의 변화에 기초하여 사운드 주밍 팩터를 산출한다(S240). 상기 산출된 사운드 주밍 팩터는 오디오 처리 모듈(180)로 출력되며, 상기 오디오 처리 모듈(180)은 상기 산출된 사운드 주밍 팩터를 입체 음향 시스템에 포함된 복수의 스피커로 출력되는 음향 신호에 적용하여 출력한다. 그러면, 상기 복수의 스피커는 입체 동영상에 동기화된 입체 음향 신호를 출력할 수 있다.

도 10은 도 6에 도시된 입체 음향 생성 방법의 다른 예를 나타내는 흐름도이다. 보다 상세하게는 도 10은 도 6에 도시된 방법에 의하여 산출된 사운드 주밍 팩터가 적용될 스피커를 선택하기 위한 방법을 나타내는 흐름도이다. 이하, 필요한 도면들을 참조하여 상기 입체 음향 생성 방법을 설명한다.

본 발명에 따른 전자 기기(100)의 오디오 처리부(130)의 깊이 지도 생성 모듈(160)은 이전 프레임 및 현재 프레임 각각의 깊이 지도를 입체 음향 시스템에 포함된 복수의 스피커의 위치에 대응되는 복수의 영역으로 구분한 다음(S300), 상기 복수의 영역 각각에 대한 깊이 정보의 변화를 획득한다(S310). 예컨대, 상기 복수의 영역들 각각의 깊이 정보의 변화는 상기 현재 프레임의 복수의 영역들 각각의 깊이 값에서 이전 프레임의 복수의 영역들 중 대응되는 영역의 깊이 값을 뺌으로써 획득될 수 있다.

상기 깊이 정보의 변화가 획득되면, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 획득된 깊이 정보의 변화에 기초하여 상기 산출된 사운드 주밍 팩터가 적용되는 스피커를 선택한다(S320).

도 11은 도 10에 도시된 입체 음향 생성 방법에 따라 도 8에 도시된 깊이 지도들이 복수의 영역으로 구분된 예를 나타낸다. 도 11을 참조하면, 이전 프레임 및 현재 프레임 각각은 5.1 채널 음향 시스템의 복수의 스피커의 위치에 대응되는 좌측 영역, 중앙 영역, 및 우측 영역으로 구분된 것을 알 수 있다.

상기 좌측 영역은 상기 5.1 채널 음향 시스템의 좌측 전방 스피커와 좌측 후방 스피커에 대응되며, 상기 중앙 영역은 상기 5.1 채널 음향 시스템의 중앙 스피커와 우퍼에 대응되며, 상기 우측 영역은 상기 5.1 채널 음향 시스템의 우측 전방 스피커와 우측 후방 스피커에 대응된다.

도 11에 도시된 현재 프레임의 깊이 지도의 복수의 영역들 각각의 깊이 값에서 이전 프레임의 대응되는 영역의 깊이 값을 빼면, 중앙 영역의 깊이 값의 변화량이 가장 크다. 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 중앙 영역에 대응되는 중앙 스피커와 우퍼를 산출된 사운드 주밍 팩터가 적용될 스피커로 선택할 수 있다. 즉, 도 11에 도시된 예에 따르면, 중앙 스피커와 우퍼를 통하여 출력되는 음향 신호의 크기는 원래 출력되어야할 음향 신호의 크기보다 증가한다.

도 11에 도시된 바와 달리, 중앙 영역의 깊이 값의 감소량이 가장 크다면, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 중앙 스피커와 우퍼를 통하여 출력되는 음향의 크기를 감소시키는 사운드 주밍 팩터를 생성하여 상기 오디오 처리 모듈(180)로 출력할 수 있다.

도 11에 도시된 스피커 선택 방법은 향후 살펴볼 입체 음향 생성 방법들에 의하여 생성된 사운드 주밍 팩터를 적용할 스피커를 선택하는데에도 공통적으로 적용될 수 있다.

도 12는 도 6에 도시된 입체 음향 생성 방법의 또 다른 예를 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여 상기 입체 음향 생성 방법을 살펴 본다.

깊이 지도 생성 모듈(160)은 입체 동영상의 이전 프레임 및 현재 프레임의 깊이 지도를 생성한다(S400). 그러면, 사운드 주밍 팩터 생성 모듈(170)은 이전 프레임의 깊이 지도의 한 축 방향의 각 픽셀 라인에 대하여 픽셀들의 깊이 값을 합산하고(S410), 현재 프레임의 깊이 지도의 한 축 방향의 각 픽셀 라인에 대하여 픽셀들의 깊이 값을 합산한다(S420).

그런 다음, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임에 포함된 픽셀 라인들 중 최대 합산 깊이 값을 갖는 픽셀 라인 및 이전 프레임에 포함된 픽셀 라인들 중 최대 합산 깊이 값을 갖는 픽셀 라인을 선택하고, 현재 프레임의 최대 합산 깊이 값과 이전 프레임의 최대 합산 깊이 값의 차이를 고려하여 사운드 주밍 팩터를 산출한다(S430).

상기 사운드 주밍 팩터가 산출되면, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 최대 합산 깊이 값에 대응되는 픽셀 라인의 깊이 지도의 나머지 축에 대한 좌표 값을 고려하여 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다(S440).

도 13은 도 12에 도시된 입체 음향 생성 방법을 설명하기 위한 도면이다. 이하 도 12에 도시된 입체 영상 생성 방법을 도 13에 도시된 도면을 통하여 설명한다.

도 13을 참조하면, 상기 사운드 주밍 팩터 생성 모듈(170)은 이전 프레임 및 현재 프레임의 깊이 지도에 대한 y축 방향의 픽셀 라인들 각각에 대하여, 각 라인에 포함된 픽셀들의 깊이 값을 합산함으로써 합산 깊이 값을 산출하는 것을 알 수 있다.

그런 다음, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 y축 방향의 최대 합산 깊이 값(d)와 이전 프레임의 y축 방향의 최대 합산 깊이 값(a)의 차이(d-a)를 고려하여 사운드 주밍 팩터를 산출할 수 있다. 상기 최대 합산 깊이 값의 차이(d-a)는 상기 현재 프레임의 상기 이전 프레임에 대한 깊이 값의 변화를 나타낼 수 있다.

예컨대, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 최대 합산 값들의 차이(d-a)가 양의 값이면 현재 프레임은 이전 프레임에 비하여 카메라로 다가오는 경향을 갖는 것으로 판단할 수 있다. 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 입체 음향 시스템에 포함된 복수의 스피커 중 적어도 하나의 스피커의 출력 신호의 크기를 증가시키기 위한 사운드 주밍 팩터를 산출할 수 있다. 이때, 사운드 주밍 팩터의 절대값은 상기 최대 합산 깊이 값들의 차이(d-a)의 절대값에 비례하여 결정될 수 있다.

그러나, 상기 최대 합산 깊이 값들의 차이가 음의 값이면, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임은 이전 프레임에 비하여 카메라로부터 후퇴하는 경향을 갖는 것으로 판단할 수 있다. 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 입체 음향 시스템에 포함된 복수의 스피커 중 적어도 하나의 스피커의 출력 신호의 크기를 감소시키기 위한 사운드 주밍 팩터를 산출할 수 있다. 이때, 사운드 주밍 팩터의 절대값은 상기 최대 합산 깊이 값들의 차이(d-a)의 절대값에 비례하여 결정될 수 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 현재 프레임의 y축 방향의 최대 합산 깊이 값에 대응되는 x축의 좌표 값(x') 및 상기 이전 프레임의 y축 방향의 최대 합산 깊이 값에 대응되는 x축의 좌표 값(x) 중 적어도 하나를 고려하여 산출된 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다.

도 14는 도 13에 도시된 입체 음향 생성 방법에 따라서, 사운드 주밍 팩터가 적용되는 방법을 설명하기 위한 도면이다. 도 14의 (a)에 도시된 5.1 채널 음향 시스템의 경우, 상기 사운드 주밍 팩터 생성 모듈(170)은 y축 방향에 대한 상기 최대 합산 값의 깊이 값들에 대응되는 좌표 값들(x 및 x') 중 적어도 하나에 기초하여 좌측 전방 및 좌측 후방 스피커 그룹, 중앙 스피커 및 우퍼 그룹, 및 우측 전방 및 우측 후방 스피커 그룹 중 적어도 하나의 스피커 그룹에 산출된 사운드 주밍 팩터를 적용할 수 있다.

다시 도 13을 참조하면, 상기 사운드 주밍 팩터 생성 모듈(170)은 이전 프레임 및 현재 프레임의 깊이 지도에 대한 x축 방향의 픽셀 라인들 각각에 대하여, 각 라인에 포함된 픽셀들의 깊이 값을 합산함으로써 합산 깊이 값을 산출하는 것을 알 수 있다.

그런 다음, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 x축 방향의 최대 합산 깊이 값(f)와 이전 프레임의 y축 방향의 최대 합산 깊이 값(b)의 차이(f-b)를 고려하여 사운드 주밍 팩터를 산출할 수 있다. 상기 최대 합산 깊이 값의 차이(f-b)는 상기 현재 프레임의 상기 이전 프레임에 대한 깊이 값의 변화를 나타낼 수 있다.

예컨대, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 최대 합산 값들의 차이(f-b)가 양의 값이면 현재 프레임은 이전 프레임에 비하여 카메라로 다가오는 경향을 갖는 것으로 판단할 수 있다. 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 입체 음향 시스템에 포함된 복수의 스피커 중 적어도 하나의 스피커의 출력 신호의 크기를 증가시키기 위한 사운드 주밍 팩터를 산출할 수 있다. 이때, 사운드 주밍 팩터의 절대값은 상기 최대 합산 깊이 값들의 차이(f-b)의 절대값에 비례하여 결정될 수 있다.

그러나, 상기 최대 합산 깊이 값들의 차이가 음의 값이면, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임은 현재 프레임에 비하여 카메라로부터 후퇴하는 경향을 갖는 것으로 판단할 수 있다. 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 입체 음향 시스템에 포함된 복수의 스피커 중 적어도 하나의 스피커의 출력 신호의 크기를 감소시키기 위한 사운드 주밍 팩터를 산출할 수 있다. 이때, 사운드 주밍 팩터의 절대값은 상기 최대 합산 깊이 값들의 차이(f-b)의 절대값에 비례하여 결정될 수 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 현재 프레임의 x축 방향의 최대 합산 깊이 값에 대응되는 y축의 좌표 값(y') 및 상기 이전 프레임의 x축 방향의 최대 합산 깊이 값에 대응되는 y축의 좌표 값(y) 중 적어도 하나를 고려하여 산출된 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 이전 프레임 및 현재 프레임에 대한 깊이 지도의 양 축 방향에 대한 최대 합산 깊이 값의 변화를 모두 반영하여 사운드 주밍 팩터를 산출할 수도 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 앞서 추출된 좌표 값인 x 및 x' 중 적어도 하나의 좌표값과 y 및 y' 중 적어도 하나의 좌표값을 적용하여 입체 음향 시스템에 포함된 복수의 스피커 중 선출된 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다. 이러한 방법을 도 14의 (b)에 도시된 3X3 형태로 배열된 채널 음향 시스템의 경우, 상기 사운드 주밍 팩터 생성 모듈(170)은 산출된 사운드 주밍 팩터가 적용될 스피커로 9개의 스피커 중 적어도 하나를 선택할 수 있다.

도 15는 도 6에 도시된 입체 음향 생성 방법의 또 다른 예를 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여 상기 입체 음향 생성 방법을 살펴 본다.

깊이 지도 생성 모듈(160)은 이전 프레임 및 현재 프레임 각각의 깊이 지도를 생성한다(S500). 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 이전 프레임 및 현재 프레임 각각의 깊이 지도를 입체 음향 시스템에 포함된 복수의 스피커의 위치에 대응되는 복수의 영역으로 구분한다(S510).

그런 다음, 상기 사운드 주밍 팩터 생성 모듈(170)은 이전 프레임에 대한 현재 프레임의 깊이 정보의 변화를 복수의 영역들 각각에 대하여 획득하고(S520), 상기 획득된 복수의 영역들 각각에 대한 깊이 정보의 변화에 기초하여 상기 복수의 스피커에 적용되는 복수의 사운드 주밍 팩터를 산출한다(S530). 상기 산출된 복수의 사운드 주밍 팩터는 오디오 처리 모듈(180)로 출력된다.

그러면, 상기 오디오 처리 모듈(180)은 상기 복수의 사운드 주밍 팩터 각각을 상기 복수의 스피커 중 대응되는 스피커로 출력되는 음향 신호에 적용한다(S540).

도 16은 본 발명에 따른 전자 기기(100)에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 다른 예를 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여 상기 입체 음향 생성 방법을 살펴 본다.

깊이 지도 생성 모듈(160)은 입체 동영상의 현재 프레임의 깊이 지도를 생성한다(S600). 그러면, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 현재 프레임의 깊이 지도에 대한 히스토그램을 생성한다(S610).

현재 프레임의 깊이 지도에 대한 히스토그램이 생성되면, 상기 사운드 주밍 팩터 생성 모듈(170)은 히스토그램의 피크 값에 기초하여 사운드 주밍 팩터를 산출한다(S620). 히스토그램의 피크 값은 카메라 가장 가까이 있는 객체가 화면의 어느 정도만큼을 차지하고 있는지를 나타낸다. 그러므로 히스토그램의 피크 값에 기초하여 산출되는 사운드 주밍 팩터는 화면에서 차지하고 있는 영역의 크기에 따라 사운드 효과를 달리 줄 수 있는 파라미터이다.

사운드 주밍 팩터가 산출되면, 상기 오디오 처리 모듈(180)은 입체 음향 시스템에 포함된 복수의 스피커 중 적어도 하나의 스피커에 대응되는 음향 신호에 사운드 주밍 팩터를 적용하여 출력한다(S630).

도 17은 본 발명에 따른 전자 기기(100)에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 또 다른 예를 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여 상기 입체 음향 생성 방법을 살펴 본다.

깊이 지도 생성 모듈(160)은 입체 동영상의 현재 프레임의 깊이 지도를 생성한다(S700). 그러면, 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 깊이 지도의 한 축 방향의 각 픽셀 라인에 대하여 픽셀들의 깊이 값을 합산한다(S710).

그런 다음, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임에 포함된 픽셀 라인들 중 최대 합산 깊이 값을 갖는 픽셀 라인을 선택하고, 현재 프레임의 최대 합산 깊이 값을 고려하여 사운드 주밍 팩터를 산출한다(S720). 깊이 픽셀 라인에서 최대 합산 깊이 값을 갖는 지점을 카메라에 대하여 가장 근접하여 위치하는 객체가 포함된 지점을 의미한다. 그러므로 도 17에 도시된 입체 음향 생성 방법은 카메라에 가장 근접하여 위치하는 객체의 깊이 값에 기초한 입체 음향 생성 방법이다.

상기 사운드 주밍 팩터가 산출되면, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 최대 합산 깊이 값에 대응되는 픽셀 라인의 깊이 지도의 나머지 축에 대한 좌표 값을 고려하여 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다(S730).

도 18은 도 17에 도시된 입체 음향 생성 방법을 설명하기 위한 도면이다. 이하 도 17에 도시된 입체 음향 생성 방법을 도 18에 도시된 도면을 통하여 설명한다.

도 18을 참조하면, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 깊이 지도에 대한 y축 방향의 픽셀 라인들 각각에 대하여, 각 라인에 포함된 픽셀들의 깊이 값을 합산함으로써 합산 깊이 값을 산출함을 알 수 있다. 또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 깊이 지도의 x축 방향의 픽셀 라인들 각각에 대하여, 각 픽셀 라인에 포함된 픽셀들의 깊이 값을 합산함으로, 합산 깊이 값을 산출한다.

상기 사운드 주밍 팩터 생성 모듈(170)은 상기 x축 방향에 대응되는 최대 깊이 합산 값(b) 및 y축 방향의 최대 깊이 합산 값(a) 중 적어도 하나에 기초하여 사운드 주밍 팩터를 산출할 수 있다. 여기서, 상기 x축 방향에 대응되는 최대 깊이 합산 값(b) 및 y축 방향의 최대 깊이 합산 값(a) 모두가 사운드 주밍 팩터 산출에 이용되는 경우, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 x축 방향에 대응되는 최대 깊이 합산 값(b) 및 y축 방향의 최대 깊이 합산 값(a) 각각에 서로 다른 가중치를 곱한 값을 더하여 사운드 주밍 팩터를 산출할 수 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 현재 프레임의 y축 방향의 최대 합산 깊이 값(a)에 대응되는 x축의 좌표 값(x) 및 상기 현재 프레임의 x축 방향의 최대 합산 깊이 값(b)에 대응되는 y축의 좌표 값(y) 중 적어도 하나를 고려하여 산출된 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다. 이러한 사운드 주밍 팩터 생성 모듈(170)의 사운드 주밍 팩터가 적용될 스피커를 선택하는 방법은 도 12 내지 도 14을 참조하여 설명한 바로부터 용이하게 도출될 수 있을 것인바, 이에 대한 상세한 설명은 생략한다.

도 19는 본 발명에 따른 전자 기기(100)에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 또 다른 예를 설명하기 위한 도면이다. 도 19를 참조하면, 도 19에 도시된 현재 프레임의 깊이 지도에 대한 y축 방향의 픽셀 라인들 각각에 대하여, 각 라인에 포함된 픽셀들의 깊이 값을 합산하여 산출된 합산 깊이 값의 그래프는 2개의 극대값을 갖는 것을 알 수 있다.

사운드 주밍 팩터 생성 모듈(170)은 상기 2개의 극대값에 대응되는 합산 깊이 값들(a 및 c) 중 적어도 하나에 기초하여 사운드 주밍 팩터를 산출할 수 있다. 또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 2개의 극대값 중 더 큰 극대값(c)만을 이용하여 사운드 주밍 팩터를 산출할 수도 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 현재 프레임의 x축 방향의 픽셀 라인들에 대응되는 최대 합산 깊이 값(b)에 기초하여 사운드 주밍 팩터를 산출할 수도 있다.

또한, 상기 사운드 주밍 팩터 생성 모듈(170)은 상기 현재 프레임의 y축 방향의 최대 합산 깊이 값 중 극대값들(a 및 c)에 대응되는 x축의 좌표 값들(x 및 z) 및 상기 현재 프레임의 x축 방향의 최대 합산 깊이 값(b)에 대응되는 y축의 좌표 값(y) 중 적어도 하나를 고려하여 산출된 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다.

이러한 사운드 주밍 팩터 생성 모듈(170)의 사운드 주밍 팩터가 적용될 스피커를 선택하는 방법은 도 12 내지 도 14을 참조하여 설명한 바로부터 용이하게 도출될 수 있을 것인바, 이에 대한 상세한 설명은 생략한다.

도 20은 본 발명에 따른 전자 기기(100)에서의 입체 동영상에 동기화된 입체 음향 생성 방법의 또 다른 예를 설명하기 위한 도면이다. 도 20의 (a) 및 (b)에는 이전 프레임 및 현재 프레임의 특정 영역이 중요 무리(main cluster)로 설정되어 있는 것을 알 수 있다. 여기서 중요 무리라 함은 일정 값 이상의 깊이 값을 갖는 필셀들이 일정 개수 이상 모여 있는 영역을 의미한다.

본 발명에 따른 전자 기기(100)는 상기 중요 무리의 깊이 값의 변화 및 면적 변화 중 적어도 하나에 기초하여 사운드 주밍 팩터를 산출할 수 있다. 또한, 상기 전자 기기(100)는 상기 중요 무리의 위치 변화에 기초하여, 입체 음향 시스템에 포함된 복수의 스피커 중 상기 산출된 사운드 주밍 팩터가 적용될 스피커를 선택할 수 있다.

도 21 내지 도 22는 본 발명에 따른 전자 기기(100)에서 수행되는 입체 음향 생성 방법에 있어서 예외적으로 처리되어야 하는 프레임의 예를 나타낸다.

도 21을 참조하면, 도 21의 (a)에 도시된 깊이 지도상에 표시된 형태와 도 21의 (b)에 도시된 형태가 크게 변경된 것을 알 수 있다. 그러나 상기 두 깊이 지도는 상기 형태들의 위치 및 특정 깊이 값들에 대응되는 면적이 거의 같기 때문에, 상기 두 깊이 지도에 대한 히스토그램은 거의 유사할 수 있다.

이러한 현상은 입체 동영상의 장면 전환시에 주로 나타난다. 상기 전자 기기(100)는 입체 동영상의 장면 전환 시에는 예외적으로 사운드 주밍 팩터 산출 하지 않을 수 있다. 즉, 상기 전자 기기(100)는 장면 전환시와 같이 이전 프레임과 현재 프레임 사이의 연속성이 없다고 판단되는 경우에는 사운드 주밍 팩터의 산출 기능을 비활성화시킬 수 있다.

또한, 상기 전자 기기(100)는 도 22에 도시된 바와 같이, 입체 동영상의 좌측 영상과 우측 영상이 모두 단색 화면인 경우에 사운드 주밍 팩터를 산출하지 않을 수 있다. 이는 입체 동영상에 거리감을 부여할만한 객체가 포함되어 있지 않기 때문이다.

도면에 도시되지는 않았으나, 본 발명에 따른 전자 기기(100)는 입체 동영상에 대한 깊이 지도의 깊이 값이 임계값 이하인 경우로 나타나는, 안개 장면, 어두운 장면의 경우에도 사운드 주밍 팩터를 산출하지 않을 수 있다. 상기 전자 기기(100)는 이러한 경우뿐만 아니라, 미리 정해진 다양한 깊이 지도의 특이한 분포 형태에 대하여 사운드 주밍 팩터를 산출하지 않을 수 있다.

도 23은 본 발명에 따른 전자 기기(100)에서 입체 음향을 생성하는 또 다른 예를 설명하기 위한 도면이다. 참고로 도 23은 2D 영상에 기초하여 3D 영상의 좌측 영상 및 우측 영상으로부터 추출될 수 있는 깊이 정보에 대응되는 깊이 정보를 생성하고, 그에 기초하여 사운드 주밍 팩터를 산출하는 과정을 설명하기 위한 도면이다.

도 23의 이전 프레임과 현재 프레임에 도시된 바와 같이, 2D 영상에 포함된 객체가 좌측에서 우측으로 수평 이동하는 경우, 상기 전자 기기(100)는 이전 프레임을 입체 동영상의 좌측 영상으로 가정하고, 상기 현재 프레임을 입체 동영상의 우측 영상으로 가정하여 깊이 지도를 생성할 수 있다. 상기 생성된 깊이 지도는 앞서 살펴본 각종 사운드 주밍 팩터 산출 방법에 이용될 수 있다.

만약, 2D 영상에서 객체의 크기가 변하면서 이동하는 경우, 상기 전자 기기(100)는 SIFT(Scale Invariant Feature Transform) 등을 이용하여 좀 더 정확한 깊이 정보를 산출할 수도 있다. 그러므로 보다 정확한 사운드 주밍 팩터의 산출이 가능해 진다.

도 24는 본 발명에 따른 전자 기기(100)에서 입체 음향을 생성하는 또 다른 예를 설명하기 위한 도면이다. 도 24에서는 상기 전자 기기(100)는 2D 영상을 제공하고, 상기 제공되는 2D 영상에 매칭된 깊이 정보가 미리 상기 전자 기기(100)에 저장되어 있는 경우를 가정한다.

예컨대, 도 24에 도시된 바와 같이, 자동차 경주 게임과 같은 2D 게임에서는 사용자에게 제공되는 영상에 대응되는 깊이 정보가 미리 저장되어 있을 수 있다. 그러면, 상기 전자 기기(100)는 상기 미리 저장되어 있는 깊이 정보를 이용하여 사운드 주밍 팩터를 산출할 수 있다.

이상에서 살펴본, 본 발명에 따른 전자 기기(100)의 사운드 주밍 팩터 산출 방법 및 적용 방법들 각각은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 멀티미디어 시스템 100: 전자 기기
110: 3D 이미지 프로세서 120: 3D 디스플레이
130: 오디오 처리부 140: 메모리 블락
150: 스케일러 160: 깊이 지도 생성 모듈
170: 사운드 주밍 팩터 산출 모듈 180: 오디오 처리 모듈
210 내지 260: 스피커

Claims (21)

1. 입체 동영상의 이전 프레임(frame)의 깊이 지도 및 현재 프레임의 깊이 지도에 기초하여 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하고, 상기 획득된 깊이 정보의 변화를 반영한 사운드 주밍 팩터(sound zooming factor)를 산출하는 사운드 주밍 팩터 산출 모듈; 및
   상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커 중 적어도 하나의 스피커에 대응되는 음향 신호에 상기 산출된 사운드 주밍 팩터를 적용하는 오디오 처리 모듈;을 포함하고,
   상기 사운드 주밍 팩터 산출 모듈은,
   상기 이전 프레임의 깊이 지도에 대한 제1 히스토그램 및 상기 현재 프레임의 깊이 지도에 대한 제2 히스토그램을 생성하고, 상기 제1 히스토그램의 피크 포인트(peak point)에 대한 상기 제2 히스토그램의 피크 포인트의 이동에 기초하여, 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하는 것을 특징으로 하는 전자 기기.
2. 제1항에 있어서, 상기 전자 기기는,
   입체 동영상의 좌측 영상과 우측 영상에 기초하여 깊이 지도(depth map)를 생성하는 깊이 지도 생성 모듈을 더 포함하는 것을 특징으로 하는 전자 기기.
3. 삭제
4. 삭제
5. 제1항에 있어서, 상기 사운드 주밍 팩터 산출 모듈은,
   상기 제2 히스토그램의 그레이 레벨(gray level) 값에서 상기 제1 히스토그램의 그레이 레벨 값을 뺀 값에 기초하여, 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하는 것을 특징으로 하는 전자 기기.
6. 제1항에 있어서, 상기 사운드 주밍 팩터 산출 모듈은,
   상기 이전 프레임 및 상기 현재 프레임 각각의 깊이 지도를 상기 복수의 스피커의 위치에 대응되는 복수의 영역으로 구분하고, 상기 복수의 영역 각각에 대한 깊이 정보의 변화를 획득하며, 상기 복수의 영역들 각각에 대한 깊이 정보의 변화에 기초하여 상기 산출된 사운드 주밍 팩터가 적용되는 스피커를 선택하는 것을 특징으로 하는 전자 기기.
7. 제1항에 있어서, 상기 사운드 주밍 팩터 산출 모듈은,
   상기 이전 프레임 및 상기 현재 프레임 각각의 깊이 지도의 한 축 방향의 복수의 픽셀 라인들 각각에 대하여, 각 픽셀 라인에 포함된 복수의 픽셀의 깊이 값을 합산하여, 합산 깊이 값을 산출하는 제1 모듈; 및
   상기 깊이 지도의 한 축 방향에 대한, 상기 현재 프레임에 대응되는 최대 합산 깊이 값과 상기 이전 프레임의 최대 합산 깊이 값의 차이를 고려하여 상기 사운드 주밍 팩터를 산출하는 제2 모듈을 포함하는 것을 특징으로 하는 전자 기기.
8. 제7항에 있어서, 상기 제1 모듈은,
   상기 이전 프레임 및 상기 현재 프레임 각각의 깊이 지도의 나머지 축 방향의 복수의 픽셀 라인들 각각에 대하여, 각 픽셀 라인에 포함된 복수의 픽셀의 깊이 값을 합산하여, 합산 깊이 값을 더 산출하고,
   상기 제2 모듈은,
   상기 깊이 지도의 나머지 축 방향에 대한, 상기 현재 프레임에 대응되는 최대 합산 깊이 값과 상기 이전 프레임의 최대 합산 깊이 값의 차이를 더 고려하여 상기 사운드 주밍 팩터를 산출하는 것을 특징으로 하는 전자 기기.
9. 제7항 또는 제8항에 있어서, 상기 사운드 주밍 팩터 산출 모듈은,
   상기 깊이 지도의 한 축 방향에 대한, 상기 이전 프레임 깊이 지도의 최대 합산 깊이 값 및 상기 현재 프레임의 깊이 지도의 최대 합산 깊이 값 중 적어도 하나에 대응되는 픽셀 라인의, 상기 깊이 지도의 나머지 축에 대한 좌표 값을 고려하여 상기 산출된 사운드 주밍 팩터가 적용될 스피커를 선택하는 것을 특징으로 하는 전자 기기.
10. 제9항에 있어서, 상기 사운드 주밍 팩터 산출 모듈은,
    상기 깊이 지도의 나머지 축 방향에 대한, 상기 이전 프레임 깊이 지도의 최대 합산 깊이 값 및 상기 현재 프레임의 깊이 지도의 최대 합산 깊이 값 중 적어도 하나에 대응되는 픽셀 라인의, 상기 깊이 지도의 한 축에 대한 좌표 값을 더 고려하여 상기 산출된 사운드 주밍 팩터가 적용될 스피커를 선택하는 것을 특징으로 하는 전자 기기.
11. 입체 동영상의 이전 프레임 및 현재 프레임 각각의 깊이 지도를 상기 입체 동영상에 매칭된 음향 신호를 출력하는 복수의 스피커의 위치에 대응되는 복수의 영역으로 구분하고, 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 상기 복수의 영역 각각에 대하여 획득하며, 상기 복수의 영역들 각각에 대한 깊이 정보의 변화에 기초하여 상기 복수의 스피커에 적용되는 복수의 사운드 주밍 팩터를 산출하는 사운드 주밍 팩터 산출 모듈; 및
    상기 산출된 복수의 사운드 주밍 팩터 각각을 상기 복수의 스피커 중 대응되는 스피커로 출력되는 음향 신호에 적용하는 오디오 처리 모듈;을 포함하고,
    상기 사운드 주밍 팩터 산출 모듈은,
    상기 이전 프레임의 깊이 지도에 대한 제1 히스토그램 및 상기 현재 프레임의 깊이 지도에 대한 제2 히스토그램을 생성하고, 상기 제1 히스토그램의 피크 포인트(peak point)에 대한 상기 제2 히스토그램의 피크 포인트의 이동에 기초하여, 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화를 획득하는 것을 특징으로 하는 전자 기기.
12. 제11항에 있어서, 상기 전자 기기는,
    상기 입체 동영상의 좌측 영상과 우측 영상에 기초하여 깊이 지도를 생성하는 깊이 지도 생성 모듈을 더 포함하는 것을 특징으로 하는 전자 기기.
13. 제11항에 있어서, 상기 사운드 주밍 팩터 산출 모듈은,
    상기 복수의 영역 중 상기 이전 프레임에 대한 상기 현재 프레임의 깊이 정보의 변화량이 미리 정해진 임계값보다 적은 영역에 대해서는 별도의 사운드 주밍 팩터를 산출하지 않는 것을 특징으로 하는 전자 기기.
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제

Images