KR101235832B1 - 실감 멀티미디어 서비스 제공 방법 및 장치 - Google Patents

실감 멀티미디어 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR101235832B1
KR101235832B1 KR1020090030316A KR20090030316A KR101235832B1 KR 101235832 B1 KR101235832 B1 KR 101235832B1 KR 1020090030316 A KR1020090030316 A KR 1020090030316A KR 20090030316 A KR20090030316 A KR 20090030316A KR 101235832 B1 KR101235832 B1 KR 101235832B1
Authority
KR
South Korea
Prior art keywords
stereoscopic
audio
information
stereoscopic image
image
Prior art date
Application number
KR1020090030316A
Other languages
English (en)
Other versions
KR20100066289A (ko
Inventor
이봉호
이광순
이현
윤국진
이용주
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100066289A publication Critical patent/KR20100066289A/ko
Application granted granted Critical
Publication of KR101235832B1 publication Critical patent/KR101235832B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 입체 오디오 및 입체 영상을 제공하는 방법 및 장치, 그리고 상기 입체 오디오 및 입체 영상을 재생하는 방법 및 장치에 관한 것이다. 본 발명의 입체 오디오 및 입체 영상 재생 방법은, 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 단계; 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 단계; 상기 연계정보를 이용하여, 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 단계; 및 상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는 단계를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함한다. 본 발명에 의하면, 입체 오디오와 입체 영상 간의 연계정보를 이용하여 입체 오디오의 음원에 대응하는 입체 영상 영역을 선택함으로써 단순히 오디오와 입체 영상의 동기만을 맞추는 것이 아니라 입체 영상 내에 위치한 특정 객체와 오디오를 매칭시킬 수 있는 장점이 있다.
입체 오디오, 입체 영상, 3D 입체 영상, 3차원 입체 영상, 실감 멀티미디어 서비스

Description

실감 멀티미디어 서비스 제공 방법 및 장치 {METHOD AND APPARATUS FOR PROVIDING REALISTIC IMMERSIVE MULTIMEDIA SERVICES}
본 발명은 입체 오디오 및 입체 영상을 이용하여 실감 멀티미디어 서비스를 제공하는 방법 및 장치, 그리고 입체 오디오 및 입체 영상을 포함하는 실감 멀티미디어 콘텐츠를 재생하는 방법 및 장치에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술개발(표준화연계)]
3차원 입체 영상, 또는 입체 영상을 만드는 기법은 좌우 양안 입체 영상을 텍스쳐 입체 영상으로 사용하는 방법과, 텍스쳐 입체 영상과 깊이(depth) 정보를 표현한 입체 영상을 사용하는 방법이 있다. 이러한 입체 영상 기법 중 하나로서 스테레오스코픽 입체 영상을 들 수 있다. 스테레오스코픽 입체 영상은 일정한 거리, 즉 시점을 가진 좌우 양안 입체 영상을 사용하는 입체 영상으로, 카메라의 간격과 카메라로부터 물체의 거리에 따라 입체감을 나타낸다.
입체 영상을 시청하는 시청자는 2D 입체 영상에서 볼 수 없었던, 마치 물체가 앞으로 튀어 나오거나 뒤로 들어가 보이는 등의 거리감을 통해 입체 효과를 느낄 수 있다. 이러한 입체 영상은 현재 방송 분야에 접목되고 있으며 일부에서는 3DTV 상용 방송 서비스를 시작하였다. 이동통신 분야에서도 입체 카메라를 장착하여 입체 영상을 볼 수 있는 기능을 구비한 단말이 출시된 상태이고, 이동통신망을 통하여 관련 콘텐츠를 전송하는 입체 영상 서비스가 제공될 것으로 보인다. 향후에는 이를 통한 입체 영상 통신도 가능할 것으로 보이며, 현재 관련 기술이 개발 중이다. 이러한 입체 영상 관련 서비스는 위에 언급된 분야뿐만 아니라 입체 디스플레이 및 입체 표현이 가능한 모든 종류의 단말에서 통용될 것으로 보인다.
입체 영상의 경우 화면 내에 3차원 공간을 형성할 수 있다. 즉, 입체 영상 내에서 특정 입체 영상 객체가 존재하는 경우, X와 Y축만이 아니라 깊이감을 형성하는 Z축이 존재하므로 좌우 상하뿐만 아니라 앞뒤 공간에 어느 특정 입체 영상 객체를 배치하는 것이 가능하다. 따라서 화면 내의 특정 객체를 좌에서 우로, 또는 위에서 아래로 이동시키는 것이 가능하고, 해당 객체를 화면의 앞이나 뒤로 이동 또는 배치하는 것도 가능하다.
이러한 기능은 로컬 상호작용이 거의 불가능한 단순 시청형 3D 비디오보다 화면이 배경 비디오를 포함하여 하나 이상의 이미지 객체로 구성되어 사용자와의 상호 작용이 가능한 MPEG-4 BIFS와 같은 포맷에서 이용될 경우 사용자에게 더 좋은 공간적인 입체 효과를 제공할 수 있다. 상기 BIFS와 같은 서비스의 경우 사용자와의 상호작용은 필요에 따라 원하는 객체의 깊이감을 늘이고 줄이는 효과 및 객체의 밝기나 색감을 조정하는 것과 같은 효과를 제공할 수 있다.
한편, 오디오 분야의 경우에도 디지털 오디오 신호 처리 기술의 발달로 최근 입체 음향에 대한 관심이 높아지고 있다. 입체음향이란, 음원이 발생한 공간에 위치하지 않은 청취자가 음향을 들었을 때 방향감, 거리감 및 공간감을 지각할 수 있도록 음향에 공간정보를 부가한 음향을 말한다. 상기 입체 음향이 지원되는 재생 장치를 이용하면 현장에 있지 않아도 마치 현장에서 해당 음향을 듣는 것과 같은 효과를 얻을 수 있다. 이러한 입체음향은 영화를 포함하여 게임, 가상현실 및 멀티미디어 컨텐츠 분야에 다양하게 적용될 수 있다. 뿐만 아니라 통신망을 이용한 원격회의, 실감음향통신, 원격교육 및 방송, 국방 등 음향이 필요한 모든 분야에서 입체음향 기술은 현실감 및 몰입감을 증대시키는 요소기술로 중요하게 인식되고 있다.
입체음향기술은 현장감 있는 입체음향을 생성하기 위한 방법을 통칭하는 것으로 음상 정위(Sound Image Localization) 방법, 음장 제어(Sound Field Control) 방법, 효과음(Effect Sound) 생성 방법, 간섭(crosstalk) 제거, 외재화(Externalization) 및 가상 서라운드(Virtual Surround) 기술 등으로 구분될 수 있다.
음상 정위 방법은 음원의 위치를 원하는 가상의 위치에 정위시키는 기술을 의미하여, 음장 제어 방법은 콘서트홀이나 녹음실과 같은 음원의 공간을 가상으로 생성하는 기술이다. 또한, 효과음 생성 기술은 메아리나 코러스와 같은 효과음을 발생하는 기술이며, 가상 서라운드 기술은 2채널의 스피커 환경하에 4채널이나 5.1채널의 음향을 재생할 수 있는 방법이다.
입체 음향은 청각에 공간 배치 정보를 주어, 결과적으로 입체 영상 정보를 식별할 수 있게 하며, 이것에 의하여 음원 위치, 주위 환경, 청취자의 위치, 물체의 움직임, 음상의 형태 등을 얻을 수 있다. 상기 입체 음향은 재생 방식에 따라 멀티채널(Multichannel) 타입의 서라운드(Surround) 방식과 바이노럴(Binaural) 타입의 2채널 스테레오 방식으로 구분된다.
일반적으로 음향의 전달 경로는 물질에 의한 반사, 회절, 산란 등의 현상을 발생시키는 공간 전달계와 인간의 두뇌와 귀에 의한 반사, 회절. 공진 등의 현상을 유발하는 머리 전달계로 구분된다. 사람이 귀로 전달된 소리의 공간성을 지각하는 주 요인은 양 귀에 도달하는 두 소리의 시간차와 레벨차 그리고 스펙트럼의 차이에 있다.
바이노럴 타입은 음원(Sound Source)이 발생한 공간 내에 있는 청취자의 양쪽 귀에 마이크로폰을 각각 설치하여 녹음한 신호를 말하며, 이 신호를 헤드폰으로 재생할 경우 현장에서 직접 듣는 것과 같은 음상(Sound Image)을 재생할 수 있다. 여기서, 음원이란 실제 물리적으로 음을 발생하는 객체의 위치를 말하며, 음상은 인간이 지각하는 감각상의 음원을 말한다. 음원과 음상은 공간적 특성이 반드시 일치하지 않으며 음원과 음상이 일치할수록 좋은 음질의 입체 음향이 구현되었다고 할 수 있다. 바이노럴 신호에는 음원의 위치, 방향뿐만 아니라 음원을 둘러싸고 있는 공간, 즉 음장(Sound Field)과 관련한 공간적 단서들이 포함되어 있다.
입체 음향 재생 방식은 재생하는 채널 수에 따라 2채널에 의한 입체 음향 재생 방식과 다채널에 의한 입체 음향 재생 방식으로 나누어질 수 있는데, 2채널에 의한 입체 음향 재생 방식은 인간이 두 개의 귀로 음향을 지각하는 특성을 이용하여 음상 정위와 음장 제어에 의해 생성된 입체 음향을 2채널의 헤드폰 환경이나 2개의 스피커 환경에서 재생하는 기술을 말하며 현재까지 개발된 입체 음향 기술의 대부분은 2채널 재생 방식이다.
바이노럴 타입의 2채널 입체 음향 생성 방식은 녹음을 통한 방식과 최근에 많이 사용되는 필터 처리 방식으로 나뉜다. 녹음을 통한 방식은 청취자의 양쪽 귀에 마이크로폰을 삽입하여 현장음을 녹음하고 이를 재생하는 방식이다. 필터 처리 방식은 모노(Mono)음을 머리전달함수(FRTF: Head Related Transfer Function)와 공간전달함수(RTF: Room Transfer Function)라는 필터를 통과시켜 입체 음향을 재생하는 방식이다. 머리전달함수란 무향실 내에서 더미헤드를 중심으로 구의 형태로 여러 각도에 배치된 스피커로부터 백색잡음과 같은 임펄스 신호를 발생시켜, 더미헤드 양쪽 귀 안에 장착된 마이크로폰으로 측정한 임펄스 응답을 각도별로 DB화 해 놓은 것을 말한다. 이 DB로부터 원하는 위치에 해당하는 머리전달함수를 선택하여 단순음원과 콘볼루션 연산을 통해 해당 위치에 음상을 정위시킬 수 있다.
멀티 채널 서라운드 방식의 경우, 돌비 디지털 시스템의 5.1 채널을 예로 들면, 도 1과 같이 일반적으로 중앙, 좌우 전방 및 좌우 후방 및 서브 우퍼로 구성하여 입체 음향 서비스를 제공하고 있다. 이러한 시스템은 청각 마스킹(Auditory Masking)이라는 정신적인 청각 현상을 이용한 기술로 이른바 청각 심리화 디지털 코딩(Perceptual Digital Audio Coding) 기술로, 주로 영화 분야에서 사용되고 있으며 다채널 음향으로도 사용되고 있다.
본 발명은 입체 오디오와 입체 영상 간의 연계정보를 이용하여 입체 오디오의 음원에 대응하는 입체 영상 영역을 선택함으로써 단순히 오디오와 입체 영상의 동기만을 맞추는 것이 아니라 입체 영상 내에 위치한 특정 객체와 오디오를 매칭시킬 수 있는 방법 및 장치를 제공하는 데 일 목적이 있다.
또한, 본 발명은 입체 영상 내의 특정 객체와 입체 오디오를 매칭시킴으로써 해당 오디오에 맞는 입체 영상 효과를 해당 객체에 부여하여 보다 실감나는 입체 오디오 및 입체 영상 서비스를 제공할 수 있는 방법 및 장치를 제공하는 데 다른 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은, 입체 오디오 및 입체 영상 재생 방법에 있어서, 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 단계; 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 단계; 상기 연계정보를 이용하여, 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 단계; 및 상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는 단계를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함한다.
또한, 본 발명은, 입체 오디오 및 입체 영상 재생 방법에 있어서, 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 단계; 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 단계; 상기 연계정보를 이용하여, 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 단계; 및 상기 선택된 입체 영상 영역의 입체감 정보를 조정하는 단계를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하며, 상기 입체감 정보는 상기 입체 영상의 깊이(depth) 정보 또는 디스패러티(disparity) 정보이다.
또한, 본 발명은, 입체 오디오 및 입체 영상 재생 장치에 있어서, 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 오디오 및 입체 영상 획득부; 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 연계정보 획득부; 및 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 상기 연계정보를 이용하여 선택하고, 상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는 입체 영상 처리부를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함한다.
또한, 본 발명은, 입체 오디오 및 입체 영상 재생 장치에 있어서, 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 오디오 및 입체 영상 획득부; 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 연계정보 획득부; 및 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 상기 연계정보를 이용하여 선택하고, 상기 선택된 입체 영상 영역의 입체감 정보를 조정하는 입체 영상 처리부를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하며, 상기 입체감 정보는 상기 입체 영상의 깊이(depth) 정보 또는 디스패러티(disparity) 정보이다.
또한, 본 발명은, 입체 오디오 및 입체 영상 제공 방법에 있어서, 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 전송하는 단계; 및 상기 입체 영상을 재생할 때 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하기 위한 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 전송하는 단계를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하고, 입체감 정보 또는 색감 또는 명암의 조정을 위한 조정 값과, 상기 입체감 정보 또는 상기 색감 또는 상기 명암의 조정이 수행되는 시간 정보 중 적어도 하나를 포함한다.
또한, 본 발명은, 입체 오디오 및 입체 영상 제공 장치에 있어서, 입체 오디오, 상기 입체 오디오와 연계된 입체 영상, 상기 입체 영상을 재생할 때 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하기 위한 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 전송하는 데이터 전송부를 포함하고, 상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하고, 입체감 정보 또는 색감 또는 명암의 조정을 위한 조정 값과, 상기 입체감 정보 또는 상기 색감 또는 상기 명암의 조정이 수행되는 시간 정보 중 적어도 하나를 포함한다.
전술한 바와 같은 본 발명에 의하면, 입체 오디오와 입체 영상 간의 연계정보를 이용하여 입체 오디오의 음원에 대응하는 입체 영상 영역을 선택함으로써 단순히 오디오와 입체 영상의 동기만을 맞추는 것이 아니라 입체 영상 내에 위치한 특정 객체와 오디오를 매칭시킬 수 있는 장점이 있다.
또한, 본 발명은 입체 영상 내의 특정 객체와 입체 오디오를 매칭시킴으로써 해당 오디오에 맞는 입체 영상 효과를 해당 객체에 부여하여 보다 실감나는 입체 오디오 및 입체 영상 서비스를 제공할 수 있는 장점이 있다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
본 발명은 입체 오디오 및 이 입체 오디오와 연계된 입체 영상의 연계정보를 이용하여, 재생되는 입체 영상에서 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 기술에 관한 것이다. 여기서, 연계정보는 입체 오디오의 각 음원에 대한 식별 정보 및 입체 영상에 포함된 각 영역(각종 음원에 대응하는 입체 영상 내의 각 영상 영역)의 식별 정보를 포함한다. 예를 들어, 오케스트라에 의하여 연주되는 교향악 콘서트 장면을 입체 오디오를 이용하여 시청하는 경우에, 오케스트라의 특정 파트(예를 들면, 바이올린)의 연주가 부각되거나 커지면 그에 해당하는 입체 영상의 특정 영역 또는 객체(예를 들면, 바이올린 연주자)의 색감이 변화하거나, 입체감이 커지는 등의 효과를 부여하는 것이다.
이를 위해 연계정보에는 입체 오디오의 각 음원에 대한 식별 정보와 입체 영상에 포함된 각 영역 또는 객체의 식별 정보가 포함되어 있다. 그리고 포함된 음원 식별 정보 및 입체 영상의 영역 또는 객체 식별 정보 간의 연계정보를 통해, 어떤 음원이 재생되고 있을 때 그에 해당하는 입체 영상의 어떠한 영역 또는 객체가 대응되는지를 파악할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상의 재생 및 제공 방법을 설명하기 위한 도면이다.
도 1에 나타난 바와 같이, 시청자는 오케스트라가 음악을 연주하는 장면(104)을 5.1채널 오디오 환경(102)을 통해 감상할 수 있다. 이때, 오케스트라 연주 화면(104)은 3차원 객체들로 구성된 입체 영상이 될 수 있다.
도 1에서, 연주 화면(104)은 3차원 객체들로 구성된 입체 영상이므로 각 객체, 예를 들면 연주자나 악기 등 화면에 나타난 모든 객체에는 입체감이 부여되어 있다. 따라서 시청자는 실제 연주장에서와 마찬가지로 각 연주자의 위치를 입체적으로 감상할 수 있다. 또한, 5.1채널 오디오 환경(102)을 통해, 시청자는 마치 실제 연주장에 와 있는 것과 같이 입체적인 음향을 즐길 수 있다. 이러한 오디오 및 입체 영상의 재생 및 시청 과정은 종래 이루어졌던 것으로, 입체 오디오 및 그와 연계된 입체 영상을 재생하는 것에 불과하다.
본 발명의 일 실시예에서는 종래와 같이 단순하게 오디오 및 입체 영상을 재생하는 것이 아니라, 입체 오디오의 특정 음원이 강조되는 경우 그에 해당하는 입체 영상 객체를 부각시킴으로써 시청자가 보다 실감나는 화면을 즐길 수 있도록 한다.
만약, 5.1채널 오디오 환경(102)에서 입체 영상 재생 중 도 1과 같이 오른쪽(Right) 오디오가 강조되거나 소리가 커지는 경우, 연주 장면(104)에서는 그에 해당하는 영역, 즉 화면의 오른쪽 뒷 부분이 선택된다. 이렇게 해당 영역이 선택되면, 입체감을 조정하여 해당 영역이 다른 영역보다 더 부각되도록 한다. 예를 들어, 연주 장면(104)이 하나 이상의 객체 및 깊이 맵(depth)으로 이루어진 입체 영상인 경우, 깊이(depth) 값을 증가 또는 감소시킴으로써 해당 영역(또는 객체)이 보다 부각될 수 있다.
이러한 효과를 제공하기 위해서, 본 발명의 다른 실시예에서는 텍스춰와 깊이(depth) 이미지로 구성된 입체 영상을 사용할 수 있다. 여기서, 깊이 입체 영상은 공간상에서 깊이감을 제공하는 입체 영상으로, 일반적으로 0~255의 깊이 값을 사용하여 깊이감을 표현한다. 이러한 깊이 값은 단말에서 사용자 또는 응용 프로그램에 의해 조정이 가능하며 이를 통해 깊이감을 원하는 대로 변경할 수 있다. 이러한 깊이감 제어를 입체 오디오와 연동하여 제공하므로써 사용자에게 입체 오디오의 소정의 음원에 해당하는 입체 영상 영역(또는 객체)를 보다 실감나게 인식시키는 것이 가능해진다.
본 발명의 또 다른 실시예에서는 선택된 입체 영상 영역의 깊이를 조정하는 대신 해당 영역의 색감이나 명암 등을 조정함으로써 해당 영역을 시청자에게 보다 확실하게 인식시키는 방법을 사용할 수도 있다.
본 발명의 일 실시예에서, 입체 영상을 구성하는 3D 객체는 깊이(depth) 또는 디스패러티(disparity)의 조정이 가능한 3D 객체로 구성된다. 여기서, 3D 객체는 임의의 크기를 갖는 3D 비디오를 포함하여 알파 맵(alpha map)을 지원하는 3D 이미지 객체(예를 들어, JPEG, PNG 또는 MNG 형식)를 포함한다. 이러한 입체 영상을 구성하는 3D 객체는 화면상의 3차원 공간에 위치하며, 각 3D 객체는 특정 오디오 채널(또는 음원)과 연계된다.
본 발명의 일 실시예에서는, 입체 오디오가 재생될 때 해당 오디오의 소정 음원에 해당하는 3D 객체의 깊이 맵(depth map)을 조정하여 3D 객체의 깊이감을 확대 또는 축소하고, 이를 통해 입체 오디오 또한 부각시키는 효과를 제공할 수 있다. 여기서, 조정이라 함은 깊이 맵 또는 디스패러티 값을 조정하여 깊이감을 변경함을 의미한다.
이렇게 입체 오디오의 소정 음원과 그에 대응하는 재생 입체 영상의 영역을 선택하기 위해서는 입체 영상과 오디오 간의 연계정보가 필요하다. 본 발명의 일 실시예에서는 이러한 연계정보로서 3D 객체와 입체 오디오 간의 메타 정보가 이용된다. 이 메타 정보는 메타 정보 식별자, 3D 객체와 오디오 채널(또는 오디오 객체)의 식별자, 깊이 조정 정보, 조정 방법, 깊이 효과, 이벤트 시작 시간, 이벤트 지속 시간 및 이벤트 종료 시간 등의 정보를 포함할 수 있다.
먼저, 메타 정보 식별자는 메타 정보를 구성하는 데이터(패킷, 파일을 포함한 식별 정보 제공이 가능한 문자 및 코드)를 식별하기 위한 식별자이다.
객체 식별자는 연계된 오디오와 입체 영상을 식별하기 위한 정보로, MPEG-2 시스템을 사용할 경우 ES ID가 될 수 있으며, MPEG-2 시스템이 아닌 경우는 별도의 CRDI, URL 및 URI를 사용함으로써 오디오와 입체 영상을 식별할 수 있다.
깊이 조정 정보는 조정 값, 최소 값, 최대 값으로 구성될 수 있으며, 조정 값은 기존의 깊이 맵을 조정하기 위한 기본 값을 의미한다. 최소값은 깊이 값 조정 시 보장되어야 할 최소 값을 의미하며, 최대값은 깊이 값 조정 시 보장되어야 할 최대 값을 의미한다.
깊이 조정 방법은 깊이 조정 값을 반영하기 위한 방법으로, 일반적으로 더하기, 곱하기, 선형 증가 또는 선형 감소와 같은 방법을 적용할 수 있다. 만약, 조정 방법이 더하기일 경우, 기존 깊이 맵의 값에 깊이 조정 값을 더함으로써 해당 영역의 깊이감을 조정할 수 있다. 깊이 조정 방법이 선형 증가인 경우, 깊이 조정 값은 기존 값에서 선형적으로 증가될 수 있으며, 반대로 선형 감소인 경우에는 조정 값이 기존 값에서 선형적으로 감소될 수 있다.
이벤트 시작 시간은 해당 오디오의 소정 음원과 대응되는 재생 입체 영상의 3D 객체의 깊이감 조정이 적용되는 시작 시간을 의미한다. 시간 표시 방법으로서 일반 방송의 경우 UTC(Universal Time coordinated) 값을 사용할 수 있으며, 인터넷의 경우에는 인터넷 표준 시간을 적용할 수 있다. 또한, 이벤트 지속 시간은 3D 객체의 깊이감 조정이 적용되는 지속 시간을 의미하며, 이벤트 종료 시간은 3D 객체의 깊이감 조정이 종료되는 시간을 의미한다.
이러한 메타 정보는 응용에 따라 다양한 형태로 구성되어 제공될 수 있다. 예를 들어, DVD와 같은 저장 매체를 통해 파일로 저장될 경우 별도의 트랙으로 구성되어 제공될 수 있다. 방송망을 통해 제공될 경우는 특정한 메타데이터로 구성되어 스트림으로 전송되거나 아니면 비디오 스트림에 메타 정보로 부가되어 제공될 수 있다. 인터넷을 통한 통신망의 경우에는 개별 파일로 별도로 제공될 수 있으며 방송망 제공 방법과 동일하게 별도의 메타데이터나 비디오 또는 오디오 스트림 내에 포함되어 제공될 수도 있다. 즉, 본 발명의 바람직한 실시예에서 연계정보는 입체 오디오, 입체 영상과 함께 하나의 통합된 파일 형식으로 제공될 수도 있고, 입체 오디오, 입체 영상과는 별도의 파일로 구성되어 제공될 수도 있다.
지금까지 도 1을 통하여 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 제공에 대하여 설명하였다. 도 1에서는 편의상 특정한 3차원 입체 영상을 통해 본 발명의 실시예를 설명하였으나, 본 발명이 이와 같은 특정한 입체 영상에만 국한되어 적용되는 것은 아니다.
도 2는 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 재생 장치의 구성을 나타내는 구성도이다.
도 2에서, 입체 오디오 및 입체 영상 재생 장치(202)는 오디오 및 입체 영상 획득부(204), 연계정보 획득부(206), 입체 영상 처리부(208)를 포함한다.
오디오 및 입체 영상 획득부(204)는 입체 오디오 및 이 입체 오디오와 연계된 입체 영상을 획득하는 역할을 한다. 이러한 오디오 및 입체 영상은 방송망 또는 통신망을 통해 실시간으로 획득될 수도 있고, 기록 매체 등에 의해 미리 저장된 파일 등으로부터 획득될 수도 있다. 즉, 오디오 및 입체 영상의 획득은 어떠한 방법이나 매체를 통해서도 가능하다.
연계정보 획득부(206)는 오디오 및 입체 영상 획득부(204)가 획득한 입체 오디오 및 입체 영상 간의 연계정보를 획득하는 역할을 한다. 연계정보 또한 오디오 및 입체 영상과 마찬가지로 여러 가지 방법이나 매체를 통해서 획득될 수 있다. 예를 들어, 오디오 및 입체 영상이 DVD 기록매체에 저장된 경우, 연계정보 획득부(206)는 오디오 및 입체 영상과는 별도의 트랙에 저장된 연계정보(예를 들면, 메타데이터)를 획득할 수 있다.
입체 영상 처리부(208)는 연계정보 획득부(206)에 의해 획득된 연계정보를 이용하여, 재생되는 입체 영상에서 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 역할을 한다. 앞서 언급한 바와 같이, 연계정보에는 입체 오디오의 각 음원에 대한 식별 정보 및 입체 영상에 포함된 각 영역(또는 객체)의 식별 정보가 포함되어 있다. 또한, 컨텐츠 제공자나 편집자에 의해 저장된, 어느 음원이 어느 입체 영상 영역에 대응되는지에 대한 정보 또한 포함될 수 있다. 입체 영상 처리부(208)는 이러한 연계정보를 이용하여 입체 오디오의 소정의 음원에 대응하는 영역을 재생되는 입체 영상에서 선택하며, 선택된 입체 영상 영역에 대하여 입체감 정보(깊이 정보 또는 디스패러티 정보를 포함)나 색감, 명암 등을 조정한다.
여기서, 연계정보에는 위에 언급한 오디오 및 입체 영상의 식별 정보뿐만 아니라, 선택된 입체 영상 영역의 입체감 정보, 색감 또는 명암의 조정을 수행하기 위한 조정 값과, 그러한 조정이 수행되기 위한 시간 정보(조정 시작 시간, 조정 수행 시간, 조정 종료 시간) 등이 포함될 수 있다.
한편, 도 2에는 도시되지 않았으나, 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상을 재생하기 위해서는 이러한 입체 오디오 및 입체 영상이 제공되어야 한다. 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 제공 장치는 입체 오디오, 이 입체 오디오와 연계된 입체 영상, 이 입체 영상을 재생할 때 입체 오디오의 소정의 음원에 대응하는 영역을 선택하기 위한, 입체 오디오 및 입체 영상 간의 연계정보를 전송하는 데이터 전송부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 제공 장치는 입체 오디오/비디오 장면 구성 데이터를 생성하고, 이 입체 오디오/비디오 장면 구성 데이터를 데이터 전송부를 통해 전송할 수 있다. 본 발명의 일 실시예에 의한 연계정보는 하나의 입체 오디오와 연계된 하나의 입체 영상에 대한 것인데, 입체 영상에는 보통 복수 개의 객체가 존재하게 마련이다. 따라서 하나 이상의 입체 오디오, 하나 이상의 입체 영상 및 하나 이상의 연계정보를 이용하여 특정 장면에 대한 장면 구성 데이터를 생성하는 것이 가능하다. 예를 들어, 어떤 특정 장면에서, A라는 오디오 객체에 대해서는 영상 객체 A'가, B라는 오디오 객체에 대해서는 영상 객체 B'가 각각 연계되어 있는 경우, 해당 장면에서 A 및 B 오디오 객체가 동시에 재생됨에 따라서 A' 및 B'의 깊이감이 동시에 조정될 수 있는 것이다. 이렇게 특정 장면에 대한 복수 개의 입체 오디오, 입체 영상 및 연계정보를 통합하여 하나의 입체 오디오/비디오 장면 구성 데이터로 생성하고 이를 전송하는 것이 가능하다.
도 3은 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 재생 과정을 설명하기 위한 흐름도이다.
먼저, 입체 오디오 및 이 입체 오디오와 연계된 입체 영상을 획득한다(302). 앞서 말한 바와 같이 입체 오디오 및 입체 영상은 어떠한 방법이나 매체로도 획득하는 것이 가능하다. 그리고 입체 오디오 및 입체 영상의 획득과 함께, 입체 오디오 및 입체 영상 간의 연계정보를 획득한다(304).
그리고 나서, 획득된 연계정보를 이용하여, 재생되는 입체 영상에서 입체 오디오의 소정의 음원에 대응하는 영역(또는 객체)을 선택한다(306). 이렇게 선택된 입체 영상 영역의 입체감 정보(깊이 또는 디스패러티 정보), 색감 또는 명암을 조정함(308)으로써 시청자에게 해당 음원에 대한 보다 실감나는 입체 영상을 제공하는 것이 가능하다. 입체감 정보의 경우, 깊이 또는 디스패러티 정보의 조정 값을 늘리거나 줄임으로써 해당 영역이나 객체를 더 튀어나와 보이게 혹은 더 들어가 보이게 할 수 있다. 또한, 색감을 변형시킴으로써 해당 영역이 주변의 다른 영역 또는 물체와는 확연히 다르게 보이도록 할 수 있다. 또는, 해당 영역의 명암을 조정하여 같은 효과를 얻을 수도 있다.
도 4는 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 제공 과정을 설명하기 위한 흐름도이다.
먼저, 입체 오디오 및 이 입체 오디오와 연계된 입체 영상을 전송한다(402). 그리고 이 입체 영상을 재생할 때, 입체 오디오의 소정의 음원에 대응하는 영역을 선택하기 위한, 입체 오디오 및 입체 영상 간의 연계정보를 전송한다(404). 여기서, 연계정보는 입체 오디오의 각 음원에 대한 식별 정보 및 입체 영상에 포함된 각 영역의 식별 정보를 포함한다.
그리고 나서, 복수 개의 입체 오디오, 입체 영상 및 연계정보를 이용하여 입체 오디오/비디오 장면 구성 데이터를 생성하며(406), 생성된 입체 오디오/비디오 장면 구성 데이터를 전송한다(408).
이러한 본 발명에 의하면, 입체 오디오와 입체 영상 간의 연계정보를 이용하여 입체 오디오의 음원에 대응하는 입체 영상 영역을 선택함으로써 단순히 오디오와 입체 영상의 동기만을 맞추는 것이 아니라 입체 영상 내에 위치한 특정 객체와 오디오를 매칭시킬 수 있는 장점이 있다.
또한, 본 발명에 의하면 입체 영상 내의 특정 객체와 입체 오디오를 매칭시킴으로써 해당 오디오에 맞는 입체 영상 효과를 해당 객체에 부여하여 보다 실감나는 입체 오디오 및 입체 영상 서비스를 제공할 수 있는 장점이 있다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상의 재생 및 제공 방법을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 재생 장치의 구성을 나타내는 구성도.
도 3은 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 재생 과정을 설명하기 위한 흐름도.
도 4는 본 발명의 일 실시예에 의한 입체 오디오 및 입체 영상 제공 과정을 설명하기 위한 흐름도.

Claims (14)

  1. 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 단계;
    상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 단계;
    상기 연계정보를 이용하여, 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 단계; 및
    상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는 단계를 포함하고,
    상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하는, 입체 오디오 및 입체 영상 재생 방법.
  2. 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 단계;
    상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 단계;
    상기 연계정보를 이용하여, 재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하는 단계; 및
    상기 선택된 입체 영상 영역의 입체감 정보를 조정하는 단계를 포함하고,
    상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하며,
    상기 입체감 정보는 상기 입체 영상의 깊이(depth) 정보 또는 디스패러티(disparity) 정보인, 입체 오디오 및 입체 영상 재생 방법.
  3. 제 2항에 있어서,
    상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는 단계를 더 포함하는, 입체 오디오 및 입체 영상 재생 방법.
  4. 제 3항에 있어서,
    상기 연계정보는,
    상기 입체감 정보 또는 상기 색감 또는 명암의 조정을 위한 조정 값과, 상기 입체감 정보 또는 상기 색감 또는 명암의 조정이 수행되는 시간 정보 중 적어도 하나를 포함하는, 입체 오디오 및 입체 영상 재생 방법.
  5. 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 오디오 및 입체 영상 획득부;
    상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 연계정보 획득부; 및
    재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 상기 연계정보를 이용하여 선택하고, 상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는 입체 영상 처리부를 포함하고,
    상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하는, 입체 오디오 및 입체 영상 재생 장치.
  6. 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 획득하는 오디오 및 입체 영상 획득부;
    상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 획득하는 연계정보 획득부; 및
    재생되는 상기 입체 영상에서 상기 입체 오디오의 소정의 음원에 대응하는 영역을 상기 연계정보를 이용하여 선택하고, 상기 선택된 입체 영상 영역의 입체감 정보를 조정하는 입체 영상 처리부를 포함하고,
    상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하며,
    상기 입체감 정보는 상기 입체 영상의 깊이(depth) 정보 또는 디스패러티(disparity) 정보인, 입체 오디오 및 입체 영상 재생 장치.
  7. 제 6항에 있어서,
    상기 입체 영상 처리부는,
    상기 선택된 입체 영상 영역의 색감 또는 명암을 조정하는, 입체 오디오 및 입체 영상 재생 장치.
  8. 제 7항에 있어서,
    상기 연계정보는,
    상기 입체감 정보 또는 상기 색감 또는 명암의 조정을 위한 조정 값과, 상기 입체감 정보 또는 상기 색감 또는 명암의 조정이 수행되는 시간 정보 중 적어도 하나를 포함하는, 입체 오디오 및 입체 영상 재생 장치.
  9. 입체 오디오 및 상기 입체 오디오와 연계된 입체 영상을 전송하는 단계; 및
    상기 입체 영상을 재생할 때 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하기 위한 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 전송하는 단계를 포함하고,
    상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하고, 입체감 정보 또는 색감 또는 명암의 조정을 위한 조정 값과, 상기 입체감 정보 또는 상기 색감 또는 상기 명암의 조정이 수행되는 시간 정보 중 적어도 하나를 포함하는, 입체 오디오 및 입체 영상 제공 방법.
  10. 제 9항에 있어서,
    상기 입체 오디오, 상기 입체 영상 및 상기 연계정보는 하나의 통합 파일로 구성되는, 입체 오디오 및 입체 영상 제공 방법.
  11. 제 9항에 있어서,
    상기 연계정보는 상기 입체 오디오 및 상기 입체 영상과 별도의 파일로 구성되는, 입체 오디오 및 입체 영상 제공 방법.
  12. 제 9항에 있어서,
    상기 입체 오디오, 상기 입체 영상 및 상기 연계정보를 이용하여 입체 오디오/비디오 장면 구성 데이터를 생성하는 단계; 및
    상기 입체 오디오/비디오 장면 구성 데이터를 전송하는 단계
    를 더 포함하는 입체 오디오 및 입체 영상 제공 방법.
  13. 입체 오디오, 상기 입체 오디오와 연계된 입체 영상, 상기 입체 영상을 재생할 때 상기 입체 오디오의 소정의 음원에 대응하는 영역을 선택하기 위한 상기 입체 오디오 및 상기 입체 영상 간의 연계정보를 전송하는 데이터 전송부를 포함하고,
    상기 연계정보는 상기 입체 오디오 내의 각종 음원에 대한 식별 정보 및 "상기 각종 음원에 대응하는 상기 입체 영상 내의 각 영상 영역"에 대한 식별 정보를 포함하고, 입체감 정보 또는 색감 또는 명암의 조정을 위한 조정 값과, 상기 입체감 정보 또는 상기 색감 또는 상기 명암의 조정이 수행되는 시간 정보 중 적어도 하나를 포함하는, 입체 오디오 및 입체 영상 제공 장치.
  14. 제 13항에 있어서,
    상기 입체 오디오, 상기 입체 영상 및 상기 연계정보를 이용하여 입체 오디오/비디오 장면 구성 데이터를 생성하는 장면 구성부를 더 포함하고,
    상기 데이터 전송부는 상기 입체 오디오/비디오 장면 구성 데이터를 전송하는, 입체 오디오 및 입체 영상 제공 장치.
KR1020090030316A 2008-12-08 2009-04-08 실감 멀티미디어 서비스 제공 방법 및 장치 KR101235832B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080124307 2008-12-08
KR1020080124307 2008-12-08

Publications (2)

Publication Number Publication Date
KR20100066289A KR20100066289A (ko) 2010-06-17
KR101235832B1 true KR101235832B1 (ko) 2013-02-21

Family

ID=42365404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090030316A KR101235832B1 (ko) 2008-12-08 2009-04-08 실감 멀티미디어 서비스 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101235832B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8958565B2 (en) 2011-03-21 2015-02-17 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
US10187737B2 (en) 2015-01-16 2019-01-22 Samsung Electronics Co., Ltd. Method for processing sound on basis of image information, and corresponding device
KR102388361B1 (ko) * 2016-08-12 2022-04-20 주식회사 에스큐그리고 입체 영상 재생 방법, 입체 음향 재생 방법, 입체 영상 재생 시스템 및 입체 음향 재생 시스템
WO2019132516A1 (ko) * 2017-12-28 2019-07-04 박승민 입체 음향 컨텐츠 저작 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084083A (ko) * 2002-12-02 2005-08-26 톰슨 라이센싱 에스.에이. 오디오 신호의 구성 설명 방법
JP2007158396A (ja) * 2005-11-30 2007-06-21 Mitsubishi Electric Corp 映像・音声同期伝送装置
KR100733965B1 (ko) 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
KR20080065766A (ko) * 2007-01-10 2008-07-15 광주과학기술원 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084083A (ko) * 2002-12-02 2005-08-26 톰슨 라이센싱 에스.에이. 오디오 신호의 구성 설명 방법
KR100733965B1 (ko) 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
JP2007158396A (ja) * 2005-11-30 2007-06-21 Mitsubishi Electric Corp 映像・音声同期伝送装置
KR20080065766A (ko) * 2007-01-10 2008-07-15 광주과학기술원 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof
US11422768B2 (en) 2019-08-14 2022-08-23 Samsung Electronics Co., Ltd. Immersive display system and method thereof

Also Published As

Publication number Publication date
KR20100066289A (ko) 2010-06-17

Similar Documents

Publication Publication Date Title
JP7251592B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10440496B2 (en) Spatial audio processing emphasizing sound sources close to a focal distance
Rumsey Spatial audio
KR101235832B1 (ko) 실감 멀티미디어 서비스 제공 방법 및 장치
EP1416769A1 (en) Object-based three-dimensional audio system and method of controlling the same
US11877135B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
KR101381396B1 (ko) 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
JP2013523006A (ja) 立体音響の再生方法及びその装置
Holman New factors in sound for cinema and television
JP2018110366A (ja) ３ｄサウンド映像音響機器
US10321252B2 (en) Transaural synthesis method for sound spatialization
Shirley et al. Platform independent audio
KR101682105B1 (ko) 입체음향 조절 방법 및 장치
Malham Toward reality equivalence in spatial sound diffusion
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
Ando Preface to the Special Issue on High-reality Audio: From High-fidelity Audio to High-reality Audio
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
RU2815366C2 (ru) Аудиоустройство и способ обработки аудио
RU2798414C2 (ru) Аудиоустройство и способ обработки аудио
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
Rébillat et al. SMART-I 2:“Spatial multi-user audio-visual real-time interactive interface”, A broadcast application context
Benicek Methods and Techniques for Capturing Music Concerts for Virtual Reality Experiences
Miller III Recording immersive 5.1/6.1/7.1 surround sound, compatible stereo, and future 3D (with height)
KR20190082055A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee