KR20080098819A - 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치 - Google Patents

다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치 Download PDF

Info

Publication number
KR20080098819A
KR20080098819A KR1020070044158A KR20070044158A KR20080098819A KR 20080098819 A KR20080098819 A KR 20080098819A KR 1020070044158 A KR1020070044158 A KR 1020070044158A KR 20070044158 A KR20070044158 A KR 20070044158A KR 20080098819 A KR20080098819 A KR 20080098819A
Authority
KR
South Korea
Prior art keywords
channel
view
viewpoint
audio signal
audio
Prior art date
Application number
KR1020070044158A
Other languages
English (en)
Other versions
KR100954033B1 (ko
Inventor
김홍국
김만배
이영한
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070044158A priority Critical patent/KR100954033B1/ko
Publication of KR20080098819A publication Critical patent/KR20080098819A/ko
Application granted granted Critical
Publication of KR100954033B1 publication Critical patent/KR100954033B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리 방법 및 장치를 개시한다. 개시된 본 발명은 다채널 화상 시스템에서 오디오 신호를 처리하는 방법에 있어서, 다채널 오디오 신호를 입력 받는 단계 및 상기 입력된 다채널 오디오 신호를 미리 설정된 알고리즘에 따라 시점 종속 다채널 오디오 신호로 변환하는 단계를 포함한다. 본 발명에 따르면 다시점에 상응하는 오디오 신호를 제공함으로써 사용자의 몰입감을 높일 수 있는 장점이 있다.
다시점, 화상, 오디오, 시점 종속, 다채널, 5.1채널, 스피커, 중앙 시점

Description

다시점 화상 시스템에서 시점 종속 다채널 오디오 처리 방법 및 장치{A Method and Apparatus for View-dependent Multi-channel Audio Processing for a Multi-view Camera System}
도 1은 다시점 화상 시스템을 도시한 도면.
도 2는 본 발명의 바람직한 일 실시예에 따른 다시점 화상 및 시점 종속 오디오 제공 시스템을 도시한 도면.
도 3은 ITU에서 표준으로 정의하고 있는 5.1채널 오디오 시스템을 도시한 도면.
도 4는 본 발명의 바람직한 일 실시예에 따른 시점 종속 오디오 재구성부의 오디오 신호 처리 과정을 도시한 도면.
도 5는 본 발명에 따른 시점 종속 오디오 재구성부의 상세 구성을 도시한 도면.
도 6은 본 발명에 따른 시점 종속 오디오 처리의 성능 평가를 위한 그래프.
본 발명은 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리 방법 및 장치에 관한 것으로서, 보다 상세하게는 사용자의 시점에 따른 오디오 신호를 제공할 수 있는 방법 및 장치에 관한 것이다.
최근에는 2차원적 멀티미디어 서비스를 3차원적으로 표현하여 보다 생동감이 있는 멀티미디어 서비스를 제공하고자 하는 노력이 증대되고 있다.
다시점 화상 시스템은 2차원 비디오의 데이터를 확장된 방식으로 서비스할 수 있다는 장점을 가지고 있어 큰 주목을 받고 있으며 다시점 화상 시스템에 대한 연구가 활발히 진행되고 있다.
도 1은 다시점 화상 시스템을 도시한 도면이다.
도 1에 도시된 바와 같이, 다시점 화상 시스템은 복수의 카메라(102-1 내지 102-n) 및 마이크(104)로부터 화상 및 오디오를 획득한다.
이와 같은 다시점 화상 시스템은 일반적으로 7개 내지 20개의 복수의 카메라(102-1 내지 102-n)를 통해 얻어진 비디오 신호와 복수의 마이크(104)를 통해 얻어진 오디오 신호를 서버(106)에 저장한다.
서버(106)는 상기와 같이 얻어진 비디오 신호와 음성 신호를 압축하고, 입력 비디오 수, 카메라 정보 등의 부가 정보를 함께 패킷화하여 클라이언트(108)로 전송한다.
서버(106)는 사용자의 시점 선택에 따라 비디오 신호를 가공 처리하여 클라이언트(108)로 전송하기 때문에 사용자는 시점에 상응하는 화상을 볼 수 있으나 오디오의 경우에는 원음에 대한 처리를 하지 않는 방식을 사용한다.
종래기술에 따르면 사용자의 시점 변화에 따라 시각적 정보는 변하지만 청각 적 정보는 변하지 않기 때문에 진정한 다시점 서비스를 제공하지 못하는 문제점이 있었다.
이처럼 다시점 화상 시스템에서 오디오 신호를 시점에 종속되게 처리하지 못하는 것은 시점 종속 오디오를 제공하는 경우, 시스템 구성이 복잡해지고 예를 들어, 5.1채널의 오디오 시스템에서 시점에 종속되는 오디오 신호를 제공하기 위해 35개 내지 100개의 마이크가 필요로 하여 시스템 구성비용이 증가하기 때문이다.
본 발명은 위와 같은 종래 기술의 문제점을 감안하여 안출된 것으로서, 다시점 화상 시스템에서 시점에 종속되는 오디오 신호를 제공함으로써 사용자의 몰입감을 높일 수 있는 방법 및 장치를 제안하고자 한다.
본 발명의 다른 목적은 다시점 화상 시스템에서 간단한 구성 및 저렴한 비용으로 시점 종속 오디오 신호를 제공할 수 있는 방법 및 장치를 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 다채널 화상 시스템에서 오디오 신호를 처리하는 방법에 있어서, (a) 다채널 오디오 신호를 입력 받는 단계; 및 (b) 상기 입력된 다채널 오디오 신호를 미리 설정된 알고리즘에 따라 시점 종속 다채널 오디오 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법에 제공된다.
본 발명의 다른 측면에 따르면 상기한 방법을 수행하는 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 측면에 따르면, 클라이언트와 네트워크를 통해 연결되어 다채널 화상 서비스를 제공하는 장치에 있어서, 상기 클라이언트로부터 사용자의 시점 선택 정보를 수신하는 서술자 적응 엔진; 및 상기 시점 선택 정보에 따라 다채널 오디오 신호를 미리 설정된 알고리즘에 따라 시점 종속 다채널 오디오 신호로 변환하는 시점 종속 오디오 재구성부를 포함하는 것을 특징으로 하는 장치가 제공된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도 면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 다시점 화상 및 시점 종속 오디오 제공 시스템을 도시한 도면이다.
도 2에 도시된 바와 같이, 본 발명에 따른 시스템은 서버(200), 네트워크(202) 및 클라이언트(204)를 포함할 수 있다.
서버(200)는 다시점에서 획득된 비디오 신호를 저장하고, 사용자가 선택한 시점에 상응하는 비디오 신호를 제공한다.
또한, 본 발명에 따른 서버(200)는 사용자가 선택한 시점에 종속되는 오디오 신호를 생성한다. 예를 들어, 서버(200)는 5.1채널 오디오 신호를 채널별로 저장하며, 사용자의 시점 선택이 있는 경우 5.1채널 오디오 신호를 시점에 종속되도록 가공하여 클라이언트(204)로 전송한다.
서버(200)와 클라이언트(204)는 네트워크(202)를 통해 연결되며, 여기서 네트워크(202)는 인터넷, 전용선을 포함하는 유선 네트워크와 무선 인터넷, 이동 통신망 및 위성 통신망을 포함하는 무선 네트워크를 모두 포함할 수 있다
클라이언트(204)는 3차원 모니터와 같은 디스플레이 및 하나 이상의 스피커에 연결된 장치로서, DI(Digital Item) 플레이어(230)는 서버(200)로부터 전송된 비디오 신호 및 오디오 신호를 수신하여 재생한다.
본 발명에 따르면, 클라이언트(204)는 사용자의 시점 선택 정보를 네트워크(202)를 통해 서버(200)로 전송한다. 클라이언트(204)는 서버(200)로부터 사용자가 선택한 시점에 따른 비디오 신호를 수신하여 재생하며, 또한 시점에 종속되는 오디오 신호를 수신하여 재생한다.
하기에서는 도 2를 참조하여 다시점 비디오 신호 및 시점 종속 오디오 신호 제공 과정을 보다 상세하게 설명한다.
도 2에 도시된 바와 같이, 본 발명에 따른 서버(200)는 서술자 적응 엔진(Description Adaptation Engine,210), 시점 선택부(212), 중간 시점수 계산부(214), 중간 시점 재구성부(Intermediate View Reconstruction: IVR, 216), 3차원 심도 적응부(3 Dimension Depth Adaptation, 218), 비디오 신호 생성부(220) 및 시점 종속 오디오 재구성부(View-Dependent Audio Reconstruction: VAR, 222)를 포함할 수 있다.
서술자 적응 엔진(210)은 클라이언트(204)로부터 전송된 사용자 시점 선택 정보를 파싱한다. 여기서 사용자 시점 선택 정보는 클라이언트(204)의 선택 정보 생성부(232)에서 생성한 XML 파일일 수 있으며, XML 파일은 사용자 시점 선택에 관한 서술자(description)를 포함한다.
시점 선택부(212)는 사용자가 선택한 시점에 대응되는 두 개의 인접한 시점 카메라(Vi 및 Vi+1)을 선택한다.
예를 들어, 사용자는 9개의 카메라와 중간 시점 생성을 통해 얻어진 25개의 화상 중 연속된 2개의 화상을 선택하는 방식으로 시점을 선택할 수 있는데, 이때, 시점 선택부(212)는 사용자가 선택한 2개의 화상을 사이에 두는 두 개의 시점 카메라를 선택한다.
중간 시점수 계산부(214)는 3차원 모니터의 특성(disparity) 및 카메라 설정 정보(카메라 수, 인접 카메라 사이의 베이스라인)를 이용하여 중간 시점의 개수(L)를 계산한다. 여기서 3차원 모니터의 디스패리티(disparity)는 좌우 입체 영상을 보여주는 모니터에서 가장 왼쪽(leftmost) 및 오른쪽(rightmost) 사이의 거리이다.
중간 시점 재구성부(216)는 상기와 같이 계산된 중간 시점수에 따른 중간 시점(B0 내지 BL -1)을 생성한다. 여기서 중간 시점의 생성은 인접한 카메라 사이에서 촬상된 것으로 가정되는 프레임을 생성하는 과정으로서, 이는 당업자에게 이미 공지된 사항이므로 이에 대한 상세한 설명은 생략한다.
3차원 심도 적응부(218)는 입체 화상의 디스플레이를 위해 3차원 심도 범위(stereoscopic depth range)를 제어한다. 여기서 3차원 심도 범위는 인접한 두 개의 카메라에서 얻어진 프레임과 이 사이의 중간 시점 프레임 중에서 선택된 한 쌍의 프레임 사이의 거리이다.
비디오 신호 생성부(220)는 상기한 과정을 통해 생성된 좌우 비디오 신호(VL,VR)를 생성한다.
한편, 본 발명의 바람직한 일 실시예에 따르면, 시점 종속 오디오 재구성부(222)는 사용자가 선택한 시점에 종속하는 오디오 신호를 생성한다.
하기에서는 설명의 편의를 위해 본 발명에 따른 시점 종속 오디오 재구성부(222)가 5.1채널 오디오 시스템에 오디오 신호를 제공하는 것을 설명한다. 그러나 상기한 바에 한정됨이 없이 그밖에 채널을 갖는 오디오 시스템에도 적용될 수 있다는 점을 당업자는 이해하여야 할 것이다.
도 3은 ITU(International Telecommunication Union)에서 제안하는 일반적인 5.1채널 오디오 시스템을 구성하는 스피커의 배치도이다.
도 3에 도시된 바와 같이, 5.1채널 오디오 시스템은 각 채널에 상응하는 복수의 스피커(300 내지 308)를 포함하며, 각 스피커는 중앙의 사용자를 기준으로 2~3m 거리에 떨어져 배치된다.
이때, 전방 좌우 스피커(302,308)는 중앙 스피커(300)를 기준으로 30도 간격으로 배치되며, 후방 스피커(304,306)는 110도 간격으로 배치된다. 한편, 0.1채널에 해당하는 LFE(Low Frequency Effect) 스피커는 저주파에 대해 방향성을 느끼지 못하는 사람의 청각 특성 때문에 배치에 특별한 제약이 없다.
본 발명에 따른 시스템이 5.1채널에 적용되는 경우, 도 4에 도시된 바와 같이 시점 종속 오디오 재구성부(222)는 채널별로 저장된 오디오 신호(Input1 내지 Input5)를 재구성하여 시점 종속 오디오 신호(Output1 내지 Output5)를 출력한다.
여기서 입력 오디오 신호는 도 1에 도시된 바와 같이, 복수의 카메라 중 피사체(100)를 정면(사용자의 정면 시선에 해당)에서 촬영하는 중앙의 시점 카메라(102-1)를 기준으로 취득한 5.1채널 오디오 신호일 수 있다.
한편, LFE 채널에 해당하는 입력 오디오 신호(Input6)는 바이패스되어 시점 종속 오디오 재구성부(222)를 거치지 않고 바로 클라이언트(204)로 전송된다. 이는 LFE 채널에 대해 사용자가 방향성을 느끼지 못하기 때문이다.
본 발명에 따른 시점 종속 오디오 재구성부(222)는 LFE 채널을 제외한 나머 지 채널에 해당하는 오디오 신호를 사용자의 시점 선택 정보에 따라 시점 종속 오디오 신호로 재구성하는 과정을 수행한다.
도 5는 본 발명에 따른 시점 종속 오디오 재구성부의 상세 구성을 도시한 도면이다.
도 5에 도시된 바와 같이, 본 발명에 따른 시점 종속 오디오 재구성부는 각도 계산 모듈(500), 채널 패닝 모듈(502), 가중치 결정 모듈(504) 및 오디오 신호 출력 모듈(506)을 포함할 수 있다.
시점 종속 오디오 재구성부에 관한 설명에 앞서 기본적으로 n번째 입력 오디오 채널은 n번째 출력 오디오 채널에 대응된다. 즉, 사용자가 기본으로 설정된 시점에서 화상을 보는 경우 n번째 출력 오디오 채널은 n번째 입력 오디오 채널과 동일하며, 다음의 수학식 1과 같이 표현된다.
Output n = Input n
여기서 n이 1일 경우는 왼쪽 스피커에 상응하는 채널(L), 2일 경우는 중앙 채널(C), 3일 경우는 오른쪽 채널(R), 4일 경우는 후방 오른쪽 채널(RS), n이 5일 경우는 후방 왼쪽 채널(LS)을 나타낸다.
본 발명에 따르면, 사용자의 시점이 변화하는 경우, n번째 입력 오디오 채널은 하기에서 설명하는 m번째(또는 m+1번째) 출력 오디오 채널로 분배된다.
각도 계산 모듈(500)은 사용자가 선택한 시점에 대해, 사용자가 원하는 오디 오 환경과 기본적인 오디오 환경에서의 중앙 스피커(302)를 이용하여 각도를 계산한다.
채널 패닝 모듈(502)은 계산된 각도 (
Figure 112007033897124-PAT00001
)을 이용하여 n번째 입력 오디오 채널에 대해 회전(panning)된 각도인
Figure 112007033897124-PAT00002
를 탐색한다.
도 3에 도시된 바와 같이 사용자의 시점 선택이 있는 경우, 각 입력 오디오 채널은 가상의 위치(P1 내지 P5)로 회전될 수 있다. 채널 패닝 모듈(502)은 다음의 수학식 2를 통해 회전된 각 입력 오디오 채널이 어떤 스피커 사이에 있는지를 탐색한다.
Figure 112007033897124-PAT00003
여기서 m은 스피커 식별 번호이며, m이 5일 경우 (m+1)은 1로 설정된다.
이때, 입력 오디오 채널의 회전된 각도가 스피커(300 내지 308)의 위치와 동일하지 않을 경우 가중치 결정 모듈(504)은 인접한 두 스피커에서의 오디오 신호의 크기 조절을 통해서 출력 오디오 신호의 방향, 즉 가중치를 결정한다. 아래의 수학식 3을 통해 결정되는 가중치
Figure 112007033897124-PAT00004
은 다음과 같이 정의된다.
Figure 112007033897124-PAT00005
여기서
Figure 112007033897124-PAT00006
과
Figure 112007033897124-PAT00007
은 각각 수학식 2에서 얻어진 회전된 각도와 인접한 스피커의 각도를 나타낸다. 도 3에 도시된
Figure 112007033897124-PAT00008
은 m번째 및 (m+1)번째 스피커의 사이각을 나타낸다. 가중치
Figure 112007033897124-PAT00009
은
Figure 112007033897124-PAT00010
으로 한정되고, n번째 채널의 입력 오디오 신호가 m번째 채널의 출력 오디오 신호에 전달되는 비율에 해당한다. 또한 (m+1)번째 스피커에 전달될 n번째 입력 오디오 신호의 가중치는 다음의 수학식 4와 같이 표현된다.
Figure 112007033897124-PAT00011
가중치가 결정되는 경우, 오디오 신호 출력 모듈(506)은 아래의 수학식 5와 같이 입력 오디오 신호의 가중치 합으로 출력 오디오 신호를 결정한다.
Figure 112007033897124-PAT00012
.
상기와 같이 출력 오디오 신호를 제공하는 경우, 각 시점별로 오디오 획득 장치를 통해 느끼는 효과와 유사한 성능을 나타내기 때문에 시스템 구축의 용이성 및 설비 비용 감소 측면에도 보다 효율적이다.
도 6은 본 발명에 따른 시점 종속 다채널 오디오 처리의 성능 평가를 위한 그래프이다.
다시점 화상 시스템에서 시점 변화에 따른 다채널 오디오 처리의 성능을 검증하기 위해 발명한 시점 변화에 따른 다채널 오디오 생성에서 시점 변화를 주었다.
테스트 신호로 중앙(center) 스피커에 상응하는 채널에 톤 신호를 사용하고 그 외의 채널을 무음(silence)으로 하여 시점 선택에 따라 채널변화를 톤 신호의 크기로 알 수 있도록 하였다. 도 6은 사용자의 각도 변화에 따라 중앙 채널의 톤 신호가 인접 채널로 분배 및 이동이 되는 것을 나타낸 것이다. 도 6의 y 축은 정규화된 톤 신호의 크기를 나타내고 x 축은 변화된 각도를 나타낸다. 도 6에서 보는 바와 같이, 본 발명에서 개발한 시점 종속 다채널 오디오 처리 기술을 이용하여 신호가 다시점 화상 시스템에서 시점 변화에 맞도록 변화된 것을 확인할 수 있다.
한편, 상기에서는 사용자의 시점 선택에 따라 서버에서 시점 종속 오디오 신호 처리를 하는 것으로 설명하였으나 이에 한정됨이 없이 해당 과정을 클라이언트가 자체적으로 수행할 수도 있다는 점은 당업자에게 있어 자명할 것이다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 따르면 다시점 화상 시스템에서의 몰입감이 높은 다채널 오디오를 제공할 수 있는 장점이 있다.
또한 본 발명에 따르면 다시점 화상의 시점 따라 변화된 다채널 오디오 처리가 가능하며, 사용자의 몰입감을 높이기 위해 고정된 각도 안에서의 변화가 아닌 시스템 개발자 및 사용자가 원하는 각도에서 변화가 가능한 서비스를 제공할 수 있는 장점이 있다.
또한 본 발명에 따르면 다시점 화상 시스템뿐만 아니라 게임, 가상현실 및 실감 방송 등 다양한 서비스에 적용이 가능하다는 장점이 있다.

Claims (15)

  1. 다채널 화상 시스템에서 오디오 신호를 처리하는 방법에 있어서,
    (a) 다채널 오디오 신호를 입력 받는 단계; 및
    (b) 상기 입력된 다채널 오디오 신호를 미리 설정된 알고리즘에 따라 시점 종속 다채널 오디오 신호로 변환하는 단계를 포함하는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는 사용자의 시점 선택 정보에 상응하여 수행되는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 (b) 단계는,
    (b1) 미리 설정된 기준점을 중심으로 상기 사용자의 시점 선택 정보에 상응하는 각도를 계산하는 단계;
    (b2) 상기 계산된 각도를 이용하여 n(여기서 n은 1이상의 자연수)번째 입력 오디오 채널의 회전 각도를 탐색하는 단계; 및
    (b3) 상기 탐색된 회전 각도를 통해 상기 n번째 입력 오디오 채널을 소정의 출력 오디오 채널로 전달하는 단계를 포함하는 것을 특징으로 하는 시점 종속 오디 오 신호 처리 방법.
  4. 제3항에 있어서,
    상기 (b2) 단계는 하기의 수학식,
    Figure 112007033897124-PAT00013
    (여기서 은 n번째 입력 오디오 채널의 회전각도, θ m , θ m+1 은 인접한 스피커 각도)
    에 따라 수행되는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  5. 제3항에 있어서,
    상기 (b3) 단계는 상기 탐색된 회전 각도에 상응하는 위치가 미리 설치된 스피커의 위치와 동일하지 않은 경우에 상기 회전각도에 인접한 m(여기서 m은 1이상의 자연수) 및 m+1 번째 스피커에 상응하는 출력 오디오 채널에 상기 n번째 입력 오디오 채널에 포함되는 오디오 신호를 전달하는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  6. 제5항에 있어서,
    상기 (b3) 단계는 상기 n번째 입력 오디오 채널에 상응하는 신호가 상기 m 및 m+1번째 출력 오디오 채널로 전달되는 비율에 해당하는 가중치를 결정하는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  7. 제6항에 있어서,
    상기 m번째 출력 오디오 채널에 대한 가중치는 하기의 수학식,
    Figure 112007033897124-PAT00014
    (여기서
    Figure 112007033897124-PAT00015
    과
    Figure 112007033897124-PAT00016
    은 n번째 입력 오디오 채널의 회전된 각도와 인접한 스피커의 각도,
    Figure 112007033897124-PAT00017
    은 m번째 및 (m+1)번째 스피커의 사이각)
    에 따라 수행되는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  8. 제7항에 있어서,
    상기 m+1번째 출력 오디오 채널에 대한 가중치는 하기의 수학식,
    Figure 112007033897124-PAT00018
    에 따라 결정되는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  9. 제7항에 있어서,
    상기 m번째 출력 오디오 채널에 포함되는 오디오 신호는 하기의 수학식,
    Figure 112007033897124-PAT00019
    에 따라 합성되는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  10. 제3항에 있어서,
    상기 미리 설정된 기준점은 상기 다채널 화상 시스템의 중앙 시점 카메라인 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  11. 제1항에 있어서,
    상기 저주파수 효과 오디오 신호는 바이패스 하는 단계를 더 포함하는 것을 특징으로 하는 시점 종속 오디오 신호 처리 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  13. 클라이언트와 네트워크를 통해 연결되어 다채널 화상 서비스를 제공하는 장치에 있어서,
    상기 클라이언트로부터 사용자의 시점 선택 정보를 수신하는 서술자 적응 엔진; 및
    상기 시점 선택 정보에 따라 다채널 오디오 신호를 미리 설정된 알고리즘에 따라 시점 종속 다채널 오디오 신호로 변환하는 시점 종속 오디오 재구성부를 포함하는 것을 특징으로 하는 장치.
  14. 제13항에 있어서,
    상기 사용자의 시점 선택에 상응하는 2개의 시점 카메라를 선택하는 시점 선택부;
    상기 선택된 시점 카메라 사이의 중간 시점의 개수를 계산하는 중간 시점수 계산부;
    상기 계산된 중간 시점수에 상응하는 중간 시점을 재구성하는 중간 시점 재구성부;
    입체 화상의 디스플레이를 위해 상기 시점 카메라에 의한 프레임 및 상기 중간 시점의 프레임에 대한 3차원 심도 범위를 제어하는 3차원 심도 적응부; 및
    상기 3차원 심도 범위 제어된 좌우 비디오 신호를 생성하는 비디오 신호 생성부를 더 포함하는 것을 특징으로 하는 장치.
  15. 제14항에 있어서,
    상기 시점 종속 오디오 재구성부는,
    미리 설정된 기준점을 중심으로 상기 사용자의 시점 선택 정보에 상응하는 각도를 계산하는 각도 계산 모듈;
    상기 계산된 각도를 이용하여 n번째 입력 오디오 채널의 회전 각도를 탐색하는 채널 패닝 모듈;
    상기 탐색된 회전 각도를 통해 상기 n번째 입력 오디오 채널을 m번째 출력 오디오 채널로 전달하는 오디오 신호 출력 모듈을 포함하는 것을 특징으로 하는 장치.
KR1020070044158A 2007-05-07 2007-05-07 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치 KR100954033B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070044158A KR100954033B1 (ko) 2007-05-07 2007-05-07 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070044158A KR100954033B1 (ko) 2007-05-07 2007-05-07 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080098819A true KR20080098819A (ko) 2008-11-12
KR100954033B1 KR100954033B1 (ko) 2010-04-20

Family

ID=40286052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070044158A KR100954033B1 (ko) 2007-05-07 2007-05-07 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치

Country Status (1)

Country Link
KR (1) KR100954033B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022658A1 (zh) * 2008-08-27 2010-03-04 深圳华为通信技术有限公司 多视点媒体内容的发送和播放方法、装置及系统
WO2015037905A1 (ko) * 2013-09-12 2015-03-19 Hy Suho 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
KR101646867B1 (ko) * 2015-02-23 2016-08-09 서울과학기술대학교 산학협력단 마이크로폰 위치정보를 이용하는 ftv 입체음향 구현 장치 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101322246B1 (ko) 2011-12-29 2013-10-28 삼성전자주식회사 디스플레이 장치 및 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
KR100703715B1 (ko) * 2005-05-17 2007-04-06 한국전자통신연구원 다시점 3차원 동영상 송수신 시스템
JP2007028066A (ja) 2005-07-14 2007-02-01 Victor Co Of Japan Ltd オーディオ再生システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022658A1 (zh) * 2008-08-27 2010-03-04 深圳华为通信技术有限公司 多视点媒体内容的发送和播放方法、装置及系统
WO2015037905A1 (ko) * 2013-09-12 2015-03-19 Hy Suho 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
KR101646867B1 (ko) * 2015-02-23 2016-08-09 서울과학기술대학교 산학협력단 마이크로폰 위치정보를 이용하는 ftv 입체음향 구현 장치 및 그 방법

Also Published As

Publication number Publication date
KR100954033B1 (ko) 2010-04-20

Similar Documents

Publication Publication Date Title
US10939225B2 (en) Calibrating listening devices
EP1408718B1 (en) Sound image localizer
CN106664501A (zh) 基于所通知的空间滤波的一致声学场景再现的系统、装置和方法
US11877135B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
WO2005025270A1 (ja) 音像制御装置の設計ツールおよび音像制御装置
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
CN107005678A (zh) 调节视频会议系统中的空间一致性
CN110447071B (zh) 信息处理装置、信息处理方法和记录程序的可拆卸介质
CN111492342B (zh) 音频场景处理
KR20230075532A (ko) 오디오 신호 처리 방법 및 장치
KR100954033B1 (ko) 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치
CN112312297B (zh) 音频带宽减小
US20200107148A1 (en) Generating personalized end user head-related transfer function (hrtv) using panoramic images of ear
Cohen et al. Spatial soundscape superposition and multimodal interaction
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
KR101111734B1 (ko) 복수 개의 음원을 구분하여 음향을 출력하는 방법 및 장치
Magariyachi et al. Analytic error control methods for efficient rotation in dynamic binaural rendering of Ambisonics
US11641459B2 (en) Viewing system, distribution apparatus, viewing apparatus, and recording medium
US20230276189A1 (en) Real-time sound field synthesis by modifying produced audio streams
JP2024007669A (ja) 音源及び受音体の位置情報を用いた音場再生プログラム、装置及び方法
JP2021132261A (ja) 複数のマイクロフォンの収音信号をミキシングする装置、プログラム及び方法
Kimura Theoretical Study and Numerical Analysis of 3-D Sound Field Reproduction System Based on Directional Microphones and Boundary Surface Control
Marc et al. SMART-I2:" Spatial Multi-User Audio-Visual Real Time Interactive Interface"
JP2003078999A (ja) ３次元移動音生成方法とその装置
JP2011234138A (ja) ３次元動画生成装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee