KR101674187B1 - 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법 - Google Patents

광대역 보간법을 위한 입체음향 획득 장치 및 그 방법 Download PDF

Info

Publication number
KR101674187B1
KR101674187B1 KR1020150082865A KR20150082865A KR101674187B1 KR 101674187 B1 KR101674187 B1 KR 101674187B1 KR 1020150082865 A KR1020150082865 A KR 1020150082865A KR 20150082865 A KR20150082865 A KR 20150082865A KR 101674187 B1 KR101674187 B1 KR 101674187B1
Authority
KR
South Korea
Prior art keywords
audio data
position information
viewpoint
image
video
Prior art date
Application number
KR1020150082865A
Other languages
English (en)
Inventor
김성권
여성대
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020150082865A priority Critical patent/KR101674187B1/ko
Application granted granted Critical
Publication of KR101674187B1 publication Critical patent/KR101674187B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

개시된 본 발명에 따른 광대역 보간법을 위한 입체음향 획득 장치는, 음원에 대한 오디오 데이터를 획득하는 무선 마이크로폰과, 위치정보를 획득하는 위치정보 획득부 및 상기 오디오 데이터와 위치정보를 송신하도록 하는 신호 처리기를 포함하는 복수의 무선 마이크로폰 본체, 및 메인 콘트롤러를 포함한다. 메인 콘트롤러는 상기 무선 마이크로폰 본체로부터 획득된 오디오 데이터와 위치 데이터가 저장되는 메모리부와, 사용자로부터 영상 시점의 지정이 있는 경우 입체영상 신호처리부로부터 상기 영상 시점의 위치정보를 검출하는 영상 위치정보 검출부와, 상기 영상 시점의 위치정보와 오디오 데이터들의 위치정보를 비교하여 상기 영상 시점의 위치정보와 일치하는 오디오 데이터의 위치정보를 검출한 후, 해당 오디오 데이터를 전송하는 비교부, 및 상기 영상 시점의 위치와 일치하는 오디오 데이터가 없는 경우 상기 영상 시점 위치와 가장 근접한 오디오 데이터들을 이용하여 보간법을 실시하여 오디오 데이터를 획득하는 보간법 처리부를 포함한다.

Description

광대역 보간법을 위한 입체음향 획득 장치 및 그 방법{Apparatus for stereophonic acquisition for broadband interpolation and Method thereof}
본 발명은 입체음향 획득 장치 및 방법에 관한 것으로서, 보다 상세하게는 위치인식 기능을 갖는 무선 마이크로폰 본체로부터 음향 정보와 위치 정보를 함께 취득하여, 입체영상과 연동되는 입체음향 구현시 입체 영상의 해당 지점의 음향을 찾아서 출력하고, 해당 지점 주위에서의 여러 무선 마이크로폰으로부터 수신하는 여러 음향들을 이용하여 보간법을 적용해 현실적인 입체음향을 출력하도록 하는 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법에 관한 것이다.
최근 3차원 가상 현실을 요구하는 멀티미디어 기술이 급격하게 발전하고 있으며 시청자들의 요구 수준도 높아지고 있다.
입체영상이 실감나고 또한 현실 수준에 맞도록 구현하기 위해서는 이에 대응되게 입체음향 기술 역시 실감나게 구현되어야 한다.
입체음향 오디오 신호(stereophonic audio signal)는 복수의 오디오 신호(또는 오디오 "채널")로부터 만들어진다. 예를 들어, 입체음향 오디오 신호는 서로 다른 위치에서 복수의 마이크로폰을 이용하여 녹음될 수 있으며, 각 마이크로폰은 자신의 각 위치에서 캡처되는 개별적인 오디오 신호를 제공한다. 그리고 개별적인 오디오 신호는 보다 완벽한 소리를 내는 입체음향 오디오 신호를 제공하도록 결합될 수 있다. 입체음향 오디오 신호는 사용자에게 입체음향 오디오 신호를 제공하기 위해 복수의 스피커로부터 출력될 수 있다.
한편 이러한 입체음향을 이상적으로 구현하기 위해서는 무한 개의 마이크로폰을 배치하여 무한 개의 음원을 획득해야 하지만, 현실적으로 무한 개의 마이크로폰을 배치하는 것은 불가능하며, 공간적인 문제 또는 비용적인 문제 등으로 인하여 현장에 제한된 수의 마이크로 폰을 배치할 수 밖에 없는 실정이다.
따라서 이러한 문제점을 해결하기 위해 보간법 기술이 적용된다. 보간법 기술은 한정된 복수의 마이크로폰으로부터 음원을 획득하고, 그 음원 데이터의 평균치를 계산하여 마이크로폰들 사이의 가상음원 데이터를 생성하는 기법을 의미한다.
도 1을 참조하면 보간법은 대표적으로 프레임 기반의 보간법(Single Frame Interpolation)과 블록 기반의 보간법(Multi Frame Interpolation)으로 나눌 수 있다. 도 1의 좌측 도면은 프레임 기반 보간법을 나타내는데, 보간을 위해서 가장 가까운 두 개의 EPSF(Epipolar Plane Sound Frame)로부터 가장 적합한 프레임(Sound Frame 1,2)을 찾고 이들의 평균을 구하여 데이터를 획득하게 된다. 도 1의 우측 도면은 블럭 기반 보간법을 나타내는데, 보간을 위해서 가장 가까운 EPSF로부터 가장 가까운 여러 프레임으로 구성된 두 블럭을 찾고 각 블럭을 계산하여 이들의 평균으로부터 데이터를 획득하게 된다.
한편 최근 발전하고 있는 3차원 멀티미디어 서비스는 수동적이고 일방적 AV(Audio/ Video) 서비스에서 능동적이고 사용자 참여가 가능한 3차원의 3DAV(3-Demention Audio/Video) 서비스로 변화하고 있다.
MPEG은 3DAV 기술의 실험을 2001년부터 시작해 왔다. MPEG에서 3D video와 관련하여 많은 Application과 기술들이 제안되었는데, 가장 공통된 주요 관건은 양방향성(Interactivity)이었다. 시청자가 원하는 시점을 선택하여, 실제 영상에서 캡쳐된 데이터를 시점에 맞춰 복원된 영상을 볼 수 있도록 하는 것이다.
위와 같은 정의에 의하여 3DAV는 크게 3가지의 응용 분야를 갖게 되는데, 그것은 전방향 비디오(Omni-directional video), 자유시점 영상(Free viewpoint video) 그리고 양방향 스테레오 비디오이다.
자유시점 영상은 전방향 비디오와 달리, 시청자가 임의의 시점과 시선을 자유롭게 선택할 수 있도록 하는 기술로서, 자유시점 영상 기술이 적용된 TV와 같은 멀티미디어 기기를 자유시점 TV(FTV:Free-viewpoint television)이라고 하며, FTV는 3DTV로 간주되기도 한다.
그런데 현재 FTV 서비스 제공시 입체영상 구현에 대한 연구는 많이 진행되고 있으나, 입체영상과 연동되는 입체음향 구현에 대한 연구는 미비한 실정이다. 화면 중심의 입체음향 구현을 위해서는 화면의 변동과 동시에 음향 소스 또한 변동되어야 한다. 예를 들어 일정 시점에서 일정 위치의 화면이 viewpoint로 지정되어 확대되었을 경우, 이에 연동하여 해당 위치에서의 음원 소스가 스피커를 통해 재생되어야 더욱 효과적인 FTV 서비스를 제공할 수 있게 되는데, 아직까지는 입체영상과 연동되는 입체음향 구현에 어려움이 있다.
특히 예를 들어 스포츠 중계 등과 같이 음원 획득을 위한 복수의 마이크로폰들이 설치 위치나 공간 상의 제약으로 인해 무선으로 설치되는 경우 이러한 어려움은 더욱 크게 된다.
대한민국 공개특허공보 10-2014-0000948호(2014.01.06. 공개)
본 발명은 상기와 같은 점을 감안하여 안출된 것으로써, 무선 마이크로폰에 위치정보도 함께 탑재하여 FTV(Free-viewpoint TV) 구현시 입체영상과 해당 지점의 입체음향이 연동되어 표출되도록 하며, 또한 입체영상에 대응되는 위치에서의 주변 여러 무선 마이크로폰으로부터 수신하는 여러 음향들을 이용하여 보간법을 적용하는 광대역 보간법을 위한 입체음향 획득 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 광대역 보간법을 위한 입체음향 획득 장치는, 음원에 대한 오디오 데이터를 획득하는 무선 마이크로폰과, 위치정보를 획득하는 위치정보 획득부 및 상기 오디오 데이터와 위치정보를 송신하도록 하는 신호 처리기를 포함하는 복수의 무선 마이크로폰 본체; 및, 상기 무선 마이크로폰 본체로부터 획득된 오디오 데이터와 위치 데이터가 저장되는 메모리부와, 사용자로부터 영상 시점의 지정이 있는 경우 입체영상 신호처리부로부터 상기 영상 시점의 위치정보를 검출하는 영상 위치정보 검출부와, 상기 영상 시점의 위치정보와 오디오 데이터들의 위치정보를 비교하여 상기 영상 시점의 위치정보와 일치하는 오디오 데이터의 위치정보를 검출한 후, 해당 오디오 데이터를 전송하는 비교부를 포함하는 메인 콘트롤러;를 포함한다.
상기 메인 콘트롤러는, 상기 영상 시점의 위치와 일치하는 오디오 데이터가 없는 경우, 상기 영상 시점 위치와 근접한 위치의 오디오 데이터들을 이용해 보간법을 실시하여 오디오 데이터를 획득하는 보간법 처리부를 더 포함한다.
한편 본 발명에 따른 광대역 보간법을 위한 입체음향 획득 방법은, a) 위치인식 기능을 갖는 복수의 무선 마이크로폰 본체 각각으로부터 오디오 데이터와 위치정보를 수신하여 메모리부에 저장하는 단계; b) 사용자로부터 영상 시점(viewpoint)의 지정이 있는 경우 상기 영상 시점(viewpoint)의 위치정보를 검출하는 단계; c) 상기 영상 시점(viewpoint)의 위치정보와 상기 오디오 데이터들의 위치정보를 비교하여, 상기 영상 시점(viewpoint)의 위치정보와 일치하는 오디오 데이터의 위치정보를 검출한 후 해당 오디오 데이터를 전송하는 단계; 및, d) 상기 전송된 오디오 데이터를 3차원 음향정보로 신호처리하는 단계;를 포함한다.
또한 본 발명은 상기 c) 단계에서 상기 영상 시점(viewpoint)의 위치와 일치하는 오디오 데이터가 없는 경우, 상기 영상 시점 위치와 근접한 위치의 오디오 데이터들을 이용해 보간법을 실시하여 오디오 데이터를 획득하여 전송하는 단계를 더 포함한다.
본 발명에 의하면 무선 마이크로폰에 위치정보도 함께 탑재하여 FTV 구현에 따른 특정 영상시점 지정시 해장지점의 입체영상과 함께 입체음향이 연동되어 표출되도록 하고, 또한 해당 입체영상에 대응되는 위치에서의 주변 여러 무선 마이크로폰으로부터 수신하는 여러 음향들을 이용하여 보간법을 적용해 입체음향을 생성 및 표출하므로 더욱 실감나는 FTV를 포함하는 멀티미디어 서비스를 제공할 수 있는 효과가 있다.
도 1은 보간법의 개념을 설명하기 위한 도면,
도 2는 본 발명의 실시예에 따른 광대역 보간법을 위한 입체음향 획득 장치의 블록 구성도,
도 3은 본 발명의 실시예에 따른 광대역 보간법을 위한 입체음향 획득 방법을 설명하기 위한 흐름도이다.
본 발명의 상기와 같은 목적, 특징 및 다른 장점들은 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명함으로써 더욱 명백해질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 광대역 보간법을 이용한 입체음향 획득 장치에 대해 상세히 설명하기로 한다.
도 2를 참조하면, 본 발명의 실시예에 따른 광대역 보간법을 이용한 입체음향 획득 장치는, 복수의 무선 마이크로폰 본체 1,2,N(110,120,130)와, 복수의 무선 마이크로폰 본체와 무선으로 통신하는 메인 콘트롤러(200)를 포함한다.
무선 마이크로폰 본체 1, 2, N(110,120,130)는 일정 위치에 복수 개 설치되어 음원으로부터 오디오 데이터를 획득하게 되며, 또한 위치 정보도 갖게 된다. 무선 마이크로폰 본체는 설치되는 공간, 목적 등에 따라 다양한 위치 및 다양한 개수가 설치될 수 있으며 본 발명에서는 특정 위치나 개수 등에 한정되지 않는다. 본 실시예에 따른 무선 마이크로폰 본체는 예를 들어 스포츠 중계, 야외 음악회나 야외 촬영 등과 같이 야외나 면적 또는 공간이 매우 넓어서, 음원 획득을 위한 복수의 무선 마이크로폰 본체들이 설치 위치나 공간 상의 제약으로 인해 무선으로 설치되는 경우에 적용되는 것이 바람직하다.
각 무선 마이크로폰 본체는 동일한 구조 및 기능을 가지며, 따라서 무선 마이크로폰 본체 1(110)에 대해서만 설명하기로 한다. 무선 마이크로폰 본체 1(110)은 무선 마이크로폰 1(111), A/D 컨버터(113), 위치정보 획득부(115), 신호 처리기(117) 및 안테나(119)를 포함한다.
무선 마이크로폰 1(111)은 음원으로부터 오디오 데이터를 획득하게 된다. A/D 컨버터(113)는 무선 마이크로폰으로부터 획득한 아날로그 형태의 전기 신호를 디지털 데이터로 변환시킨다. 그리고 위치정보 획득부(115)는 예를 들어 GPS 수신기 등이 적용되어 무선 마이크로폰 본체의 위치 정보를 획득하게 된다. 위치정보 획득부는 위치정보를 위해 GPS 정보를 일반적으로 사용하나 GPS 계산이 용이하지 않을 경우 WPS(Wifi based Positioning System) 또는 이동통신망을 이용하여 위치정보를 획득할 수 있다.
신호 처리기(117)는 마이크로 본체의 콘트롤러 역할을 하는 것으로, 획득한 오디오 데이터와 위치 데이터를 합성, 변조화하여 안테나(119)를 통해 메인 컨트롤러(200)로 송신하게 된다.
메인 콘트롤러(200)는 각 무선 마이크로폰 본체의 안테나(119)와 무선 통신을 수행하기 위한 안테나(210)와, 메모리부(220), 영상 위치정보 검출부(240), 비교부(230), 보간법 처리부(260) 및 입체음향 신호처리부(280)를 포함한다.
메모리부(220)는 상기 각각의 무선 마이크로폰(111~114)이 오디오 데이터 획득을 위한 전력을 출력했을 때, 안테나(210)를 통해 상기 무선 마이크로폰으로부터 획득된 오디오 데이터와 해당 마이크로폰에 대한 위치 데이터가 저장된다.
본 발명이 적용되는 시스템은 입체영상과 입체음향을 연동해서 표출하게 되는데, 이를 위해 영상 위치정보 검출부(240)는 사용자로부터 영상 시점(viewpoint) 지정이 있는 경우 이 영상 시점의 위치정보를 검출하게 된다. 도시되지 않았으나 사용자 인터페이스를 통해 사용자로부터 영상 시점의 지정이 있는 경우, 입체영상 신호처리부는 이 영상 시점에서의 입체영상을 확대하여 재생하도록 하고, 상기 영상 위치정보 검출부(240)는 이러한 영상 시점 지점의 위치정보를 검출하게 된다.
비교부(230)는 상기 사용자로부터 지정된 영상 시점(viewpoint)의 위치정보와, 메모리에 저장되어 있는 오디오 데이터들의 위치정보를 비교하여, 상기 영상 시점의 위치정보와 일치하는 음향의 위치정보를 검출한 후, 해당 오디오 데이터를 입체음향 신호처리부(280)로 전송하게 된다. 여기서 위치가 일치한다는 의미는 엄밀하게 동일한 위치를 의미하는 것이 아니라 일정 범위에 있는 경우도 위치가 일치한다고 해석될 수 있다.
한편, 이상적인 입체음향을 구현하기 위해서는 무한 개의 마이크로폰을 배치하여 무한 개의 음원을 획득해야 하지만, 현실적으로 무한 개의 마이크로폰을 배치하는 것은 불가능하며, 공간적인 문제 또는 비용적인 문제 등으로 인하여 현장에 제한된 수의 마이크로폰을 배치할 수 밖에 없는 실정이다. 따라서 사용자에 의해 지정된 상기 영상 시점(view point)의 위치와 일치하는 음향 데이터가 없을 수 있게 된다.
보간법 처리부(260)는 상기 메모리부(220)에 저장되어 있는 위치 정보를 가지는 오디오 데이터들을 이용하여 마이크로폰이 설치되어 있지 않는 측정 위치에 대해 보간법을 실시하여 오디오 데이터를 획득한 후, 해당 오디오 데이터를 입체음향 신호처리부(280)로 전송하게 된다. 전술한 바와 같이 마이크로폰을 무한정 설치할 수 없기 때문에 이상적인 입체음향 구현이 어렵게 되며 음향을 획득하지 못하는 구역이 생기는데, 보간법 처리부는 음향을 획득하지 못하는 구역에 대해 주위 근접한 구역의 오디오 데이터들을 이용해 보간법을 실시하여 오디오 데이터를 획득함으로써 이상적인 입체음향 구현에 가깝도록 한다. 한편, 보간법 처리부(260)는 실감나는 입체음향을 구현하기 위해 필요에 의해, 무선 마이크로폰이 영상 시점(view point)의 위치와 일치하는 곳에 설치되어 있더라도 해당 위치의 음향 데이터와 주위의 음향 데이터들을 이용하여 보간법을 실시해 오디오 데이터를 획득할 수 있다.
입체음향 신호처리부(280)는 입체 음향을 입체 스피커에 가용한 형식인 3차원 음향 정보로 신호처리하며, 미도시된 입체음향 출력부를 통해 입체음향을 스피커에 출력하도록 한다.
이하 상기 구성을 갖는 입체음향 획득 장치에 의한 본 발명의 실시예에 따른 광대역 보간법을 이용한 입체음향 획득 방법에 대해 설명하기로 한다.
각각의 무선 마이크로폰 본체는 오디오 데이터와 위치 데이터를 획득하여 안테나(119)를 통해 메인 콘트롤러(200)로 송신하도록 한다. 메인 콘트롤러(200)는 안테나(210)를 통해 복수의 무선 마이크로폰 본체 각각에 대한 오디오 데이터와 위치 데이터를 수신하여 메모리부(220)에 저장하도록 한다(S310).
그 후, 사용자로부터 영상 시점(viewpoint)의 지정이 있는 경우, 영상 위치정보 검출부(240)는 상기 영상 시점(viewpoint)의 위치정보를 검출하게 된다(S320).
예를 들어 3D 디스플레이 장치에서 사용자가 화면의 소정 위치 부분을 확대하고 싶어 사용자 인터페이스를 통해 이 부분을 확대하고자 하는 경우 상기 소정 위치 부분이 영상 시점(viewpoint)이 되는데, 미도시된 입체영상 신호처리부는 이 영상 시점이 확대 출력되도록 처리하고, 영상 위치정보 검출부는 상기 영상 시점의 위치정보를 검출할 수 있게 된다.
비교부(230)는 상기 영상 시점(viewpoint)의 위치정보와, 메모리부(220)에 저장되어 있는 오디오 데이터들의 위치정보를 비교하게 된다(S330).
상기 영상 시점의 위치정보와 일치하는 음향의 위치정보가 있는 경우(S340), 해당 오디오 데이터를 입체음향 신호처리부(280)로 전송하게 된다(S360).
상기 영상 시점의 위치정보와 일치하는 음향의 위치정보가 없는 경우(S340),보간법 처리부(260)는 메모리부(220)에 저장되어 있는 각 마이크로폰으로부터의 오디오 데이터를 이용하여 마이크로폰이 설치되어 있지 않는 측정 위치에 대해 보간법을 실시하여 오디오 데이터를 획득하고(S350), 획득한 해당 오디오 데이터를 입체음향 신호처리부(280)로 전송하게 된다(S360).
그 후 입체음향 신호처리부(280)는 디지털 값으로 변환된 오디오 데이터의 3차원 음향 정보로 신호처리를 수행하도록 하여 신호처리된 입체음향을 스피커에 출력하는 작업을 수행하게 된다(S370).
이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정의 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
110,120,130. 무선 마이크로폰 본체 111,112,113,114. 무선 마이크로폰
117. 신호 처리기 115. 위치정보 획득부
119,210. 안테나 200. 메인 콘트롤러
220. 메모리부 230. 비교부
240. 영상 위치정보 검출부 260. 보간법 처리부
280. 입체음향 신호처리부

Claims (4)

  1. 음원에 대한 오디오 데이터를 획득하는 무선 마이크로폰과, 위치정보를 획득하는 위치정보 획득부 및 상기 오디오 데이터와 위치정보를 송신하도록 하는 신호 처리기를 포함하는 복수의 무선 마이크로폰 본체; 및,
    상기 무선 마이크로폰 본체로부터 획득된 오디오 데이터와 위치 데이터가 저장되는 메모리부와, 사용자로부터 영상 시점의 지정이 있는 경우 입체영상 신호처리부로부터 상기 영상 시점의 위치정보를 검출하는 영상 위치정보 검출부와, 상기 영상 시점의 위치정보와 오디오 데이터들의 위치정보를 비교하여 상기 영상 시점의 위치정보와 일치하는 오디오 데이터의 위치정보를 검출한 후, 해당 오디오 데이터를 전송하는 비교부를 포함하는 메인 콘트롤러;를 포함하고,
    상기 메인 콘트롤러는,
    상기 영상 시점의 위치와 일치하는 오디오 데이터가 없는 경우, 상기 영상 시점 위치와 근접한 위치의 오디오 데이터들을 이용해 보간법을 실시하여 오디오 데이터를 획득하는 보간법 처리부를 더 포함하는 것을 특징으로 하는 광대역 보간법을 위한 입체음향 획득 장치.
  2. 삭제
  3. a) 위치인식 기능을 갖는 복수의 무선 마이크로폰 본체 각각으로부터 오디오 데이터와 위치정보를 수신하여 메모리부에 저장하는 단계;
    b) 사용자로부터 영상 시점(viewpoint)의 지정이 있는 경우 상기 영상 시점(viewpoint)의 위치정보를 검출하는 단계;
    c) 상기 영상 시점(viewpoint)의 위치정보와 상기 오디오 데이터들의 위치정보를 비교하여, 상기 영상 시점(viewpoint)의 위치정보와 일치하는 오디오 데이터의 위치정보를 검출한 후 해당 오디오 데이터를 전송하는 단계; 및,
    d) 상기 전송된 오디오 데이터를 3차원 음향정보로 신호처리하는 단계;를 포함하고,
    상기 c) 단계에서 상기 영상 시점(viewpoint)의 위치와 일치하는 오디오 데이터가 없는 경우, 상기 영상 시점 위치와 근접한 위치의 오디오 데이터들을 이용해 보간법을 실시하여 오디오 데이터를 획득하여 전송하는 단계를 더 포함하는 것을 특징으로 하는 광대역 보간법을 이용한 입체음향 획득 방법.


  4. 삭제
KR1020150082865A 2015-06-11 2015-06-11 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법 KR101674187B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150082865A KR101674187B1 (ko) 2015-06-11 2015-06-11 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150082865A KR101674187B1 (ko) 2015-06-11 2015-06-11 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101674187B1 true KR101674187B1 (ko) 2016-11-09

Family

ID=57528949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150082865A KR101674187B1 (ko) 2015-06-11 2015-06-11 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101674187B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181962A (ja) * 1994-12-22 1996-07-12 Hitachi Ltd 音像定位方法および音像定位制御装置およびテレビ会議システム
JP2006060615A (ja) * 2004-08-20 2006-03-02 Tamura Seisakusho Co Ltd ワイヤレスマイクシステム、音声伝送再生方法、ワイヤレスマイク送信機、音声送信方法及びプログラム、受信機、音声受信再生方法及びプログラム
JP2011071685A (ja) * 2009-09-25 2011-04-07 Nec Corp 映像音響処理システム、映像音響処理方法及びプログラム
KR20140000948A (ko) 2012-06-27 2014-01-06 서울대학교산학협력단 패닝을 이용한 입체음향 구현 기법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181962A (ja) * 1994-12-22 1996-07-12 Hitachi Ltd 音像定位方法および音像定位制御装置およびテレビ会議システム
JP2006060615A (ja) * 2004-08-20 2006-03-02 Tamura Seisakusho Co Ltd ワイヤレスマイクシステム、音声伝送再生方法、ワイヤレスマイク送信機、音声送信方法及びプログラム、受信機、音声受信再生方法及びプログラム
JP2011071685A (ja) * 2009-09-25 2011-04-07 Nec Corp 映像音響処理システム、映像音響処理方法及びプログラム
KR20140000948A (ko) 2012-06-27 2014-01-06 서울대학교산학협력단 패닝을 이용한 입체음향 구현 기법

Similar Documents

Publication Publication Date Title
US11082662B2 (en) Enhanced audiovisual multiuser communication
EP3094115B1 (en) Method and apparatus for calibrating an audio playback system
US20200089466A1 (en) An Apparatus and Associated Methods in the Field of Virtual Reality
CN109314832B (zh) 音频信号处理方法和设备
US20180150275A1 (en) Augmented Reality Mixing for Distributed Audio Capture
KR20120053006A (ko) 개선된 오디오／비디오 방법들 및 시스템들
KR20170029402A (ko) 객체 오디오 녹음 방법, 장치, 전자기기, 프로그램 및 기록매체
US20170230776A1 (en) Optimizing the performance of an audio playback system with a linked audio/video feed
US11568893B2 (en) Image acquisition system and method
US10788888B2 (en) Capturing and rendering information involving a virtual environment
WO2016072238A1 (ja) 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
JP2016046699A (ja) 画像音声入出力システム
CN110677781A (zh) 利用编码光线引导扬声器阵列和麦克风阵列的系统和方法
US20150271619A1 (en) Processing Audio or Video Signals Captured by Multiple Devices
KR102609084B1 (ko) 전자장치, 그 제어방법 및 기록매체
WO2020031453A1 (ja) 情報処理装置及び情報処理方法、並びに映像音声出力システム
KR101646867B1 (ko) 마이크로폰 위치정보를 이용하는 ftv 입체음향 구현 장치 및 그 방법
KR101674187B1 (ko) 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법
KR101747800B1 (ko) 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템
JP6431225B1 (ja) 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム
KR101740569B1 (ko) 영상의 객체 크기 비율에 따른 입체 음향 서비스 제공방법
CN113707165A (zh) 音频处理方法、装置及电子设备和存储介质
JP6600186B2 (ja) 情報処理装置、制御方法およびプログラム
JP2020167471A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018003081A1 (ja) 全天球カメラ撮像画像表示システム、方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 4