KR101747800B1 - 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템 - Google Patents

입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템 Download PDF

Info

Publication number
KR101747800B1
KR101747800B1 KR1020160008720A KR20160008720A KR101747800B1 KR 101747800 B1 KR101747800 B1 KR 101747800B1 KR 1020160008720 A KR1020160008720 A KR 1020160008720A KR 20160008720 A KR20160008720 A KR 20160008720A KR 101747800 B1 KR101747800 B1 KR 101747800B1
Authority
KR
South Korea
Prior art keywords
sound
stereo
sound source
microphone
stereo sound
Prior art date
Application number
KR1020160008720A
Other languages
English (en)
Inventor
신 렬 이
김지헌
Original Assignee
주식회사 디지소닉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디지소닉 filed Critical 주식회사 디지소닉
Priority to KR1020160008720A priority Critical patent/KR101747800B1/ko
Application granted granted Critical
Publication of KR101747800B1 publication Critical patent/KR101747800B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H04W4/008—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Acoustics & Sound (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)

Abstract

본 기술의 일 실시예에 의한 입체음향 생성 장치는 전 방향 마이크로폰을 구비하여 음원 수음 공간의 기 설정된 위치에서 전 방향으로부터 전달되는 소리로부터 전 방향 입체음향 신호를 생성하도록 구성되는 제 1 입체음향 처리부, 음원 수음 공간에 존재하는 음원 객체로부터 선택되는 적어도 하나의 객체 또는 객체그룹 각각으로부터 객체별 마이크로폰을 통해 수집된 객체별 음원과, 전 방향 마이크로폰에 대한 객체별 마이크로폰의 상대적 위치정보에 기초하여 객체별 입체음향 신호를 생성하도록 구성되는 제 2 입체음향 처리부 및 전 방향 입체음향 신호와 객체별 입체음향 신호를 혼합하도록 구성되는 믹싱부를 포함하도록 구성될 수 있다.

Description

입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템{Apparatus for Generating of 3D Sound, and System for Generating of 3D Contents Using the Same}
본 발명은 음향 수음 기술에 관한 것으로, 보다 구체적으로는 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템에 관한 것이다.
입체음향, 또는 3차원 음향이란 방향감, 거리감, 공간감 등 입체적인 인상 및 현장감을 갖는 음향을 일컫는다.
최근 입체음향 기술은 음원이나 청취자가 움직이면 음원과 청취자 간의 상대적인 위치가 변하므로, 이러한 상호작용을 반영할 수 있는 대화형(Interactive) 3차원 음향기술로 발전하였다.
입체음향 기술은 AV 산업, 방송산업, 휴대용 기기 산업, 게임 산업, 시뮬레이터 산업, 로봇 산업 등에 다양하게 이용될 수 있다. 특히 입체음향 기술은 입체영상 기술과 접목되어 다양한 멀티미디어 컨텐츠를 제작하는 데 이용되고 있다.
최근, 스마트 폰을 기반으로 하는 몰입형 가상현실 기술의 발달로, 스마트 폰과 HMD(Head Mounted Display) 장치를 결합하여 손쉽게 가상현실 체험이 가능해 졌다. 그리고, 스마트 폰에 내장된 위치센서를 이용하여 HMD 착용자의 머리 움직임에 따라 시청자의 바라보는 시각에서의 입체영상 및 입체음향을 실시간 및 대화형으로 재생할 수 있다.
입체음향과 입체영상이 결합된 입체 컨텐츠를 생성하기 위해서는 입체영상 촬영시 카메라와 근접 설치된 마이크로폰으로 들어오는 입체음향 신호를 수음해 둘 수 있다. 그리고, 입체 컨텐츠를 재생할 때 시청자의 머리 움직임에 따라, 즉 시청자가 바라보는 방향을 기준으로 하여 시청자 관점에서 바이노럴(Binaural) 음향을 합성하여 양 귀로 재생한다.
입체 컨텐츠에 포함되는 입체음향을 수음하기 위하여 앰비소닉 방식, 바이노럴 방식 등을 이용할 수 있다. 그리고 입체음향 수집용 마이크로폰을 입체영상 촬영용 카메라와 최대한 근접한 거리에 위치시켜 카메라 위치 및 관점에서 입체음향을 녹음할 수 있다.
하지만, 공연 실황을 입체 컨텐츠로 생성하는 경우 카메라의 위치가 음원으로부터 상대적으로 멀리 위치하게 되며, 카메라와 근접 설치된 마이크로폰으로 음원을 수음할 경우 각 음원들의 명료도가 저하되고, 잔향이 심하게 포착되어 음악적 완성도가 크게 저하되는 문제점이 있다.
이와 같이 보다 고품질의 입체음향에 대한 대중의 요구와 사회적, 상업적 필요성은 점점 높아지고 있으나 현재의 입체음향 기술은 사용자의 요구를 충분히 만족시킬 수 있는 수준은 아니다.
본 기술의 실시예는 청취자의 관점에서 음원 명료도 및 음질을 향상시킬 수 있는 입체음향 생성 장치 및 이를 위한 입체 컨텐츠 생성 시스템을 제공할 수 있다.
본 기술의 실시예는 입체음향 생성 시 전 방향에서 수음되는 입체음향 신호에 더하여 강조하고자 하는 음원 별로 수음되는 입체음향 신호를 부가함으로써 음향신호에 포함된 음원 별 명료도 및 음질을 확보할 수 있는 입체음향 생성 장치 및 이를 위한 입체 컨텐츠 생성 시스템을 제공할 수 있다.
본 기술의 일 실시예에 의한 입체음향 생성 장치는 전 방향 마이크로폰을 구비하여 음원 수음 공간의 기 설정된 위치에서 전 방향으로부터 전달되는 소리로부터 전 방향 입체음향 신호를 생성하도록 구성되는 제 1 입체음향 처리부; 상기 음원 수음 공간에 존재하는 음원 객체로부터 선택되는 적어도 하나의 객체 또는 객체그룹 각각으로부터 객체별 마이크로폰을 통해 수집된 객체별 음원과, 상기 전 방향 마이크로폰에 대한 상기 객체별 마이크로폰의 상대적 위치정보에 기초하여 객체별 입체음향 신호를 생성하도록 구성되는 제 2 입체음향 처리부; 및 상기 전 방향 입체음향 신호와 상기 객체별 입체음향 신호를 혼합하도록 구성되는 믹싱부;를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 입체 컨텐츠 생성 시스템은 입체음향 생성 장치; 및 입체영상 생성 장치;를 포함하며, 상기 입체음향 생성 장치는, 전 방향 마이크로폰을 구비하여 음원 수음 공간의 기 설정된 위치에서 전 방향으로부터 전달되는 소리로부터 전 방향 입체음향 신호를 생성하도록 구성되는 제 1 입체음향 처리부; 상기 음원 수음 공간에 존재하는 음원 객체로부터 선택되는 적어도 하나의 객체 또는 객체그룹 각각으로부터 객체별 마이크로폰을 통해 수집된 객체별 음원과, 상기 전 방향 마이크로폰에 대한 상기 객체별 마이크로폰의 상대적 위치정보에 기초하여 객체별 입체음향 신호를 생성하도록 구성되는 제 2 입체음향 처리부; 및 상기 전 방향 입체음향 신호와 상기 객체별 입체음향 신호를 혼합하도록 구성되는 믹싱부;를 포함하도록 구성될 수 있다.
본 기술에 의하면 음향신호에 포함된 음원 별로 명료도 및 음질을 확보할 수 있는 대화형 입체음향을 제공할 수 있다.
도 1은 일 실시예에 의한 입체음향 생성 장치의 구성도이다.
도 2는 일 실시예에 의한 제 2 입체음향 처리부의 구성도이다.
도 3은 일 실시예에 의한 위치 결정부의 구성도이다.
도 4는 일 실시예에 의한 입체음향 생성 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 의한 입체 컨텐츠 생성 시스템의 구성도이다.
이하, 첨부된 도면을 참조하여 본 기술의 실시예를 보다 구체적으로 설명한다.
도 1은 일 실시예에 의한 입체음향 생성 장치의 구성도이다.
도 1을 참조하면, 일 실시예에 의한 입체음향 생성 장치(10)는 컨트롤러(110), 저장부(120), 사용자 인터페이스(UI, 130), 제 1 입체음향 처리부(140), 제 2 입체음향 처리부(150) 및 믹싱부(160)를 포함할 수 있다.
컨트롤러(110)는 입체음향 생성 장치(10)의 동작 전반을 제어하도록 구성될 수 있으며, 예를 들어 중앙처리장치(CPU)일 수 있다.
저장부(120)는 주기억장치 및 보조기억장치를 포함할 수 있으며, 입체음향 생성장치(10)가 동작하는 데 필요한 프로그램, 제어 데이터, 응용 프로그램, 동작 파라미터, 처리 결과 등이 저장될 수 있다.
사용자 인터페이스(130)는 사용자가 입체음향 생성장치(10)에 접근할 수 있는 환경을 제공하기 위하여 입력 장치 인터페이스 및 출력 장치 인터페이스를 포함할 수 있다.
제 1 입체음향 처리부(140)는 음원을 수음하기 위한 공간의 기 설정된 위치에서 전 방향(Omnidirectional)으로부터 전달되는 소리를 수신하여 전 방향 입체음향 신호를 생성하도록 구성될 수 있다. 제 1 입체음향 처리부(140)는 입체음향을 수음하기 위한 전 방향 마이크로폰, 즉 입체음향 마이크로폰을 포함하도록 구성될 수 있다.
일 실시예에서, 제 1 입체음향 처리부(140)는 앰비소닉(Ambisonic) 방식을 이용한 수음 장치일 수 있다.
앰비소닉 방식이란, 하나의 무지향성 마이크로폰과, X/Y/Z 방향의 (양)지향성 마이크로폰을 사용하여 3차원의 모든 방향의 소리를 합성하고, 각 방향에 따른 머리전달함수 신호 처리를 통해 전 방향에서 오는 입체음향을 생성하는 방식이다.
일 실시예에서, 제 1 입체음향 처리부(140)는 다채널 바이노럴(Binaural) 방식을 이용한 수음 장치일 수 있다.
다채널 바이노럴 방식이란, 인간의 귀와 유사한 형상을 가진 귀 모형의 귓바퀴와 외이도 입구 또는 고막 위치에 좌/우/전/후의 사방에 각각 2개씩 마이크로폰을 장착하여 3차원의 모든 방향에 대한 소리를 수음하고, 2채널 일정파워패닝(Constant Power Panning) 기법을 통해 전 방향에서 오는 입체음향을 생성하는 방식이다.
제 1 입체음향 처리부(140)는 음원을 수음하기 위한 공간의 기 설정된 위치에서 전 방향(Omnidirectional)으로부터 전달되는 소리를 수신하므로, 음원 수음 공간에 위치하는 특정 객체 또는 객체 그룹에서 발생되는 음원의 명료도, 음질 등이 저하될 수 있다. 그리고 제 1 입체음향 처리부(140)를 통해 생성되는 전 방향 입체음향 신호로부터는 특정 객체 또는 객체 그룹에서 발생되는 음원의 음색 보정이나 강조가 불가능하다.
따라서, 본 기술에서는 전 방향 입체음향 신호에 더하여, 음원 수음 공간에 위치하는 특정 객체 또는 객체 그룹에서 발생되는 음원으로부터 객체별 입체음향 신호를 생성하고 이를 전 방향 입체음향 신호와 합성하는 방안을 제안한다.
제 2 입체음향 처리부(150)는 음원 수음 공간에 존재하는 적어도 하나의 객체 또는 객체의 그룹으로부터 발생되는 음원을 각 객체(그룹)별로 수음하고, 제 1 입체음향 처리부(140)의 전 방향 마이크로폰과 객체 간의 상대적인 위치정보를 반영하여 객체별 입체음향 신호를 생성하도록 구성될 수 있다. 제 2 입체음향 처리부(150)는 각 객체(그룹)에 부착 또는 근접 설치되는 객체별 마이크로폰을 포함할 수 있다.
제 2 입체음향 처리부(150)에 의해 음원 가까이에 설치된 마이크로폰을 통해 객체별 입체음향을 생성하므로, 음원을 발생하는 객체 또는 객체의 그룹별로 음향의 명료도를 향상시킬 수 있고, 음색 변화 등을 통해 음질을 향상시킬 수 있다.
믹싱부(160)는 제 1 입체음향 처리부(140)에서 생성한 전 방향 입체음향 신호와 제 2 입체음향 처리부(150)에서 생성한 객체별 입체음향 신호를 혼합하여 최종 입체음향 신호를 생성하도록 구성될 수 있다.
믹싱부(160)는 독립적으로 생성된 전 방향 입체음향 신호와 객체별 입체음향 신호를 혼합하는 통상의 오디오 믹서를 이용하여 구성될 수 있다.
도 2는 일 실시예에 의한 제 2 입체음향 처리부의 구성도이다.
도 2를 참조하면, 제 2 입체음향 처리부(150)는 객체음향 수신부(151), 위치 결정부(153) 및 객체별 입체음향 생성부(155)를 포함하도록 구성될 수 있다.
객체음향 수신부(151)는 음원을 수음하기 위한 공간에 존재하는 음원 객체들 중에서 선택되는 적어도 하나의 객체 또는 객체의 그룹 별로 음원을 수집하도록 구성될 수 있다. 일 실시예에서, 객체음향 수신부(151)는 선택된 적어도 하나의 객체(그룹)에 부착되거나 근거리에 설치되는 객체별 마이크로폰일 수 있다.
객체음향 수신부(151)를 통해 수집되는 객체별 음원은 모노 음원이며, 이는 컨트롤러(110)의 제어에 따라 저장부(120)에 저장될 수 있다.
위치 결정부(153)는 제 1 입체음향 처리부(140)의 전 방향 마이크로폰에 대한 객체(그룹) 또는 객체별 마이크로폰의 상대적 위치를 실시간으로 계산하여 실시간 위치정보를 생성하고, 이를 객체별 음원과 함께 저장부(120)에 저장하도록 구성될 수 있다.
객체별 입체음향 생성부(155)는 객체별 음원의 실시간 위치정보에 기초하여 객체별 입체음향을 생성하도록 구성될 수 있다. 객체별 마이크로폰이 이동함에 따라 실시간으로 갱신되는 실시간 위치정보를 반영하여 객체별 입체음향을 생성함으로써 전 방향 마이크로폰의 위치를 기준으로 객체의 이동에 따른 객체별 음원의 특징 변화를 반영할 수 있다.
일 실시예에서, 객체별 입체음향 생성부(155)는 실시간 위치정보가 반영된 객체별 음원을 머리전달함수(Head-Related Transfer Function; HRTF)와 합성(convolution)함에 의해 객체별 입체음향을 생성할 수 있다.
머리전달함수는 더미헤드 혹은 양 귀 고막 위치에 마이크로폰을 배치하고, 원거리(far field) 음장의 모든 방향으로부터 두 마이크로폰까지의 주파수 특성을 측정하여 3차원 함수로 정리한 정리한 것을 말한다. 머리전달함수는 청취자의 양 귀에 도달하는 두 소리의 시간차, 레벨차, 스펙트럼차를 반영하고 있다. 머리전달함수는 음원이 들어오는 각도에 따라 달라지기 때문에 3차원 모든 위치에서 나오는 음원들에 대해 머리전달함수를 측정하고 이를 데이터베이스로 구축하여 사용하고 있다.
따라서, 머리전달함수 데이터베이스를 이용하여 실시간 위치정보가 반영된 객체별 음원(모노 음원)으로부터 객체별 입체음향을 생성하고 이를 전 방향 입체음향 신호와 믹싱함에 의해, 전 방향 마이크로폰 관점에서의 입체음향 외에, 강조하고자 하는 객체의 음원(또는 음원 그룹)의 명료도 및 음질이 확보된 대화형 입체음향 신호를 생성할 수 있다.
이러한 입체음향 신호를 재생할 경우, 청취자의 머리 이동 방향에 대응하는 객체의 입체음향 신호가 강조되어 재생될 수 있다.
예를 들어, 이러한 입체음향 신호를 포함하는 입체 컨텐츠를 HMD 착용자가 시청하는 경우, 시청자의 머리 회전을 HMD 또는 이와 결합된 장치(예를 들어 스마트 폰)에 부착된 위치센서가 감지하여 시청자 관점에서의 입체음향 신호를 대화형으로 재생할 수 있게 된다.
따라서 객체별 음원의 명료도 및 음질을 향상시킬 수 있어, 현장감 있는 고음질의 대화형 입체음향의 수음 및 재생이 가능하게 된다.
전 방향 마이크로폰에 대한 객체별 마이크로폰의 상대적 위치로부터 실시간 위치정보를 결정하기 위하여, 위치 결정부는 예를 들어 도 3에 도시한 것과 같이 구성될 수 있다.
도 3에 도시한 일 실시예에 의한 위치 결정부(153)는 객체 검출부(1531) 및 위치 계산부(1533)를 포함할 수 있다.
객체 검출부(1531)는 음원 수음 공간에 위치하며 객체별 마이크로폰이 부착 또는 근거리에 설치된 특정 객체 또는 객체 그룹을 검출하도록 구성될 수 있다.
위치 계산부(1533)는 객체 검출부(1531)에서 특정 객체(그룹)가 검출됨에 따라, 전 방향 마이크로폰에 대한 객체(그룹)의 상대적 위치를 실시간으로 계산하여 실시간 위치정보를 생성할 수 있다.
특정 객체(그룹)를 검출하기 위하여 모션 추적 기법을 이용할 수 있다. 모션 추적 기법의 예로서 센서를 이용하는 방식, 카메라를 이용하는 방식이 이용될 수 있다.
키넥트(Kinect)는 센서를 이용한 모션 추적 기법의 일 예이다. 키넥트는 센서를 이용하여 대상물의 동작을 인식하고 마이크로폰 모듈을 통해 음원을 인식하도록 구성된다. 따라서, 객체 마이크로폰에서 수음되는 객체별 음원을 키넥트의 마이크 모듈을 통해 수집하면서, 키넥트의 센서를 통해 객체의 동작을 인식할 수 있다.
이에 따라, 위치 계산부(1533)는 전 방향 마이크로폰에 대한 객체별 마이크로폰의 상대적 위치를 실시간으로 계산하고, 이로부터 실시간 위치정보를 생성할 수 있다. 상술하였듯이, 실시간 위치정보는 객체별 음원과 함께 저장될 수 있다.
카메라를 이용한 모션 추적 기법은 기 설정된 영상의 특정 부분을 카메라가 추적하는 기법이다. 따라서, 카메라가 특정 객체(그룹)를 추적하도록 설정해 두고, 이를 통해 객체별 마이크로폰이 부착 또는 근거리에 설치된 특정 객체 또는 객체 그룹을 검출할 수 있다.
객체 검출부(1531)는 영상분석 장치를 이용하여 구성될 수도 있다. 영상 분석 장치는 촬영된 영상 시퀀스를 분석하여 특정 객체의 움직임을 추출하는 것으로, 이를 이용하여 객체별 마이크로폰이 부착 또는 근거리에 설치된 객체(그룹)를 검출할 수 있다.
객체를 검출하고 이로부터 실시간 위치정보를 생성하기 위하여 근거리 무선 통신 모듈을 이용하여 위치 결정부(153)를 구성할 수 있다. 이 경우 전 방향 마이크로폰과 객체별 마이크로폰, 그리고 음원 수음 공간의 특정 위치에 근거리 무선 통신 모듈이 부착될 수 있으며, 삼각측위 방식 또는 신호(전파) 도달시간을 검출하여 객체(그룹)을 검출함과 동시에 실시간 위치정보를 생성할 수 있다.
근거리 무선 통신 모듈의 일 예로 비콘(Beacon)을 들 수 있으나, 이에 한정되는 것은 아니다.
도 4는 일 실시예에 의한 입체음향 생성 방법을 설명하기 위한 흐름도이다.
입체음향을 생성하기 위하여, 제 1 입체음향 처리부(140)를 통해 음원 수음 공간의 기 설정된 위치에서 전 방향 마이크로폰을 이용하여 전 방향 입체음향 신호를 생성한다(S101).
음원 수음 공간에 존재하는 객체 중 특정 객체 또는 객체 그룹에는 객체별 마이크로폰이 부착되거나 근거리에 설치될 수 있고, 제 2 입체음향 처리부(150)를 통해 객체별 음원을 수신(S103)함과 동시에, 전 방향 마이크로폰에 대한 객체별 마이크로폰의 상대적 위치가 실시간으로 계산되어 실시간 위치정보가 생성될 수 있다(S105). 객체별 음원은 모노 음원으로 수신될 수 있다.
제 2 입체음향 생성부(150)는 실시간 위치정보가 반영된 객체별 음원으로부터 객체별 입체음향 신호를 생성하며(S107), 이를 위해 머리전달함수 데이터베이스가 이용될 수 있다.
이후, 믹싱부(160)를 통해 전 방향 입체음향 신호와 객체별 입체음향 신호를 혼합하여 최종적인 대화형 입체음향 신호가 생성될 수 있다(S109).
이와 같이 생성된 입체음향 신호가 재생될 때, 청취자의 머리 움직임에 대응하여 특정 객체(그룹)으로부터 발생되는 음향 신호가 강조되어 출력될 수 있고, 따라서 명료도 및 음질이 향상된 입체음향 신호를 제공할 수 있다.
도 5는 일 실시예에 의한 입체 컨텐츠 생성 시스템의 구성도이다.
도 5를 참조하면, 입체 컨텐츠 생성 시스템(20)은 컨트롤러(210), 저장부(220), 사용자 인터페이스(UI, 230), 입체음향 생성 장치(240) 및 입체영상 생성 장치(250)를 포함할 수 있다.
입체음향 생성 장치(240)는 도 1 내지 도 3에 도시한 입체음향 생성 장치(10)가 이용될 수 있다. 즉, 전 방향 입체음향 신호에 객체별 입체음향 신호를 합성한 입체음향 신호를 생성하는 장치일 수 있다.
입체영상 생성 장치(250)는 상/하/전/후/좌/우를 바라보는 복수의 카메라를 이용하여 각 카메라로부터 촬영한 영상을 연속적으로 이어 붙여 입체 영상을 생성하는 장치일 수 있다.
컨트롤러(210)는 입체 컨텐츠 생성 시스템(20)의 전반적인 동작을 제어하여, 입체음향 생성 장치(240)에서 제공되는 입체음향 신호와 입체영상 생성 장치(250)에서 제공되는 입체영상 신호를 결합하여 입체 컨텐츠를 생성할 수 있다.
저장부(220)는 주기억장치 및 보조기억장치를 포함할 수 있으며, 입체 컨텐츠 생성 시스템(20)이 동작하는 데 필요한 프로그램, 제어 데이터, 응용 프로그램, 동작 파라미터, 처리 결과 등이 저장될 수 있다.
사용자 인터페이스(230)는 사용자가 입체 컨텐츠 생성 시스템(10)에 접근할 수 있는 환경을 제공하기 위하여 입력 장치 인터페이스 및 출력 장치 인터페이스를 포함할 수 있다.
이와 같이 생성된 입체 컨텐츠는 예를 들어 HMD와 같은 입체영상 출력 장치를 통해 재생될 수 있다. 이 때, 시청자의 움직임에 따라 입체영상 및 입체음향을 대화형으로 제공할 수 있다. 특히, 본 기술에 의해 생성된 입체음향은 객체별 입체음향이 믹싱되어 있으므로, 시청자의 관점에서 특정 객체(그룹)에 대한 음원을 강조하여 출력할 수 있으므로 명료도가 우수하고 음질이 향상된 입체 컨텐츠를 제공할 수 있다.
이상에서 설명한 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 입체음향 생성 장치
20 : 입체 컨텐츠 생성 시스템

Claims (11)

  1. 입체음향 마이크로폰을 구비하여 음원 수음 공간의 기 설정된 위치에서 모든 방향(Omnidirectional)에 대한 입체음향 신호를 생성하도록 구성되는 제 1 입체음향 처리부;
    상기 음원 수음 공간에 존재하는 음원 객체로부터 선택되는 적어도 하나의 객체 또는 객체그룹 각각에 부착되는 객체별 마이크로폰을 통해 수집된 객체별 음원과, 상기 입체음향 마이크로폰에 대한 상기 객체별 마이크로폰의 상대적 위치정보에 기초하여 객체별 입체음향 신호를 생성하도록 구성되는 제 2 입체음향 처리부; 및
    상기 모든 방향에 대한 입체음향 신호와 상기 객체별 입체음향 신호를 혼합하도록 구성되는 믹싱부;
    를 포함하도록 구성되는 입체음향 생성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 2 입체음향 처리부는, 상기 객체 또는 객체그룹 각각에 부착되는 상기 객체별 마이크로폰이 이동함에 따라, 상기 상대적 위치정보를 실시간으로 계산하여 실시간 위치정보를 생성하고, 상기 실시간 위치정보가 반영된 상기 객체별 음원을 머리전달함수와 합성하여 상기 객체별 입체음향 신호를 생성하도록 구성되는 입체음향 생성 장치.
  4. 제 1 항에 있어서,
    상기 제 2 입체음향 처리부는, 상기 객체 또는 상기 객체그룹 각각에 부착되는 모노 타입의 객체별 마이크로폰을 통해 상기 객체별 음원을 수신하도록 구성되는 객체음향 수신부;
    상기 상대적 위치정보를 실시간으로 계산하여 실시간 위치정보를 생성하도록 구성되는 위치 결정부; 및
    상기 객체별 음원의 상기 실시간 위치정보에 기초하여 상기 객체별 입체음향 신호를 생성하도록 구성되는 객체별 입체음향 생성부;
    를 포함하도록 구성되는 입체음향 생성 장치.
  5. 제 1 항에 있어서,
    상기 제 2 입체음향 처리부는, 모션 추적 방식에 기초하여 상기 적어도 하나의 객체 또는 객체그룹을 검출하여 상기 상대적 위치정보를 계산하도록 구성되는 입체음향 생성 장치.
  6. 제 5 항에 있어서,
    상기 모션 추적 방식은, 센서 방식, 카메라 방식, 영상분석 방식 중에서 선택되도록 구성되는 입체음향 생성 장치.
  7. 제 1 항에 있어서,
    상기 제 2 입체음향 처리부는, 적어도 하나의 근거리 무선 통신 모듈을 포함하여 삼각측위 방식 또는 신호 도달시간 검출 방식 중에서 선택된 방식으로 상기 적어도 하나의 객체 또는 객체그룹을 검출하여 상기 상대적 위치정보를 계산하도록 구성되는 입체음향 생성 장치.
  8. 제 7 항에 있어서,
    상기 근거리 무선 통신 모듈은 비콘을 포함하도록 구성되는 입체음향 생성 장치.
  9. 제 1 항에 있어서,
    상기 입체음향 마이크로폰은 앰비소닉 방식을 이용한 수음 장치, 또는 바이노럴 방식을 이용한 수음 장치 중에서 선택되는 입체음향 생성 장치.
  10. 입체음향 생성 장치; 및
    입체영상 생성 장치;를 포함하며,
    상기 입체음향 생성 장치는, 입체음향 마이크로폰을 구비하여 음원 수음 공간의 기 설정된 위치에서 모든 방향(Omnidirectional)에 대한 입체음향 신호를 생성하도록 구성되는 제 1 입체음향 처리부;
    상기 음원 수음 공간에 존재하는 음원 객체로부터 선택되는 적어도 하나의 객체 또는 객체그룹 각각에 부착되는 객체별 마이크로폰을 통해 수집된 객체별 음원과, 상기 입체음향 마이크로폰에 대한 상기 객체별 마이크로폰의 상대적 위치정보에 기초하여 객체별 입체음향 신호를 생성하도록 구성되는 제 2 입체음향 처리부; 및
    상기 모든 방향에 대한 입체음향 신호와 상기 객체별 입체음향 신호를 혼합하도록 구성되는 믹싱부;
    를 포함하도록 구성되는 입체 컨텐츠 생성 시스템.
  11. 제 10 항에 있어서,
    상기 제 2 입체음향 처리부는, 상기 상대적 위치정보를 실시간으로 계산하여 실시간 위치정보를 생성하고, 상기 실시간 위치정보가 반영된 상기 객체별 음원을 머리전달함수와 합성하여 상기 객체별 입체음향 신호를 생성하도록 구성되는 입체 컨텐츠 생성 시스템.
KR1020160008720A 2016-01-25 2016-01-25 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템 KR101747800B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160008720A KR101747800B1 (ko) 2016-01-25 2016-01-25 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160008720A KR101747800B1 (ko) 2016-01-25 2016-01-25 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템

Publications (1)

Publication Number Publication Date
KR101747800B1 true KR101747800B1 (ko) 2017-06-16

Family

ID=59278520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160008720A KR101747800B1 (ko) 2016-01-25 2016-01-25 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템

Country Status (1)

Country Link
KR (1) KR101747800B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059558A1 (ko) * 2017-09-22 2019-03-28 (주)디지소닉 입체음향서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102488251B1 (ko) * 2022-07-26 2023-01-13 (주)드림스토리뮤직 오디오 입체음향을 웹툰에 접목한 녹음 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242089B1 (ko) * 2012-04-27 2013-03-11 (주)린소프트 대화형 무대 장치 및 그의 시뮬레이션 방법
KR101415026B1 (ko) * 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
JP2014520452A (ja) 2011-06-13 2014-08-21 ナクシュ バンディ ピー ピヤレジャン シエド，シャキール 自然な３６０度で三次元デジタル・ステレオ・サラウンド・サウンドを生成するためのシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101415026B1 (ko) * 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
JP2014520452A (ja) 2011-06-13 2014-08-21 ナクシュ バンディ ピー ピヤレジャン シエド，シャキール 自然な３６０度で三次元デジタル・ステレオ・サラウンド・サウンドを生成するためのシステム
KR101242089B1 (ko) * 2012-04-27 2013-03-11 (주)린소프트 대화형 무대 장치 및 그의 시뮬레이션 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019059558A1 (ko) * 2017-09-22 2019-03-28 (주)디지소닉 입체음향서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102488251B1 (ko) * 2022-07-26 2023-01-13 (주)드림스토리뮤직 오디오 입체음향을 웹툰에 접목한 녹음 시스템

Similar Documents

Publication Publication Date Title
US10397722B2 (en) Distributed audio capture and mixing
US10820097B2 (en) Method, systems and apparatus for determining audio representation(s) of one or more audio sources
US9332372B2 (en) Virtual spatial sound scape
US10165386B2 (en) VR audio superzoom
KR101844511B1 (ko) 입체 음향 재생 방법 및 장치
JP5990345B1 (ja) サラウンド音場の生成
US11089425B2 (en) Audio playback method and audio playback apparatus in six degrees of freedom environment
US20180199137A1 (en) Distributed Audio Microphone Array and Locator Configuration
CN112567767A (zh) 用于交互式音频环境的空间音频
KR20170106063A (ko) 오디오 신호 처리 방법 및 장치
CN109314832B (zh) 音频信号处理方法和设备
EP2005793A2 (en) Binaural technology method with position tracking
KR20210105966A (ko) 오디오 신호 처리 방법 및 장치
US20210092545A1 (en) Audio processing
JP6410769B2 (ja) 情報処理システム及びその制御方法、コンピュータプログラム
KR101747800B1 (ko) 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템
US20150271619A1 (en) Processing Audio or Video Signals Captured by Multiple Devices
JP2018019295A (ja) 情報処理システム及びその制御方法、コンピュータプログラム
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
JP6664456B2 (ja) 情報処理システム及びその制御方法、コンピュータプログラム
JP6274244B2 (ja) 収音再生装置、収音再生プログラム、収音装置及び再生装置
WO2023199813A1 (ja) 音響処理方法、プログラム、及び音響処理システム
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Cecchi et al. An advanced spatial sound reproduction system with listener position tracking
Grohn Is audio useful in immersive visualization?

Legal Events

Date Code Title Description
GRNT Written decision to grant