KR101844822B1 - 입체 음향 캡처링 시스템 및 방법 - Google Patents

입체 음향 캡처링 시스템 및 방법 Download PDF

Info

Publication number
KR101844822B1
KR101844822B1 KR1020160120679A KR20160120679A KR101844822B1 KR 101844822 B1 KR101844822 B1 KR 101844822B1 KR 1020160120679 A KR1020160120679 A KR 1020160120679A KR 20160120679 A KR20160120679 A KR 20160120679A KR 101844822 B1 KR101844822 B1 KR 101844822B1
Authority
KR
South Korea
Prior art keywords
acoustic
signal
microphones
acoustic signal
auxiliary microphones
Prior art date
Application number
KR1020160120679A
Other languages
English (en)
Other versions
KR20180003384A (ko
Inventor
전진용
무하마드임란
서종각
유범재
조현인
Original Assignee
한양대학교 산학협력단
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한양대학교 산학협력단
Publication of KR20180003384A publication Critical patent/KR20180003384A/ko
Application granted granted Critical
Publication of KR101844822B1 publication Critical patent/KR101844822B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Abstract

입체 음향 캡처링 시스템이 개시된다. 입체 음향 캡처링 시스템은 음향 신호가 입력되는 주 마이크; 상기 주 마이크 주변에서 서로 상이한 위치에 배열되며, 상기 음향 신호가 입력되는 적어도 두 개 이상의 보조 마이크들; 상기 보조 마이크들에 입력된 음향 신호로부터 상기 음향 신호의 방향성 정보를 추출하는 방향성 추출 모듈; 및 상기 방향성 추출 모듈에서 추출된 상기 음향의 방향성 정보와 상기 음향 신호를 통합하는 음향 신호 통합 모듈을 포함한다.

Description

입체 음향 캡처링 시스템 및 방법{SYSTEM AND METHOD FOR CAPTURING 3D SOUND}
본 발명은 입체 음향 캡처링 시스템 및 방법에 관련된 것으로, 보다 상세하게는 다양한 전자 기기에서 음향을 입체적으로 캡처링할 수 있는 시스템 및 방법에 관한 것이다.
최근 HMD(Head-mount Display), 스마트 글라스, 스마트폰, 스마트 패드, 모바일 카메라 등과 같이 모바일 환경에서 사용할 수 있는 다양한 전자 기기들이 출시되고 있다. 이러한 전자 기기들은 실제 영상을 찍은 사진이나 동영상을 생생하게 보여주기 위한 기능들을 포함하고 있다. 이러한 기능들은 사람의 감각에서 시각이 가장 예민하고 많은 양의 정보를 받아들일 수 있다는 관점에서 영상에 집중하고 있다.
그러나 보다 생생한 정보를 제공하기 위해서는 음향정보를 함께 제공하는 것이 요구된다. 음향정보를 함께 제공할 경우, 사람의 목소리를 포함하여 주변에서 들려오는 다양한 소리들로 인해 현장에 있는 것과 같은 생생한 기분을 느낄 수 있다.
현재까지 출시된 대부분의 전자 기기들은 영상 전달에 집중하고, 사용자의 목소리만을 전달하기 위한 단일 마이크를 사용하는 것이 일반적이다. 최근 주변잡음 제거를 위해 잡음 음향을 별도 캡처링 하기 위한 마이크를 제공하는 기술이 개발되었으나, 음향정보를 입체적으로 제공하는 데에는 한계가 있다.
본 발명은 사용자의 음성 신호와 주변 음향 신호를 입체적으로 제공할 수 있는 입체 음향 캡처링 시스템 및 방법을 제공한다.
본 발명에 따른 입체 음향 캡처링 시스템은 음향 신호가 입력되는 주 마이크; 상기 주 마이크 주변에서 서로 상이한 위치에 배열되며, 상기 음향 신호가 입력되는 적어도 두 개 이상의 보조 마이크들; 상기 보조 마이크들에 입력된 음향 신호로부터 상기 음향 신호의 방향성 정보를 추출하는 방향성 추출 모듈; 및 상기 방향성 추출 모듈에서 추출된 상기 음향의 방향성 정보와 상기 음향 신호를 통합하는 음향 신호 통합 모듈을 포함한다.
또한, 상기 보조 마이크들은 상기 주 마이크와 동일 평면상에 배열될 수 있다.
또한, 상기 보조 마이크들은, 제1 평면상에서 상기 주 마이크와 배열되는 적어도 두 개 이상의 보조 마이크들과, 상기 제1 평면과 상이한 제2 평면상에서 배열되는 적어도 두 개 이상의 보조 마이크들로 구분될 수 있다.
또한, 상기 음향 신호에 포함된 신호들을 필터링하는 음향 신호 필터링 모듈을 더 포함하되, 상기 음향 신호 필터링 모듈은 상기 음향 신호에 포함된 주변 소음 신호를 추출하여 역위상 필터링을 통해 제거하는 소음 제거 필터; 상기 음향 신호에 포함된 에코 신호를 제거하는 음향 에코 제거 필터; 및 상기 음향 신호에 포함된 음성 신호를 추출하는 음성 추출 필터를 포함할 수 있다.
또한, 상기 방향성 추출 모듈은 상기 보조 마이크들 각각에 입력되는 상기 음향 신호의 입력 시간 차이를 산출하고, 상기 입력 시간 차이에 따른 상기 보조 마이크들로의 상기 음향 신호의 입사각을 산출하여 상기 음향의 방향성을 추출할 수 있다.
또한, 상기 주 마이크와 상기 보조 마이크들은 전자 기기에 부착될 수 있다.
본 발명에 따른 입체 음향 캡터링 방법은 주 마이크 및 상기 주 마이크 주변에 배열된 적어도 두 개 이상의 보조 마이크들을 통해 음향 신호가 입력되는 단계; 상기 보조 마이크들에 입력된 상기 음향 신호로부터 상기 음향 신호의 방향성 정보를 추출하는 단계; 및 상기 주 마이크에 입력된 상기 음향 정보와 상기 방향성 정보를 통합하는 단계를 포함한다.
또한, 상기 보조 마이크들은 상기 주 마이크와 동일 평면 상에 위치하여 상기 음향 신호를 입력할 수 있다.
또한, 상기 주 마이크 및 상기 보조 마이크에 입력된 상기 음향 신호에 포함된 신호들을 필터링하는 음향 신호 필터링 단계를 더 포함하되, 상기 음향 신호 필터링 단계는 상기 음향 신호에 포함된 주변 소음 신호를 역위상 필터링을 통해 제거하는 단계; 상기 음향 신호에 포함된 에코 신호를 제거하는 단계; 상기 음향 신호에 포함된 음성 신호를 추출하는 단계를 포함할 수 있다.
또한, 상기 음향 신호의 방향성 정보를 추출하는 단계는 상기 보조 마이크들 각각에 입력되는 상기 음향 신호의 입력 시간 차이를 산출하고, 상기 입력 시간 차이에 따른 상기 보조 마이크들로의 상기 음향 신호의 입사각을 산출하여 상기 음향의 방향성을 추출할 수 있다.
본 발명에 의하면, 음향 신호의 방향성 정보를 추출하고, 추출된 방향성 정보와 결합된 음향 신호를 제공함으로, 사용자에게 생생한 입체 음향을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 입체 음향 캡처링 시스템을 나타내는 도면이다.
도 2는 마이크 어레이 특성 파라미터를 나타내는 도면이다.
도 3은 마이크들을 선형 어레이로 배열하는 경우 발생할 수 있는 문제점을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 마이크 어레이를 나타내는 도면이다.
도 5는 도 4의 기준에 따라 전자 기기에 배치된 마이크 어레이를 나타내는 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 마이크 어레이를 나타내는 도면이다.
도 7 및 도 8은 도 6의 마이크 어레이가 결합된 전자 기기를 각각 나타내는 도면이다.
도 9는 글라스에 장착되는 마이크 어레이를 나타내는 도면이다.
도 10은 모바일 기기에 배열되는 마이크 어레이를 나타내는 도면이다.
도 11은 본 발명의 다른 실시 예에 따른 모바일 기기에 배열되는 마이크 어레이를 나타내는 도면이다.
도 12는 본 발명의 또 다른 실시 예에 따른 마이크 어레이 배열을 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 입체 음향 캡처링 시스템을 나타내는 도면이다.
도 1을 참조하면, 입체 음향 캡터링 시스템(10)은 마이크 어레이(110), 다중입력신호 입력인터페이스 모듈(120), 음향 신호 필터링 모듈(130), 방향성 추출 모듈(140), 음장 파라미터 추출 모듈(150), 그리고 음향 신호 통합 모듈(160)을 포함한다.
마이크 어레이(110)는 음향 신호가 입력되는 수단으로, 전자 기기에 부착된다. 음향 신호는 전자 기기의 사용자의 음성 신호, 사용자 주변 사람들의 음성 신호, 배경 소음, 주변 기기 소음 등을 포함한다. 그리고 전자 기기는 스마트 폰, 스마트 패드, 모바일 카메라 등 각종 모바일 기기와 HMD(Head Mounted Display), 스마트 글라스 등 각종 착용형 기기를 포함할 수 있다.
마이크 어레이(110)는 주 마이크(210)와 보조 마이크(220)를 포함한다. 주 마이크(210)에는 주로 전자 기기 사용자의 음성 신호가 입력될 수 있다. 보조 마이크(220)는 적어도 두 개 이상 제공되며, 주 마이크(210)의 주변에서 서로 상이한 위치에 배열된다. 보조 마이크(220)에는 주로 사용자 주변 사람들의 음성 신호, 배경 소음, 주변 기기 소음 등이 입력될 수 있다.
다중입력신호 입력인터페이스 모듈(120)은 주 마이크(210)와 보조 마이크(220)들을 통해 동시에 입력되는 음향 신호들을 받아들인다. 다중입력신호 입력인터페이스 모듈(120)은 주 마이크(210)와 보조 마이크(220)가 아날로그 마이크인 경우, 아날로그로 입력된 음향 신호를 디지털 신호로 변환할 수 있다. 또한, 주 마이크(210)와 보조 마이크(220)가 I2S, PDM, PCM 인터페이스 지원 마이크인 경우, 해당 프로토콜의 인터페이스 기능을 수행한다.
음향신호 필터링 모듈(130)은 다중입력신호 입력인터페이스 모듈(120)을 거친 음향 신호에서 배경 소음, 주변 기기 소음 등 관심영역 밖의 음향 신호를 제거하거나 세기를 줄인다. 구체적으로 음향신호 필터링 모듈(130)은 소음 제거 필터(131), 음향 에코 제거 필터(132), 그리고 음향 특성 추출 필터(133)를 포함한다.
소음 제거 필터(131)는 공간 내 배경 소음과 주변 기기 소음의 음향 특성을 추출하고, 이를 역위상 필터를 통해 제거함으로써 음성 신호의 왜곡을 최소화하여 소음을 저감한다.
음향 에코 제거 필터(132)는 스피커 시스템 사용시 마이크(210, 220)와 스피커 간에 발생하는 에코를 제거하기 위하여 발생 에코의 주파수 특성을 실시간으로 추출하여 제거한다.
음향 특성 추출 필터(133)는 음성 검출기 알고리즘을 통해 소음 환경 내 음성 신호만을 추출하고 소음을 억제시킨다.
마이크 어레이 특성 파라미터(111)는 마이크 어레이(110)의 특성 파라미터를 정의한다.
도 2는 마이크 어레이 특성 파라미터를 나타내는 도면이다.
도 2를 참조하면, 마이크 어레이 특성 파라미터(111)는 근거리(near field) 음장 모델/원거리 음장(far field) 모델(112)과 마이크로폰 지향성 패턴 모델(113)을 포함한다.
근거리 음장 모델/원거리 음장 모델(112)은 효과적인 음성 특징 추출 및 인식을 위하여 마이크 어레이(110)의 설치 위치와 음성 신호의 음원(사용자 또는 주변 사람의 입)과의 거리에 따라 근거리 음장 모델 또는 원거리 음장 모델로 마이크들의 특성 파라미터를 정의한다.
마이크로폰 지향성 패턴 모델(113)은 마이크 어레이(110)의 방향성 캡처링에 대한 정확도 향상을 위하여 각 마이크(210, 220)의 지향성 패턴을 정의한다. 마이크(210, 220)들은 무지향성 마이크 또는 지향성 마이크가 사용될 수 있다.
방향성 추출 모듈(140)은 음성 신호의 방향성 정보를 추출하여 음성 신호의 음원 위치를 추적한다. 방향성 추출 모듈(140)은 음성 신호의 입체적 캡처링과 방향성 음향 렌더링을 위해 DOA(Direction of Arrival)와 빔포밍을 통해 음원의 발생 위치를 추적할 수 있다. 방향성 추출 모듈(140)은 DOA를 통해 음성 신호의 도달 방향에 따른 지연 시간을 구한 후 상호상관(Cross-correlation) 계산을 통해 입사각을 산출하여 방향성을 추출할 수 있다. 그리고 추출된 방향으로 빔포밍 기술을 통해 빔 초점을 형성하여 방향성 특성을 부여함으로써 사용자 음성 및 이외의 다른 음원에 대한 음향 정보 수집을 최소화할 수 있다. 또한, 사용자가 다수인 경우 DOA와 빔포밍을 통해 다중 음원의 방향성을 동시에 추출할 수 있다.
음장 파라미터 추출 모듈(150)은 실내음향을 모델링하고, 모델링된 음장 파라미터와 캡처링된 음향 신호를 실시간으로 통합한다. 실내음향의 모델링은 공간 내에서 발생된 충격응답을 통해 실내음향 특성을 모델링하고, 해당 충격응답을 저장하여 음장 파라미터를 정의한다. 그리고 모델링된 음장 파라미터와 캡처링된 음향 신호를 실시간으로 통합함으로써, 공간의 실내음향 특성이 반영된 음향 신호로 변환되어 재생한다.
음향 신호 통합 모듈(160)은 방향성 추출 모듈(140)에서 추출된 음원의 방향성 정보와 음장 파라미터 추출 모듈(150)에서 정의된 음장 파라미터를 음향 신호 필터링 모듈(130)을 거친 음향 신호에 통합하여, 입체 음향 신호를 생성한다.
상술한 입체 음향 신호의 생성에는 마이크의 개수, 마이크 어레이의 기하학적 형상, 마이크의 방향성 패턴 등이 중요 요소이다. 그리고 마이크 어레이의 기하학적 형상을 결정하기 위해서는 마이크 어레이의 수음 방향 범위와 주 사용 음원의 주파수 범위가 고려되어야 한다.
마이크 어레이(110)는 주 마이크(210)와 보조 마이크(220)들을 선형 어레이(Linear array), 반원형 어레이(Semi-circular array), 그리고 사각형 어레이(Retangular arry)중 적어도 어느 하나로 배열할 수 있다.
선형 어레이는 수음 방향 범위가 수직 선상으로부터 ±45° 범위로 한정된다.
반원형 어레이는 수음 방향 범위가 주 마이크의 수직 선상으로부터 ±90° 범위로 한정된다.
사각형 어레이는 선형 어레이의 공간 알리아싱(Spatial aliasing) 문제를 극복하는데 필요한 어레이다.
도 3은 마이크들을 선형 어레이로 배열하는 경우 발생할 수 있는 문제점을 나타내는 도면이다.
도 3의 (a) 및 (b)를 참조하면, 선형 어레이의 경우 0°와 45° 위치에서 2개의 마이크에 도달하는 특정 주파수간의 위상 차가 0 또는 2π일 경우 음원(source)이 0° 또는 45°에 있다고 혼동하여 판단할 수 있다. 또한, 도 3의 (c)와 같이 45° 로 도출되었을 때 실제 음원(source1, source 2)의 위치가 마이크의 전면인지 후면인지 정확히 판단할 수 없다.
이에 반해 사각형 어레이는 각 마이크 간의 다양한 간격과 배치의 조합에서 도출되는 방향성 결과를 통해 선형 어레이에서 발생하는 오류를 개선할 수 있다.
음원의 방향성을 추출하기 위해서는 전 주파수 대역을 커버할 수 있는 마이크가 2개 이상 요구된다. 또한, 마이크들 간의 적정한 간격에 대한 정의가 요구된다.
마이크들의 배치 간격은 목표 주파수 범위 관점에서 결정된다. 마이크 어레이의 사용이 음성 전달을 주 목적으로 하는 경우, 목표 주파수 범위를 300~3400Hz로 설정하고 그에 따라 마이크간의 사이 거리(dsep=λ/2)는 최소한 5.0~56.6cm가 요구된다.
선형 어레이의 경우, 배열되는 마이크의 개수는 아래 식 (1)에 의해 결정될 수 있다.
dmax/dmin= M(M-1)/2 식 (1)
여기서,
dmax : 마이크 간의 최대 거리
dmin : 마이크 간의 최소 거리
M : 마이크로폰 개수
일 예에 의하면,
λ=2*0.05=0.10
f=c/λ=343.5/0.1(at 20℃) → 약 3400Hz
(λ: 파장, c=소리의 속도, f: 주파수)
사각형 어레이의 경우, 마이크들 간의 조합을 통해 선형 어레이의 경우보다 필요한 마이크의 개수를 줄일 수 있다.
마이크 어레이가 음성 신호를 입력하는 방향, 즉 수음 방향(Array directivity, D)은 아래 식 (2)와 같이 특정 방향의 음향 방향 인텐시티를 등방성 음향 방사 인텐시티(Isotropic radiant intensity, Ptotal)로 나눈 값으로 정의할 수 있다.
Figure 112016091502110-pat00001
식 (2)
그리고 전체 등방성 음향 방사 인텐시티(Ptotal)는 식 (3)과 같이 마이크 어레이를 둘러싸는 완전한 구를 균일한 각도의 그리드의 인텐시트로 균일하게 나누고, 그 값의 합으로 정의할 수 있다.
Figure 112016091502110-pat00002
식 (3)
식 (3)에서 M은 고각의 그리드 점의 개수이고, N은 방위각의 그리드 점의 개수이다.
방사되는 음향 인텐시티는 빔 패턴으로 나누어지기 때문에, 마이크 어레이의 수음방향은 아래 식 (4)와 같이 빔패턴의 방향성 (B(θ, φ)형태로 나타낼 수 있다.
Figure 112016091502110-pat00003
식(4)
이하, 상술한 마이크 어레이를 통한 방향성 추출 방법에 대해 설명한다.
방향성 추출 모듈(140)은 한 쌍의 마이크들 간의 사이 간격(d)과 이들 마이크들 각각에 도달하는 음향신호의 시간차(τd)와 소리의 속도(ν)를 이용하여 아래 식(5)로부터 통해 음원의 방향성을 추출할 수 있다
Figure 112016091502110-pat00004
식 (5)
세부적으로 아래 식 (6)은 상호관계(cross-correlation) 계산을 나타내는데 한 상의 마이크 신호간 관계성을 통해 음원의 방향을 추출할 수 있다.
Figure 112016091502110-pat00005
식(6)
식 (6)에 주파수 가중 PHAT(Phase transformation weightings) function(ψ)을 적용할 경우 식 (7)을 도출할 수 있으며, 식 (7)을 통해 잔향 환경, 소음 환경 내에서 더 정확한 음원의 방향성을 추출할 수 있다.
Figure 112016091502110-pat00006
식 (7)
여기서,
Figure 112016091502110-pat00007
이며,
주파수 가중 PHAT function(ψ)은 아래 식 (8)과 식 (9)로 정의될 수 있다.
Figure 112016091502110-pat00008
식 (8)
Figure 112016091502110-pat00009
식(9)
이하, 상술한 마이크 어레이 배치 기준에 따라 전자 기기에 배치된 마이크 어레이의 다양한 실시 예에 대해 설명한다.
도 4는 본 발명의 일 실시 예에 따른 마이크 어레이를 나타내는 도면이다.
도 4를 참조하면, 주 마이크(210) 주변에는 복수 개의 보조 마이크(221 내지 228)들이 입체적으로 배열된다. 보조 마이크(221 내지 228)들 중 일부(221 내지 224)는 주 마이크(210)와 동일 평면(11)상에 위치할 수 있고, 나머지(225 내지 228)는 주 마이크(210)와 다른 평면(12)상에 위치할 수 있다. 이들 평면(11, 12)은 서로 나란하게 배치될 수 있다.
실시 예에 의하면, 8개의 보조 마이크(211 내지 218)들이 제공된다. 4개의 마이크(221 내지 224)는 주 마이크(210)와 XY 평면(11)상에 위치한다. 4개의 마이크(225 내지 228)는 주 마이크(210)를 중심으로 사각으로 배열된다. 주 마이크(210)는 X축 방향으로, 그리고 Y축 방향으로 보조 마이크(211 내지 214)들의 사이 간격(Δx, Δy)의 중앙에 위치한다.
나머지 4개의 마이크들(215 내지 218)은 Z축 방향으로 주 마이크(210)와 다른 높이에 위치한다. 나머지 4개의 마이크들(215 내지 218)은 Z축 방향으로 주 마이크(210)와 동일 평면에 위치하는 보조 마이크(211 내지 214)들과 대응되는 지점에 각각 위치한다.
도 5는 도 4의 기준에 따라 전자 기기에 배치된 마이크 어레이를 나타내는 도면이다.
도 5를 참조하면, 전자 기기(300)는 HMD가 제공될 수 있다. HMD(300)에 배치된 보조 마이크(221 내지 228)들의 사이 간격에 따라 다양한 주파수 범위의 음향 방향성 정보 추출이 가능하다. 실시 예에 의하면, 보조 마이크(221 내지 228)들간의 사이 간격이 최소 5cm에서 3400Hz 이상의 음향 방향성 정보 추출이 가능하며, HMD(300)의 대각선 최대 길이 26cm 사이 간격의 보조 마이크(221 내지 228)들로부터 650Hz이상의 음향 방향성 정보 추출이 가능하다.
도 6은 본 발명의 다른 실시 예에 따른 마이크 어레이를 나타내는 도면이다.
도 6을 참조하면, 보조 마이크(221 내지 227)들은 주 마이크(210) 주변에서 반원 형상을 따라 배열된다. 보조 마이크(221 내지 227)들은 주 마이크(210)와 동일 평면(11)상에 배열된다.
상기 도 6의 마이크 어레이 배열은 도 7 및 도 8과 같은 앞면이 곡면으로 제공되는 HMD(310, 320)에 적용될 수 있다.
보조 마이크(221 내지 227)들은 Uniform Semi-Circular Array 형식으로 배열되며, 정면 중앙을 중심으로 좌우 방향으로 동일한 각도 간격으로 배열된다. 실시 예에 의하면, 정면 중앙에 위치하는 보조 마이크(224)를 기준으로 좌우 방향으로 30° 또는 45° 각도 간격으로 보조 마이크(221 내지 223, 225 내지 227)들이 배열될 수 있다.
보조 마이크(221 내지 227)들간의 각도 간격은 빔포밍 정밀도를 높이려면 좁게, 정밀도를 낮추려면 넓게 설정할 수 있다.
도 9는 글라스에 장착되는 마이크 어레이를 나타내는 도면이다. 도 9를 참조하면, 주 마이크(210)는 글라스의 정면 중앙에, 보조 마이크(221 내지 224)들은 주 마이크(210)를 기준으로 좌우를 따라 소정 간격으로 부착될 수 있다.
또한, 주 마이크(210)와 보조 마이크(221 내지 224)들의 조합은 일직선상에 배치되도록 부착될 수 있다.
도 10은 모바일 기기에 배열되는 마이크 어레이를 나타내는 도면이다. 도 10에서 (a)는 마이크 어레이가 부착된 모바일 기기를 나타내는 사시도이고, (b)는 모바일 기기의 전면을, (c)는 모바일 기기의 후면을 각각 나타낸다.
도 10을 참조하면, 마이크 어레이(110)는 모바일 기기(340)의 표시부(343)가 있는 전면(341)과 이에 대향하는 후면(342)에 걸쳐 배열될 수 있다.
실시 예에 의하면, 주 마이크(210)는 모바일 기기(340)의 후면(342) 중앙에 배열되고, 주변에는 복수의 보조 마이크(221 내지 228)들이 배열된다. 보조 마이크(222, 224, 225, 227)들은 주 마이크(210)를 기준으로 상하좌우 직각방향으로 서로 대칭되는 지점에 부착될 수 있다. 그리고 대각선 방향으로 서로 대칭되는 지점에 보조 마이크(221, 223, 226, 228)들이 부착될 수 있다. 그리고 전면(341)에는 표시부(343)의 외측 가장자리영역에 복수의 보조 마이크(229 내지 232)들이 배열된다.
도 11은 본 발명의 다른 실시 예에 따른 모바일 기기에 배열되는 마이크 어레이를 나타내는 도면이다. 도 11은 모바일 기기의 후면을 나타낸다.
도 11을 참조하면, 주 마이크(210)는 모바일 기기(340)의 후면(342) 중앙에 부착되고, 보조 마이크(221 내지 224)들은 모바일 기기(340)의 측면(343) 영역에 부착될 수 있다. 보조 마이크(221 내지 224)들은 주 마이크(210)를 기준으로 상하좌우 직각방향으로 서로 대칭되는 지점에 부착될 수 있다.
상술한 모바일 기기(340)에 부착되는 마이크 어레이(221 내지 224)의 경우, 모바일 기기(340)를 통한 영상 통화 시 입체 음향을 실시간으로 지원할 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 마이크 어레이 배열을 나타내는 도면이다.
도 12를 참조하면, 최근 사용자의 머리에 착용한 후 360° 방향의 영상을 동시에 촬영할 수 있는 파노라마 카메라(350)가 출시되고 있다. 이러한 착용형 전자 기기(350)의 경우, 마이크 어레이(221 내지 228)를 Uniform Circular Array 형식으로 배열할 수 있다. 마이크(221 내지 228)들은 착용형 전자 기기(350)의 중심을 기준으로 서로 대칭되는 위치에서, 동일한 각도 간격으로 어레이를 구성할 수 있다.
본 실시 예에서는 8개의 마이크(221 내지 228)들이 45° 간격으로 어레이를 구성하는 것으로 표시하였으나, 이에 한정되지 않고 다양하게 변경될 수 있다. 예컨대, 4개의 마이크들이 어레이를 구성하는 경우 마이크들간 사이 간격은 90°을 이룰 수 있다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
10: 입체 음향 캡처링 시스템
110: 마이크 어레이
120: 다중입력신호입력인터페이스 모듈
130: 음향 신호 필터링 모듈
131: 소음 제거 필터
132: 음향 에코 제거 필터
133: 음향 특성 추출 필터
140: 방향성 추출 모듈
150: 음장 파라미터 추출 모듈
160: 음향 신호 통합 모듈
210: 주 마이크
220: 보조 마이크

Claims (10)

  1. 주변 공간에서 생성된 음향 신호가 입력되는 단일의 주 마이크;
    상기 주 마이크 주변에서 서로 상이한 위치에 배열되며, 상기 음향 신호가 입력되는 복수 개의 보조 마이크들;
    상기 보조 마이크들에 입력된 음향 신호로부터 상기 음향 신호의 방향성 정보를 추출하는 방향성 추출 모듈; 및
    상기 방향성 추출 모듈에서 추출된 상기 음향의 방향성 정보와 상기 음향 신호를 통합하는 음향 신호 통합 모듈을 포함하되,
    상기 보조 마이크들 중 일부는 제1 평면상에서 상기 주 마이크를 중심으로 상기 주 마이크의 주변에 사각형 어레이로 배열되고, 나머지는 상기 제1평면과 다른 높이를 갖고 상기 제1평면과 나란한 제2평면상에서 사각형 어레이로 배열되며,
    상기 방향성 추출 모듈은,
    상기 보조 마이크들의 사이 간격과 상기 보조 마이크들 각각에 입력되는 상기 음향 신호의 입력 시간 차이를 통해, 상기 보조 마이크들에 입력되는 상기 음향 신호의 입사각을 산출하여 상기 음향 신호의 방향성 정보를 추출하는 입체 음향 캡처링 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 음향 신호에 포함된 신호들을 필터링하는 음향 신호 필터링 모듈을 더 포함하되,
    상기 음향 신호 필터링 모듈은
    상기 음향 신호에 포함된 주변 소음 신호를 추출하여 역위상 필터링을 통해 제거하는 소음 제거 필터;
    상기 음향 신호에 포함된 에코 신호를 제거하는 음향 에코 제거 필터; 및
    상기 음향 신호에 포함된 음성 신호를 추출하는 음성 추출 필터를 포함하는 입체 음향 캡처링 시스템.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 주 마이크와 상기 보조 마이크들은 전자 기기에 부착되는 입체 음향 캡처링 시스템.
  7. 단일의 주 마이크 및 상기 주 마이크 주변에 배열된 복수 개의 보조 마이크들을 통해 주변 공간에서 생성되는 음향 신호가 입력되는 단계;
    상기 보조 마이크들에 입력된 상기 음향 신호로부터 상기 음향 신호의 방향성 정보를 추출하는 단계; 및
    상기 주 마이크에 입력된 상기 음향 정보와 상기 방향성 정보를 통합하는 단계를 포함하되,
    상기 보조 마이크들 중 일부는 제1 평면상에서 상기 주 마이크를 중심으로 상기 주 마이크의 주변에 사각형 어레이로 배열되고, 나머지는 상기 제1평면과 다른 높이를 갖고 상기 제1평면과 나란한 제2평면상에서 사각형 어레이로 배열되며,
    상기 음향 신호의 방향성 정보를 추출하는 단계는,
    상기 보조 마이크들의 사이 간격과 상기 보조 마이크들 각각에 입력되는 상기 음향 신호의 입력 시간 차이를 통해, 상기 보조 마이크들에 입력되는 상기 음향 신호의 입사각을 산출하여 상기 음향 신호의 방향성 정보를 추출하는 입체 음향 캡처링 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 주 마이크 및 상기 보조 마이크에 입력된 상기 음향 신호에 포함된 신호들을 필터링하는 음향 신호 필터링 단계를 더 포함하되,
    상기 음향 신호 필터링 단계는
    상기 음향 신호에 포함된 주변 소음 신호를 역위상 필터링을 통해 제거하는 단계;
    상기 음향 신호에 포함된 에코 신호를 제거하는 단계;
    상기 음향 신호에 포함된 음성 신호를 추출하는 단계를 포함하는 입체 음향 캡처링 방법.
  10. 삭제
KR1020160120679A 2016-06-30 2016-09-21 입체 음향 캡처링 시스템 및 방법 KR101844822B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160082702 2016-06-30
KR20160082702 2016-06-30

Publications (2)

Publication Number Publication Date
KR20180003384A KR20180003384A (ko) 2018-01-09
KR101844822B1 true KR101844822B1 (ko) 2018-05-18

Family

ID=61000751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160120679A KR101844822B1 (ko) 2016-06-30 2016-09-21 입체 음향 캡처링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101844822B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099450B1 (ko) 2018-11-14 2020-05-15 서울과학기술대학교 산학협력단 360°영상에서 영상과 음향의 정위 합치 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170088A (ja) * 2010-02-18 2011-09-01 Kobe Steel Ltd 能動騒音制御装置
JP2016114426A (ja) * 2014-12-12 2016-06-23 株式会社熊谷組 音源方向推定方法
JP6101875B2 (ja) * 2014-12-30 2017-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ジュース抽出器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170088A (ja) * 2010-02-18 2011-09-01 Kobe Steel Ltd 能動騒音制御装置
JP2016114426A (ja) * 2014-12-12 2016-06-23 株式会社熊谷組 音源方向推定方法
JP6101875B2 (ja) * 2014-12-30 2017-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ジュース抽出器

Also Published As

Publication number Publication date
KR20180003384A (ko) 2018-01-09

Similar Documents

Publication Publication Date Title
US11838707B2 (en) Capturing sound
JP6747538B2 (ja) 情報処理装置
US10397722B2 (en) Distributed audio capture and mixing
US9706292B2 (en) Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
US10555106B1 (en) Gaze-directed audio enhancement
KR101724514B1 (ko) 사운드 신호 처리 방법 및 장치
CN108156561B (zh) 音频信号的处理方法、装置及终端
US11039261B2 (en) Audio signal processing method, terminal and storage medium thereof
KR20170067682A (ko) 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터
KR20150139934A (ko) 오디오 장치
JP2008543143A (ja) 音響変換器のアセンブリ、システムおよび方法
JP2008543144A (ja) 音響信号用装置、システム、方法
CN109314832A (zh) 音频信号处理方法和设备
JP2017118375A (ja) 電子機器及び音出力制御方法
US11019414B2 (en) Wearable directional microphone array system and audio processing method
JP6410769B2 (ja) 情報処理システム及びその制御方法、コンピュータプログラム
JP7070910B2 (ja) テレビ会議システム
JPH08221081A (ja) 音伝達装置
KR101844822B1 (ko) 입체 음향 캡처링 시스템 및 방법
JP2019161400A (ja) 収音装置、プログラム及び方法
JP2018019295A (ja) 情報処理システム及びその制御方法、コンピュータプログラム
JP7040198B2 (ja) 収音装置、プログラム及び方法
CN114339582A (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
JP6664456B2 (ja) 情報処理システム及びその制御方法、コンピュータプログラム
WO2019174442A1 (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant