KR20110047852A - 동작 환경에 적응 가능한 음원녹음장치 및 그 방법 - Google Patents

동작 환경에 적응 가능한 음원녹음장치 및 그 방법 Download PDF

Info

Publication number
KR20110047852A
KR20110047852A KR1020090104638A KR20090104638A KR20110047852A KR 20110047852 A KR20110047852 A KR 20110047852A KR 1020090104638 A KR1020090104638 A KR 1020090104638A KR 20090104638 A KR20090104638 A KR 20090104638A KR 20110047852 A KR20110047852 A KR 20110047852A
Authority
KR
South Korea
Prior art keywords
sound source
pressure level
sound
sound pressure
gain
Prior art date
Application number
KR1020090104638A
Other languages
English (en)
Inventor
신기훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090104638A priority Critical patent/KR20110047852A/ko
Priority to US12/911,315 priority patent/US8913761B2/en
Publication of KR20110047852A publication Critical patent/KR20110047852A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

음원 특성이나 주변 잡음에 의한 영향을 받지 않고 일정한 레벨로 대상 음원을 녹음할 수 있는 동작 환경에 적응 가능한 음원녹음장치 및 방법을 개시한다. 마이크로폰 어레이에 수신된 음원 신호에서 대상 음원을 분리하고, 그 대상 음원에 대해 기준 음압레벨과 기준 거리를 이용하여 녹음 음압레벨과 게인을 각각 추정함으로서 마이크로폰의 게인을 조절할 수 있다.
음원 거리, 음원 녹음, 마이크로폰, 게인, 음압레벨

Description

동작 환경에 적응 가능한 음원녹음장치 및 그 방법{Method and Apparatus for recording sound source adaptable to operation environment}
본 발명은 음원 특성이나 주변 잡음의 영향으로부터 벗어나서 일정한 레벨로 대상 음원을 녹음을 할 수 있는 동작 환경에 적응 가능한 음원녹음장치 및 방법에 관한 것이다.
디지털 기술의 발달에 따라 캠코더, 디지털 카메라와 같은 휴대 기기에서 동영상 촬영할 때 음성 녹음할 수 있다. 또한 홈 네트워크 기술의 발달에 힘입어 가정에서 인간과 함께 생활하며 청소, 심부름 등 가사를 지원해 주는 홈 서비스 로봇과 같은 지능형 로봇이 음성 인식에 기반하여 주어진 작업을 수행하기도 한다.
음원 녹음 기능을 갖춘 기기가 보통 마이크로폰으로 음원 신호를 수신하며, 수신 음원의 음원 세기(intensity)가 음원 거리에 따라 변화된다. 음원이 다가오고 마이크로폰의 게인이 일정하면 음원 신호를 샘플링할 때 소리의 일부가 잘리는 클리핑 현상이 발생됨에 따라 음원 인식률이 떨어진다.
음원 거리에 맞는 최적 게인을 저장해 둔 후, 마이크로폰에 수신되는 음원 세기가 일정 레벨보다 크면 마이크로폰의 게인을 감소시켜 실제 녹음하는 음원 레벨을 작게 하고 음원 세기가 일정 레벨보다 작으면 마이크로폰의 게인을 증가시켜 실제 녹음하는 음원 레벨을 크게 하는 게인 조절을 통하여 음원 거리에 따라 마이크로폰의 게인을 보상하는 것을 고려할 수 있다.
실내나 실외에서 동작하는 대부분의 경우에서 기기 본체에 장착된 마이크로폰에 화자의 음성과 함께 다수의 음원 신호가 들어온다.
일반적으로 가정에서 흔히 접할 수 있는 가전제품(TV, 에어콘, 세탁기, 전화)에서 발생하는 각종 소음 외에도 초인종, 외부소음, 가족간 대화 등 다양한 잡음이 존재하는 동작 환경에서 마이크로폰에 수신되는 음원 세기에만 의존하여 마이크로폰의 게인을 조절하여 대처하는 것은 별 쓸모가 없다. 화자가 일정 거리에서 적정 레벨로 발음하고 있어도 일시적으로 솟구치거나 낮아지는 주변 잡음의 레벨 변화로 인하여 마이크로폰의 게인이 자동으로 조절되므로 녹음된 화자의 음성 레벨은 일정치 못할 수 있기 때문이다.
음원 거리가 동일하더라도 음원 특성이 다를 수 있기 때문에, 예를 들어 화자가 발성하는 음량 차이가 있으므로 단순히 음원 거리에 따라 마이크로폰의 게인을 조절하는 것만으로는 만족스러운 결과를 얻을 수 없다.
본 발명의 일 측면은 음원 특성이나 실내나 실외에서 발생하는 주변 잡음에 의한 영향을 받지 않고 일정한 레벨로 음원 녹음하는 것이다.
본 발명의 다른 측면은 수신된 음원에서 대상 음원을 분리하고 그 대상 음원에 대해 음원 거리에 따라 마이크로폰의 게인을 조절하는 것이다.
본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법은, 음원 수신부에 수신된 음원 신호로부터 대상 음원을 분리하고; 상기 대상 음원의 음원 세기를 조절하기 위한 게인을 추정하며; 상기 추정된 게인에 따라 음원 세기가 조절된 대상 음원을 녹음한다.
또한, 상기 음원 분리는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술에 속하는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)과 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용한다.
또한, 상기 게인 추정은 (식1)을 이용한다.
Figure 112009067033811-PAT00001
(식1)
여기서, L은 추정된 녹음 음압레벨, Lref는 기준 음압레벨, d는 음원 거리, dref는 기준 거리, G는 추정된 게인, B는 상수이다.
또한, 상기 기준 음압레벨은 사전 설정되는 것이다.
또한, 상기 기준 음압레벨은 식(2)에 따라 얻어지는 실효적인 측정 음압레벨 로 재설정되는 것이다.
Figure 112009067033811-PAT00002
(식2)
여기서, LT는 측정 음압레벨, E{ }는 기대값(평균값)이고, xi[n]는 음원 신호(xi)의 샘플링 값이다.
본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법은, 마이크로폰 어레이로 수신한 신호로부터 대상 음원을 분리하고; 상기 대상 음원의 음압레벨을 측정하며; 상기 측정 음압레벨과 사전 설정된 기준 음압레벨을 비교하고; 상기 측정 음압레벨과 상기 기준 음압레벨이 다르면 상기 기준 음압레벨을 재 설정하고, 재설정된 기준 음압레벨을 이용하여 녹음 음압레벨과 상기 마이크로폰의 게인을 각각 추정하고; 상기 추정된 게인에 따라 상기 마이크로폰의 게인을 조절하여 상기 대상 음원을 녹음한다.
또한, 상기 측정 음압레벨은 실효적인 음압레벨인 것이다.
또한, 상기 대상 음원에 대한 음원 거리가 변경되면 변경된 음원 거리에 따라 상기 녹음 음압레벨과 상기 마이크로폰의 게인을 다시 추정한다.
본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법은, 마이크로폰 어레이로 수신한 신호로부터 대상 음원을 분리하고; 상기 대상 음원에 대하여 음압레벨과 음원 거리를 측정하며; 상기 측정 음압레벨로 기준 음압레벨을 최초 설정하고, 상기 측정 음원 거리로 기준 거리를 최초 설정하며; 상기 최초 설정된 기 준 음압레벨 및 기준 거리를 이용하여 녹음 음압레벨과 상기 마이크로폰의 게인을 각각 추정하고; 상기 추정된 게인에 따라 상기 마이크로폰의 게인을 조절하여 상기 대상 음원을 녹음한다.
또한, 상기 대상 음원에 대한 음원 거리가 변경되면 변경된 음원 거리에 따라 상기 녹음 음압레벨과 상기 마이크로폰의 게인을 다시 추정한다.
본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음장치는, 마이크로폰 어레이로 음원 신호를 수신하는 음원 수신부; 상기 수신 음원의 음원 세기를 조절하기 위해 게인 제어신호에 따라 상기 마이크로폰의 게인을 조절하는 게인 조절부; 상기 대상 음원에 대한 음원 거리를 측정하는 거리 측정부; 상기 수신 음원에서 대상 음원을 분리하고, 분리된 대상 음원을 분석하여 상기 마이크로폰의 게인을 추정하고, 상기 거리 측정부에 의해 측정되는 음원 거리가 변경되면 상기 마이크로폰의 게인을 다시 추정하고, 추정된 마이크로폰의 게인에 따라 상기 게인 제어신호를 제공하는 제어부를 포함한다.
또한, 상기 제어부는, 상기 수신된 음원 신호에서 대상 음원을 분리하는 음원 분리부와, 상기 대상 음원의 음압레벨을 측정하는 측정 음압레벨 계산부와, 상기 측정 음압레벨 계산부의 측정 음압레벨과 사전 설정된 기준 음압레벨이 다르면 상기 측정 음압레벨로 기준 음압레벨을 재설정하는 기준레벨 설정부와, 상기 사전 설정된 기준 음압레벨이나 재설정된 기준 음압레벨을 이용하여 녹음 음압레벨을 추정하는 녹음 음압레벨 추정부와, 상기 추정된 녹음 음압레벨을 이용하여 상기 마이크로폰의 게인을 추정하는 게인 추정부를 포함한다.
또한, 상기 음원 분리부는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술에 속하는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)과 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용하여 음원 분리한다.
또한, 상기 녹음 음압레벨 추정부와 상기 게인 추정부는 (식1)을 이용하여 녹음 읍압레벨과 게인을 각각 추정한다.
Figure 112009067033811-PAT00003
(식1)
여기서, L은 추정된 녹음 음압레벨, Lref는 기준 음압레벨, d는 음원 거리, dref는 기준 거리, G는 추정된 게인, B는 상수이다.
또한, 상기 수신된 음원 신호를 샘플링하여 디지털 변환하는 신호 변환부를 더 포함하고,
상기 측정 음압레벨 계산부는 대상 음원의 샘플링 신호로 (식2)를 이용하여 실효적인 측정 음압레벨(LT)을 계산하는 동작 환경에 적응 가능한 음원녹음장치.
Figure 112009067033811-PAT00004
(식2)
여기서, LT는 측정 음압레벨, E{ }는 기대값(평균값)이고, xi[n]는 음원 신호(xi)의 샘플링 값이다.
또한, 상기 제어부는 상기 대상 음원에 대해 측정하여 얻은 음압레벨과 음원 거리로 각각 최초 설정된 기준 음압레벨과 최초 설정된 기준 거리를 이용하여 녹음 음압레벨을 추정하고, 추정된 녹음 음압레벨을 이용하여 상기 마이크로폰의 게인을 추정한다.
이와 같은 실시 예에 따르면 동작 환경에 적응적으로 마이크로폰의 게인 조절을 통하여 일정한 레벨로 음원 녹음하므로, 음원 녹음기나 동영상 촬영기기가 일정하고 고른 음원 세기로 음원을 재생할 수 있고, 지능형 로봇에서 일정한 레벨로 녹음된 음원에 대한 인식 성능을 높일 수 있다.
이하 본 발명의 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 음원녹음장치를 이용하여 음원 녹음하는 동작을 설명하는 도면이고, 도 2는 본 발명의 실시 예에 따른 음원녹음장치의 마이크로폰 어레이와 화자 사이의 음원 거리를 설명하기 위한 도면이다.
도 1에 도시한 바와 같이, 음원녹음장치(1)가 가사를 지원하는 홈 서비스 로봇에 구현된 경우로서, 화자(2)가 음성으로 작업 명령을 로봇에게 주면 그 음성을 녹음할 수 있다. 실시 예와 같이 음원녹음장치(1)가 홈 서비스 로봇에만 적용되는 것은 아니고 캠코더, 디지털 카메라 등 동영상 촬영기기나 음원 녹음기에 적용될 수 있다.
실내나 실외에 사용하는 음원녹음장치(1)의 동작 환경에서 대부분의 경우 화자(2)를 포함하여 여러 가지 음원에서 발생된 소리에 의한 영향을 고려해야 한다. 예를 들어 다양한 가전제품(TV, 에어콘, 세탁기, 전화)이나 사무기기(프린터, 팩시밀리)들이 갖춰진 가정이나 사무실과 같은 실내 환경 또는 바람이나 차량 소음이 있는 실외 환경에서 다양한 잡음을 배제시킬 필요가 있다.
실시 예에서 마이크로폰 어레이(11)를 이용하여 많은 음원으로부터 발생된 음원 신호를 수신하고, 수신된 음원 신호로부터 녹음하려는 대상 음원을 분리한다.
음원 분리는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술에 속하는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)과 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용할 수 있다.
도 2에 도시한 바와 같이, 음원녹음장치(1)가 적용된 로봇 본체 외곽에 마이크로폰 어레이(11)가 등간격으로 설치된다.
마이크로폰 어레이(11)에 수신한 음원 신호로부터 음원 분리하여 화자(2)의 음성을 추출하여도, 화자(2)와 마이크로폰 어레이(11) 사이의 음원 거리(d)는 화자의 이동에 따라 변경될 수 있으므로, 대상 음원을 녹음할 때 음원 거리에 따라 마이크로폰의 게인을 조절한다. 이러한 게인 조절을 위해 때 다음 (식1)에 따라 게인(G)을 추정한다.
Figure 112009067033811-PAT00005
Figure 112009067033811-PAT00006
(식1)
여기서, L은 음원 녹음할 때 적용하기 위해 추정된 녹음 음압레벨, Lref는 기준 음압레벨, d는 거리 측정으로 측정된 음원 거리, dref는 기준 거리, G는 추정 게인, B는 상수이다. 기준 음압레벨(Lref)과 기준 거리(dref)는 사전에 저장해 둘 수 있다.
동일 거리에서 사람에 따라 음량이 다른 음원 특성을 고려하여 일정한 레벨로 음원 녹음하려면, 마이크로폰 어레이(11)에 수신된 음원에 대한 기준 음압레벨이 적절하게 설정될 필요가 있다. 즉, 다수회의 시험을 거쳐 기준 음압레벨(Lref)을 사전 설정해 두었더라도 실제 동작되는 환경에서 대상 음원에 맞지 않으면 기준 음압레벨(Lref)을 재 설정하여 음원 녹음 시 반영할 필요가 있다.
기준 음압레벨의 재 설정 여부를 파악하기 위해 일정시간 동안 실효적인 음압레벨을 측정하고 그 측정값을 측정 음압레벨(LT)로 결정하며, 이를 위해 (식2)를 이용한다.
Figure 112009067033811-PAT00007
(식2)
여기서, LT는 측정 음압레벨, E{ }는 기대값(평균값)이고, xi[n]는 분리된 음원 신호(xi)의 샘플링 값이다.
분리된 음원의 측정 음압레벨(LT)과 기준 음압레벨(Lref)을 비교한 결과에 따라 새로운 기준 음압레벨을 재설정할 수 있다. 예를 들어 분리된 음원의 측정 음압레벨(LT)이 기준 음압레벨(Lref)과 동일하면 (식1)에 따라 녹음 음압레벨(L)을 추정하면 된다.
분리된 음원의 측정 음압레벨(LT)이 기준 음압레벨(Lref)과 다르면 (식2)에 의해 얻어진 측정 음압레벨(LT)을 새로운 기준 음압레벨(Lref)로 재설정하고 동시에 분리된 음원에 대하여 측정된 음원 거리(d)를 새로운 기준 거리(dref)로 재설정한다. 이렇게 재설정된 기준 음압레벨(Lref)과 기준 거리(dref)를 가지고 (식1)에 따라 녹음 음압레벨(L)과 게인(G)을 각각 추정하고, 추정된 게인(G)에 따라 마이크로폰의 게인을 조절하면 된다.
이렇게 게인 조절하여 음원 녹음하는 동안, 화자(2)의 이동에 따라 측정되는 음원 거리(d)가 변경될 때 마다 그 변경된 음원 거리(d)로 (식1)을 이용하여 녹음 음압레벨과 게인을 다시 추정하여 마이크로폰의 게인 조절에 반영하게 된다.
도 3은 본 발명의 실시 예에 따른 음원녹음장치의 블록도이고, 도 4는 본 발명의 실시 예에 따른 음원녹음장치의 제어부의 블록도이다.
음원 수신부(10)는 적어도 하나의 마이크로폰을 포함하며, 실시 예는 로봇 본체 외곽에 등간격으로 설치된 마이크로폰들로 구성되는 마이크로폰 어레이(11)를 이용하여 적어도 하나의 음원으로부터 발생된 음원 신호를 수신한다.
게인 조절부(20)는 마이크로폰 어레이(11)에 수신된 음원 신호에 대응하여 마이크로폰의 게인을 조절하는 적어도 하나의 앰프를 포함하며, 이 앰프는 제어부(50)의 게인 제어신호에 따라 증폭률이 변화한다.
신호 변환부(30)는 게인 조절부(20)에 의해 게인 조절된 신호를 샘플링하여 디지털 변환하는 A/D 컨버터를 포함하며, 변환된 샘플링 신호를 제어부(50)와 저장부(60)에 제공한다.
거리 측정부(40)는 대상 음원으로부터 떨어진 음원 거리(d)를 측정하며, 실시 예에서 Time-of-flight(TOF) 카메라로 음원 거리(d)를 측정한다.
제어부(50)는 음성 수신부(10)를 통해 수신한 음원 신호를 분석하여 게인 조절부(20)에 게인 제어신호를 제공하고, 화자(2)의 음성을 인식하거나 입력부(70)를 통해 입력된 명령에 따라 주어진 작업을 처리한다. 입력부(70)는 사용자 인터페이스를 위한 버튼이나 터치스크린 등으로 구현할 수 있다.
저장부(60)는 음원 녹음을 위해 필요한 데이터를 저장하며, 이 데이터는 기준 음압레벨과 기준 거리를 포함한다.
도 4를 참고하여, 제어부(50)는 음원 분리부(51), 측정 음압레벨 계산부(52), 기준레벨 설정부(53), 녹음 음압레벨 추정부(54), 및 게인 추정부(55)를 포함한다.
마이크로폰 어레이(11)에 입력되는 음원 신호가 신호 변환부(30)에 의해 샘플링 신호로 변환되고 나서 음원 분리부(51)에 제공된다. 음원 분리부(51)에 제공되는 샘플링 신호에 대상 음원인 화자(2)의 음성 뿐만 아니라 주변 잡음이 섞여서 들어 있을 수 있으므로, 음원 분리부(51)는 대상 음원을 분리하여 추출한다. 이때 신호 소스에 대해 사전 정보 없이 여러 음원이 섞인 신호로부터 원하는 음원을 분리하는 BSS 기술을 사용하여 음원 분리할 수 있는데, 그 하나의 예로 ICA 알고리즘을 이용한다. 음원 분리된 음원의 샘플링 신호가 측정 음압레벨 계산부(52)에 제공된다.
측정 음압레벨 계산부(52)는 제공받은 분리된 음원의 샘플링 신호로 (식2)를 이용하여 실효적인 측정 음압레벨(LT)을 계산하여 기준레벨 설정부(53)에 제공한다.
기준레벨 설정부(53)는 측정 음압레벨(LT)과 저장부(60)로부터 제공받은 기준 음압레벨(Lref)을 비교한 결과 동일하면 저장부(60)에 저장된 기준 음압레벨(Lref)을 (식1)에서 사용하도록 설정한다. 비교 결과 측정 음압 레벨(LT)과 저장부(60)에 저장된 기준 음압레벨(Lref)이 다르면 기준 음압레벨을 재 설정한다. 즉, 기준레벨 설정부(53)는 대상 음원에 대한 측정 음압레벨(LT)을 새로운 기준 음압레벨(Lref)로 재설정하고 저장부(60)에 저장한다. 이와 함께 거리 측정부(40)에 의해 분리된 음원에 대해 측정된 거리(d)를 새로운 기준 거리(dref)로 재설정하고 저장부(6)에 저장한다.
사전 설정되거나 재 설정된 저장부(60)의 데이터를 제공받아 (식1)을 이용하여 녹음 음압레벨 추정부(54)에 의해 대상 음원의 녹음 음압레벨(L)이 추정되고 게인 추정부(55)에 의해 게인(G)이 추정된다. 제어부(50)는 추정 게인(G)에 따라 게인 제어신호를 게인 조절부(20)에 제공한다. 그러면 게인 조절부(20)가 게인 제어신호에 따라 마이크로폰의 게인을 조절한다. 그 결과 마이크로폰 어레이(11)에 수신되어 증폭되는 음원 신호가 변화되어 대상 음원의 세기가 조절된다.
음원 녹음하는 동안, 대상 음원인 화자(2)가 이동함에 따라 음원 거리(d)가 변경된다. 거리 측정부(40)에 의해 측정되는 변경된 음원 거리(d)에 기초하여 (식1)을 이용하여 녹음 음압레벨(L)과 게인(G)을 다시 추정하여 대상 음원에 대한 음원 세기를 적절하게 조절하는데 반영한다.
이렇게 음원 특성과 주변 잡음의 영향을 받지 않도록 음원 세기가 조절되는 대상 음원의 음원 신호가 저장부(60)에 저장되기 때문에 일정 레벨로 음원 녹음을 할 수 있다.
도 5는 본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법을 설명하기 위한 흐름도이다.
가사를 지원하는 홈 서비스 로봇에 음원녹음장치(1)가 구현된 경우의 예를 들어 설명하지만, 이에 한정하는 것은 아니고 동영상 촬영할 수 있는 기기에 적용할 수 있다. 실내 또는 실외 환경에서 대상 음원 뿐만 아니라 다양한 잡음이 발생하는 동작 환경에 로봇이 존재하는 경우, 로봇 본체 외곽에 설치된 마이크로폰 어레이(11)에 대상 음원인 화자(2)의 음성 뿐만 아니라 다양한 잡음을 포함하는 음원 신호가 수신되고, 수신된 신호는 신호 변환부(30)에 의해 샘플링되어 제어부(50)에 제공된다(101).
음원 분리부(51)가 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술에 속하는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)과 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용하여 수신된 음원 신호에서 대상 음원을 분리한다(103).
측정 음압레벨 계산부(52)가 신호 변환부(30)에 의해 샘플링된 신호로 (식2)를 이용하여 측정 음압레벨(LT)을 계산한다(105). 이 측정 음압레벨(LT)과 저장부(60)에 사전 설정된 기준 음압레벨(Lref)이 동일한지 비교하고, 측정 음압레벨(LT)과 사전 설정된 기준 음압레벨(Lref)이 다르면(107의 다름인 경우) 측정 음압레벨(LT)을 새로운 기준 음압레벨(Lref)로 재설정하기 위해 저장부(60)에 저장하고(109), 거리 측정부(40)에 의해 대상 음원에 대해 측정된 음원 거리(d)를 새로운 기준 거리(dref)로 재설정하기 위해 저장부(6)에 저장한다(111). 이렇게 재설정된 기준 음압레벨(Lref) 및 기준 거리(dref)로 (식1)을 이용하여 녹음 음압레벨(L)을 추 정한다.
측정 음압레벨(LT)과 사전 설정된 기준 음압레벨(Lref)이 동일하면(107의 동일한 경우) 그 사전 설정된 기준 음압레벨(Lref) 및 기준 거리(dref)로 (식1)을 이용하여 녹음 음압레벨(L)을 추정한다. 그런 다음 식(1)을 이용하여 게인(G)을 추정한다(113).
제어부(50)는 추정된 게인(G)에 따라 게인 제어신호를 게인 조절부(20)에 제공하여, 대상 음원에 대해 음원 세기를 조절하면서 음원 녹음한다(115).
음원 녹음하는 동안 거리 측정부(40)를 통해 측정된 음원 거리(d)의 변경이 없으면(117의 아니오), 계속해서 대상 음원을 녹음한다.
화자(2)의 이동으로 인하여 거리 측정부(40)를 통해 측정된 음원 거리(d)가 변경되면(117의 예), 변경된 음원 거리(d)에 따라 녹음 음압레벨(L)과 게인(G)을 다시 추정하고(119)(121), 다시 추정된 게인(G)에 따라 게인 제어신호를 게인 조절부(20)에 제공하여 대상 음원의 음원 세기를 적절하게 조절하여 음원 녹음한다.
지금까지 저장부(60)에 사전 설정된 기준 음압레벨(Lref)과 기준 거리(dref)를 그대로 사용하거나 재설정하여 사용하는 방식에 대하여 설명한 것이나, 이에 한정하지 않고 음원녹음장치(1)로 측정된 실효적인 음압 레벨과 측정된 음원 거리로 기준 음압레벨(Lref)과 기준 거리(dref)을 설정하고, 이를 이용하여 녹음 음압레벨(L)과 게인(G)을 각각 추정함으로서 마이크로폰의 게인을 조절하여 대상 음원을 녹음할 수 있다. 이는 음원녹음장치(1)에 하드웨어의 구성 추가 없이 구현이 가능하다. 이 를 도 6에 따라 설명한다.
도 6은 본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법을 설명하기 위한 흐름도이다.
음원녹음장치(1)가 구현된 로봇 본체 외곽에 설치된 마이크로폰 어레이(11)에 대상 음원인 화자의 음성 뿐만 아니라 다양한 잡음을 포함하는 음원 신호가 수신되고, 수신 신호는 신호 변환부(30)에 의해 샘플링되어 제어부(50)에 제공된다(201).
음원 분리부(51)가 ICA 알고리즘을 이용하여 여러 음원 신호에서 대상 음원을 분리하고(203), 측정 음압레벨 계산부(52)가 대상 음원의 샘플링 신호로 (식2)를 이용하여 측정 음압레벨(LT)을 계산한다(205). 이 측정 음압레벨(LT)로 기준 음압레벨(Lref)을 최초 설정하고, 저장부(60)에 저장한다(207). 또한 대상 음원에 대해 거리 측정부(40)에 의해 측정된 음원 거리(d)로 기준 거리(dref)을 최초 설정하고, 저장부(60)에 저장한다(209).
녹음 음압레벨 추정부(54)가 최초 설정된 기준 음압레벨(Lref)과 최초 설정된 기준 거리(dref)로 (식1)에 따라 녹음 음압레벨(L)과 게인(G)을 각각 추정한다(211). 이때 추정 녹음 음압레벨(L)은 측정 음압레벨(LT)과 동일하게 된다.
제어부(50)의 추정된 게인(G)에 따라 게인 제어신호를 게인 조절부(20)에 제공하면 게인 조절부(20)에 의해 음원 세기가 조절된 대상 음원을 녹음한다(213).
음원 녹음하는 동안 거리 측정부(40)를 통해 측정된 음원 거리(d)가 변경되지 않으면(215의 아니오), 계속해서 이전처럼 최초 설정된 기준 음압레벨(Lref)과 기준 거리(dref)를 이용하여 추정한 게인에 따라 게인 조절하면서 대상 음원을 녹음한다.
화자(2)의 이동으로 거리 측정부(40)를 통해 측정된 음원 거리(d)가 변경되면(215의 예), 변경된 음원 거리(d)에 따라 녹음 음압레벨(L)과 게인(G)을 다시 추정하고(217)(219), 다시 추정된 게인(G)에 따라 게인 제어신호를 게인 조절부(20)에 제공하여 대상 음원의 음원 세기를 조절하면서 음원 녹음한다.
도 1은 본 발명의 실시 예에 따른 음원녹음장치를 이용하여 음원 녹음하는 동작을 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 음원녹음장치의 마이크로폰 어레이와 화자 사이의 음원 거리를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 음원녹음장치의 블록도이다.
도 4는 본 발명의 실시 예에 따른 음원녹음장치의 제어부의 블록도이다.
도 5는 본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 동작 환경에 적응 가능한 음원녹음방법을 설명하기 위한 흐름도이다.
*도면의 주요부분에 대한 부호 설명*
1 : 음원녹음장치 2 : 화자
10 : 음원 수신부 11 : 마이크로폰 어레이
20 : 게인 조절부 30 : 신호 변환부
40 : 거리 측정부 50 : 제어부
60 : 저장부 70 : 입력부

Claims (16)

  1. 음원 수신부에 수신된 음원 신호로부터 대상 음원을 분리하고;
    상기 대상 음원의 음원 세기를 조절하기 위한 게인을 추정하며;
    상기 추정된 게인에 따라 음원 세기가 조절된 대상 음원을 녹음하는 동작 환경에 적응 가능한 음원녹음방법.
  2. 제1항에 있어서,
    상기 음원 분리는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술에 속하는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)과 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용하는 동작 환경에 적응 가능한 음원녹음방법.
  3. 제1항에 있어서,
    상기 게인 추정은 (식1)을 이용하는 동작 환경에 적응 가능한 음원녹음방법.
    Figure 112009067033811-PAT00008
    Figure 112009067033811-PAT00009
    (식1)
    여기서, L은 추정된 녹음 음압레벨, Lref는 기준 음압레벨, d는 음원 거리, dref는 기준 거리, G는 추정된 게인, B는 상수이다.
  4. 제3항에 있어서,
    상기 기준 음압레벨은 사전 설정되는 동작 환경에 적응 가능한 음원녹음방법.
  5. 제3항에 있어서,
    상기 기준 음압레벨은 식(2)에 따라 얻어지는 실효적인 측정 음압레벨로 재설정되는 동작 환경에 적응 가능한 음원녹음방법.
    Figure 112009067033811-PAT00010
    (식2)
    여기서, LT는 측정 음압레벨, E{ }는 기대값(평균값)이고, xi[n]는 음원 신호(xi)의 샘플링 값이다.
  6. 마이크로폰 어레이로 수신한 신호로부터 대상 음원을 분리하고;
    상기 대상 음원의 음압레벨을 측정하며;
    상기 측정 음압레벨과 사전 설정된 기준 음압레벨을 비교하고;
    상기 측정 음압레벨과 상기 기준 음압레벨이 다르면 상기 기준 음압레벨을 재 설정하고, 재설정된 기준 음압레벨을 이용하여 녹음 음압레벨과 상기 마이크로폰의 게인을 각각 추정하고;
    상기 추정된 게인에 따라 상기 마이크로폰의 게인을 조절하여 상기 대상 음원을 녹음하는 동작 환경에 적응 가능한 음원녹음방법.
  7. 제6항에 있어서,
    상기 측정 음압레벨은 실효적인 음압레벨인 동작 환경에 적응 가능한 음원녹음방법.
  8. 제6항에 있어서,
    상기 대상 음원에 대한 음원 거리가 변경되면 변경된 음원 거리에 따라 상기 녹음 음압레벨과 상기 마이크로폰의 게인을 다시 추정하는 동작 환경에 적응 가능한 음원녹음방법.
  9. 마이크로폰 어레이로 수신한 신호로부터 대상 음원을 분리하고;
    상기 대상 음원에 대하여 음압레벨과 음원 거리를 측정하며;
    상기 측정 음압레벨로 기준 음압레벨을 최초 설정하고, 상기 측정 음원 거리로 기준 거리를 최초 설정하며;
    상기 최초 설정된 기준 음압레벨 및 기준 거리를 이용하여 녹음 음압레벨과 상기 마이크로폰의 게인을 각각 추정하고;
    상기 추정된 게인에 따라 상기 마이크로폰의 게인을 조절하여 상기 대상 음원을 녹음하는 동작 환경에 적응 가능한 음원녹음방법.
  10. 제9항에 있어서,
    상기 대상 음원에 대한 음원 거리가 변경되면 변경된 음원 거리에 따라 상기 녹음 음압레벨과 상기 마이크로폰의 게인을 다시 추정하는 동작 환경에 적응 가능한 음원녹음방법.
  11. 마이크로폰 어레이로 음원 신호를 수신하는 음원 수신부;
    상기 수신 음원의 음원 세기를 조절하기 위해 게인 제어신호에 따라 상기 마이크로폰의 게인을 조절하는 게인 조절부;
    상기 대상 음원에 대한 음원 거리를 측정하는 거리 측정부;
    상기 수신 음원에서 대상 음원을 분리하고, 분리된 대상 음원을 분석하여 상기 마이크로폰의 게인을 추정하고, 상기 거리 측정부에 의해 측정되는 음원 거리가 변경되면 상기 마이크로폰의 게인을 다시 추정하고, 추정된 마이크로폰의 게인에 따라 상기 게인 제어신호를 제공하는 제어부를 포함하는 동작 환경에 적응 가능한 음원녹음장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 수신된 음원 신호에서 대상 음원을 분리하는 음원 분리부와, 상기 대상 음원의 음압레벨을 측정하는 측정 음압레벨 계산부와, 상기 측정 음압레벨 계산부의 측정 음압레벨과 사전 설정된 기준 음압레벨이 다르면 상기 측정 음압레벨로 기준 음압레벨을 재설정하는 기준레벨 설정부와, 상기 사전 설정된 기준 음압레벨이나 재설정된 기준 음압레벨을 이용하여 녹음 음압레벨을 추정하는 녹음 음압레벨 추정부와, 상기 추정된 녹음 음압레벨을 이용하여 상기 마이크로폰의 게인을 추정하는 게인 추정부를 포함하는 동작 환경에 적응 가능한 음원녹음장치.
  13. 제12항에 있어서,
    상기 음원 분리부는 브라인드 소스 세퍼레이션(blind source separation; BBS) 기술에 속하는 인디펜던트 콤포넌트 아날리시스(independent component analysis; ICA)과 지오메트릭 소스 세퍼레이션(geometric source separation; GSS) 중 어느 하나를 이용하여 음원 분리하는 동작 환경에 적응 가능한 음원녹음장치.
  14. 제12항에 있어서,
    상기 녹음 음압레벨 추정부와 상기 게인 추정부는 (식1)을 이용하여 녹음 읍압레벨과 게인을 각각 추정하는 동작 환경에 적응 가능한 음원녹음장치.
    Figure 112009067033811-PAT00011
    Figure 112009067033811-PAT00012
    (식1)
    여기서, L은 추정된 녹음 음압레벨, Lref는 기준 음압레벨, d는 음원 거리, dref는 기준 거리, G는 추정된 게인, B는 상수이다.
  15. 제12항에 있어서,
    상기 수신된 음원 신호를 샘플링하여 디지털 변환하는 신호 변환부를 더 포함하고,
    상기 측정 음압레벨 계산부는 대상 음원의 샘플링 신호로 (식2)를 이용하여 실효적인 측정 음압레벨(LT)을 계산하는 동작 환경에 적응 가능한 음원녹음장치.
    Figure 112009067033811-PAT00013
    (식2)
    여기서, LT는 측정 음압레벨, E{ }는 기대값(평균값)이고, xi[n]는 음원 신호(xi)의 샘플링 값이다.
  16. 제11항에 있어서,
    상기 제어부는 상기 대상 음원에 대해 측정하여 얻은 음압레벨과 음원 거리로 각각 최초 설정된 기준 음압레벨과 최초 설정된 기준 거리를 이용하여 녹음 음압레벨을 추정하고, 추정된 녹음 음압레벨을 이용하여 상기 마이크로폰의 게인을 추정하는 동작 환경에 적응 가능한 음원녹음장치.
KR1020090104638A 2009-10-30 2009-10-30 동작 환경에 적응 가능한 음원녹음장치 및 그 방법 KR20110047852A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090104638A KR20110047852A (ko) 2009-10-30 2009-10-30 동작 환경에 적응 가능한 음원녹음장치 및 그 방법
US12/911,315 US8913761B2 (en) 2009-10-30 2010-10-25 Sound source recording apparatus and method adaptable to operating environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090104638A KR20110047852A (ko) 2009-10-30 2009-10-30 동작 환경에 적응 가능한 음원녹음장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20110047852A true KR20110047852A (ko) 2011-05-09

Family

ID=43925475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104638A KR20110047852A (ko) 2009-10-30 2009-10-30 동작 환경에 적응 가능한 음원녹음장치 및 그 방법

Country Status (2)

Country Link
US (1) US8913761B2 (ko)
KR (1) KR20110047852A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399915B1 (ko) * 2013-11-14 2014-05-30 최성국 자동 마이크신호 설정수단이 구비된 전관방송시스템
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101873325B1 (ko) * 2011-12-08 2018-07-03 삼성전자 주식회사 휴대 단말기의 오디오 처리 방법 및 장치
JP5867066B2 (ja) * 2011-12-26 2016-02-24 富士ゼロックス株式会社 音声解析装置
JP6031761B2 (ja) 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
JP6031767B2 (ja) * 2012-01-23 2016-11-24 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
US20140112483A1 (en) * 2012-10-24 2014-04-24 Alcatel-Lucent Usa Inc. Distance-based automatic gain control and proximity-effect compensation
EP3950433A1 (en) * 2013-05-23 2022-02-09 NEC Corporation Speech processing system, speech processing method, speech processing program and vehicle including speech processing system on board
WO2014202286A1 (en) 2013-06-21 2014-12-24 Brüel & Kjær Sound & Vibration Measurement A/S Method of determining noise sound contributions of noise sources of a motorized vehicle
GB2520029A (en) * 2013-11-06 2015-05-13 Nokia Technologies Oy Detection of a microphone
CN104020733A (zh) * 2014-05-13 2014-09-03 生迪光电科技股份有限公司 Led照明装置、智能家居控制系统及控制方法
US10923132B2 (en) 2016-02-19 2021-02-16 Dolby Laboratories Licensing Corporation Diffusivity based sound processing method and apparatus
WO2019012587A1 (ja) * 2017-07-10 2019-01-17 ヤマハ株式会社 ゲイン調整装置、遠隔会話装置、ゲイン調整方法、およびゲイン調整プログラム
US10148241B1 (en) * 2017-11-20 2018-12-04 Dell Products, L.P. Adaptive audio interface
CN108055396A (zh) * 2017-11-30 2018-05-18 努比亚技术有限公司 屏幕自动点亮方法、移动终端及计算机可读存储介质
CN109990889B (zh) * 2017-12-29 2021-06-29 深圳市优必选科技有限公司 一种录音机器人的控制方法及装置
US20200204392A1 (en) * 2018-12-20 2020-06-25 Ming-Tsung Chen Home appliance control system
CN110740259B (zh) * 2019-10-21 2021-06-25 维沃移动通信有限公司 视频处理方法及电子设备
WO2021101628A1 (en) * 2019-11-22 2021-05-27 Shure Acquisition Holdings, Inc. Microphone with adjustable signal processing
CN111745689B (zh) * 2020-07-16 2021-12-21 浙江百应科技有限公司 通过录音回放对比实现语音机器人自动化测试的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870705A (en) * 1994-10-21 1999-02-09 Microsoft Corporation Method of setting input levels in a voice recognition system
JP4801862B2 (ja) * 2001-09-28 2011-10-26 株式会社ニデック 聴力検査装置
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
JP4260046B2 (ja) * 2004-03-03 2009-04-30 アルパイン株式会社 音声明瞭度改善装置及び音声明瞭度改善方法
CN101636784B (zh) * 2007-03-20 2011-12-28 富士通株式会社 语音识别系统及语音识别方法
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399915B1 (ko) * 2013-11-14 2014-05-30 최성국 자동 마이크신호 설정수단이 구비된 전관방송시스템
US10750281B2 (en) 2018-12-03 2020-08-18 Samsung Electronics Co., Ltd. Sound source separation apparatus and sound source separation method

Also Published As

Publication number Publication date
US20110103617A1 (en) 2011-05-05
US8913761B2 (en) 2014-12-16

Similar Documents

Publication Publication Date Title
KR20110047852A (ko) 동작 환경에 적응 가능한 음원녹음장치 및 그 방법
CN102045618B (zh) 自动调整的麦克风阵列、方法和携带麦克风阵列的装置
KR101726737B1 (ko) 다채널 음원 분리 장치 및 그 방법
US20190273988A1 (en) Beamsteering
US20130294616A1 (en) Method and system for speech enhancement in a room
CN108235181B (zh) 在音频处理装置中降噪的方法
US20150154977A1 (en) Detecting Nonlinear Amplitude Processing
WO2008041878A2 (en) System and procedure of hands free speech communication using a microphone array
JP2016533101A (ja) 分類器を有する補聴器
KR20180103695A (ko) 실내 저-주파수 사운드 파워 최적화를 위한 방법 및 장치
US9532138B1 (en) Systems and methods for suppressing audio noise in a communication system
JP2001309483A (ja) 収音方法および収音装置
US11653156B2 (en) Source separation in hearing devices and related methods
KR101551665B1 (ko) 환경프로파일의 적용이 가능한 보청기, 이를 이용한 환경프로파일 적용 시스템 및 방법
CN111580778B (zh) 音量修正方法及装置、音频播放设备和可读存储介质
WO2019209973A1 (en) Background noise estimation using gap confidence
CN113747336A (zh) 基于音频处理器在不同空间中调音适配声场的方法
JP3434215B2 (ja) 収音装置，音声認識装置，これらの方法、及びプログラム記録媒体
EP3863308B1 (en) Volume adjustment device and volume adjustment method
US20230300553A1 (en) Audio signal processing method and audio signal processing device
JP2005064968A (ja) 収音方法、その装置、そのプログラム、およびその記録媒体。
WO2019207912A1 (ja) 情報処理装置及び情報処理方法
KR101750992B1 (ko) IoT 위치기반 정보가 포함된 음향 센서를 이용한 잡음 변화 감지 장치 및 방법, 그리고 이를 이용한 스피커 제어 방법
EP3830823A1 (en) Forced gap insertion for pervasive listening
JP3739673B2 (ja) ズーム推定方法、装置、ズーム推定プログラム、および同プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101002588; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160429

Effective date: 20171030